<!DOCTYPE html><html lang="en">
<head>
<meta http-equiv="content-type" content="text/html; charset=UTF-8">
<title>[2306.05426] SequenceMatch: Imitation Learning for Autoregressive Sequence Modelling with Backtracking</title><meta property="og:description" content="In many domains, autoregressive models can attain high likelihood on the task of predicting the next observation.
However, this maximum-likelihood (MLE) objective does not necessarily match a downstream use-case of aut…">
<meta name="viewport" content="width=device-width, initial-scale=1">
<meta name="twitter:card" content="summary">
<meta name="twitter:title" content="SequenceMatch: Imitation Learning for Autoregressive Sequence Modelling with Backtracking">
<meta name="twitter:image:src" content="https://ar5iv.labs.arxiv.org/assets/ar5iv_card.png">
<meta name="twitter:image:alt" content="ar5iv logo">
<meta property="og:title" content="SequenceMatch: Imitation Learning for Autoregressive Sequence Modelling with Backtracking">
<meta property="og:site_name" content="ar5iv">
<meta property="og:image" content="https://ar5iv.labs.arxiv.org/assets/ar5iv_card.png">
<meta property="og:type" content="article">
<meta property="og:url" content="https://ar5iv.labs.arxiv.org/html/2306.05426">

<!--Generated on Thu Feb 29 02:06:24 2024 by LaTeXML (version 0.8.8) http://dlmf.nist.gov/LaTeXML/.-->
<meta name="viewport" content="width=device-width, initial-scale=1, shrink-to-fit=no">

<script>
  function detectColorScheme(){
    var theme="light";
    var current_theme = localStorage.getItem("ar5iv_theme");
    if(current_theme){
      if(current_theme == "dark"){
        theme = "dark";
      } }
    else if(!window.matchMedia) { return false; }
    else if(window.matchMedia("(prefers-color-scheme: dark)").matches) {
      theme = "dark"; }
    if (theme=="dark") {
      document.documentElement.setAttribute("data-theme", "dark");
    } else {
      document.documentElement.setAttribute("data-theme", "light"); } }

  detectColorScheme();

  function toggleColorScheme(){
    var current_theme = localStorage.getItem("ar5iv_theme");
    if (current_theme) {
      if (current_theme == "light") {
        localStorage.setItem("ar5iv_theme", "dark"); }
      else {
        localStorage.setItem("ar5iv_theme", "light"); } }
    else {
        localStorage.setItem("ar5iv_theme", "dark"); }
    detectColorScheme(); }
</script>
<link media="all" rel="stylesheet" href="/assets/ar5iv-fonts.0.7.9.min.css"><link media="all" rel="stylesheet" href="/assets/ar5iv.0.7.9.min.css"><link media="all" rel="stylesheet" href="/assets/ar5iv-site.0.2.2.css">
</head>
<body>
<div class="ltx_page_main">
<div class="ltx_page_content">
<article class="ltx_document ltx_authors_1line">
<h1 class="ltx_title ltx_title_document">SequenceMatch: Imitation Learning for Autoregressive Sequence Modelling with Backtracking</h1>
<div class="ltx_authors">
<span class="ltx_creator ltx_role_author">
<span class="ltx_personname">Chris Cundy<sup id="id5.4.id1" class="ltx_sup">1</sup>  Stefano Ermon<sup id="id6.5.id2" class="ltx_sup"><span id="id6.5.id2.1" class="ltx_text ltx_font_italic">1</span></sup> 
<br class="ltx_break"><sup id="id7.6.id3" class="ltx_sup">1</sup>Department of Computer Science, Stanford University
<br class="ltx_break"><span id="id8.7.id4" class="ltx_text ltx_font_typewriter">{cundy, ermon}@cs.stanford.edu
<br class="ltx_break"></span>
</span></span>
</div>

<div class="ltx_abstract">
<h6 class="ltx_title ltx_title_abstract">Abstract</h6>
<p id="id4.1" class="ltx_p">In many domains, autoregressive models can attain high likelihood on the task of predicting the next observation.
However, this maximum-likelihood (MLE) objective does not necessarily match a downstream use-case of autoregressively generating high-quality sequences.
The MLE objective weights sequences proportionally to their frequency under the data distribution, with no guidance for the model’s behaviour out of distribution (OOD): leading to compounding error during autoregressive generation.
In order to address this compounding error problem, we formulate sequence generation as an imitation learning (IL) problem. This allows us to minimize a variety of divergences between the distribution of sequences generated by an autoregressive model and sequences from a dataset, including divergences with weight on OOD generated sequences.
The IL framework also allows us to incorporate backtracking by introducing a <span id="id4.1.1" class="ltx_text ltx_font_typewriter">backspace</span> action into the generation process. This further mitigates the compounding error problem by allowing the model to revert a sampled token if it takes the sequence OOD.
Our resulting method, SequenceMatch, can be implemented without adversarial training or architectural changes.
We identify the SequenceMatch-<math id="id4.1.m1.1" class="ltx_Math" alttext="\chi^{2}" display="inline"><semantics id="id4.1.m1.1a"><msup id="id4.1.m1.1.1" xref="id4.1.m1.1.1.cmml"><mi id="id4.1.m1.1.1.2" xref="id4.1.m1.1.1.2.cmml">χ</mi><mn id="id4.1.m1.1.1.3" xref="id4.1.m1.1.1.3.cmml">2</mn></msup><annotation-xml encoding="MathML-Content" id="id4.1.m1.1b"><apply id="id4.1.m1.1.1.cmml" xref="id4.1.m1.1.1"><csymbol cd="ambiguous" id="id4.1.m1.1.1.1.cmml" xref="id4.1.m1.1.1">superscript</csymbol><ci id="id4.1.m1.1.1.2.cmml" xref="id4.1.m1.1.1.2">𝜒</ci><cn type="integer" id="id4.1.m1.1.1.3.cmml" xref="id4.1.m1.1.1.3">2</cn></apply></annotation-xml><annotation encoding="application/x-tex" id="id4.1.m1.1c">\chi^{2}</annotation></semantics></math> divergence as a more suitable training objective for autoregressive models which are used for generation. We show that empirically, SequenceMatch training leads to improvements over MLE on text generation with language models.</p>
</div>
<section id="S1" class="ltx_section">
<h2 class="ltx_title ltx_title_section">
<span class="ltx_tag ltx_tag_section">1 </span>Introduction</h2>

<div id="S1.p1" class="ltx_para">
<p id="S1.p1.1" class="ltx_p">Autoregressive models such as the GPT series of causally masked transformers <cite class="ltx_cite ltx_citemacro_citep">[<a href="#bib.bib7" title="" class="ltx_ref">7</a>, <a href="#bib.bib25" title="" class="ltx_ref">25</a>]</cite> are able to perform a variety of downstream tasks such as question-answering, translation, and summarization, after simply training on a large corpus of text with the objective of predicting the next token given the previous tokens. However, autoregressive language models suffer from a variety of pathological behavior when deployed on the task of free-form text generation <cite class="ltx_cite ltx_citemacro_cite">[<a href="#bib.bib15" title="" class="ltx_ref">15</a>, <a href="#bib.bib37" title="" class="ltx_ref">37</a>]</cite>, particularly at lower generation temperatures or with smaller models. These include generating the same token or series of token repeatedly, or generating gibberish outputs. This phenomenon of degeneration for longer continuations has also been observed in autoregressive models for video <cite class="ltx_cite ltx_citemacro_citep">[<a href="#bib.bib36" title="" class="ltx_ref">36</a>]</cite>.
This problem of neural text degeneration has been linked to the training objective for LLMs, which trains a conditional distribution for the next token given a (partial) sentence <cite class="ltx_cite ltx_citemacro_citep">[<a href="#bib.bib10" title="" class="ltx_ref">10</a>]</cite>.
When deployed in an autoregressive fashion, the model has its own outputs as inputs, resulting in a compounding error problem that rapidly takes the model out of distribution (OOD). This compounding error problem is also a key issue in the imitation learning subfield of reinforcement learning, where the goal is to learn a policy (a distribution over next actions given the past) which results in trajectories similar to a set of provided expert trajectories.
The approach of directly matching the expert’s actions leads to a compounding error <cite class="ltx_cite ltx_citemacro_citep">[<a href="#bib.bib27" title="" class="ltx_ref">27</a>]</cite>, which has led to several works proposing to address this problem by minimizing alternative divergences <cite class="ltx_cite ltx_citemacro_cite">[<a href="#bib.bib3" title="" class="ltx_ref">3</a>, <a href="#bib.bib28" title="" class="ltx_ref">28</a>]</cite>. These alternative divergences encourage the policy to return to expert states if the generated trajectory starts to diverge from them.
We argue that two key issues can prevent autoregressive models trained with maximum-likelihood from generating fluent sequences at evaluation time. First is the divergence measure used to evaluate the difference between the model and the data distribution. Because the MLE loss does not have any contribution from OOD sequences, the behavior of the model on OOD sequences (such as those generated autoregressively) is not constrained. We address this by minimizing the <math id="S1.p1.1.m1.1" class="ltx_Math" alttext="\chi^{2}" display="inline"><semantics id="S1.p1.1.m1.1a"><msup id="S1.p1.1.m1.1.1" xref="S1.p1.1.m1.1.1.cmml"><mi id="S1.p1.1.m1.1.1.2" xref="S1.p1.1.m1.1.1.2.cmml">χ</mi><mn id="S1.p1.1.m1.1.1.3" xref="S1.p1.1.m1.1.1.3.cmml">2</mn></msup><annotation-xml encoding="MathML-Content" id="S1.p1.1.m1.1b"><apply id="S1.p1.1.m1.1.1.cmml" xref="S1.p1.1.m1.1.1"><csymbol cd="ambiguous" id="S1.p1.1.m1.1.1.1.cmml" xref="S1.p1.1.m1.1.1">superscript</csymbol><ci id="S1.p1.1.m1.1.1.2.cmml" xref="S1.p1.1.m1.1.1.2">𝜒</ci><cn type="integer" id="S1.p1.1.m1.1.1.3.cmml" xref="S1.p1.1.m1.1.1.3">2</cn></apply></annotation-xml><annotation encoding="application/x-tex" id="S1.p1.1.m1.1c">\chi^{2}</annotation></semantics></math>-divergence between a mixture of the data and autoregressively generated sequences. This divergence is known to perform much better than MLE in imitiation learning <cite class="ltx_cite ltx_citemacro_cite">[<a href="#bib.bib11" title="" class="ltx_ref">11</a>, <a href="#bib.bib1" title="" class="ltx_ref">1</a>]</cite>.</p>
</div>
<div id="S1.p2" class="ltx_para">
<p id="S1.p2.2" class="ltx_p">Secondly, if a model generates an OOD token, there may be no natural continuation which is similar to sequences from the data distribution, and so the model may be unable to return to the data distribution even if our <math id="S1.p2.1.m1.1" class="ltx_Math" alttext="\chi^{2}" display="inline"><semantics id="S1.p2.1.m1.1a"><msup id="S1.p2.1.m1.1.1" xref="S1.p2.1.m1.1.1.cmml"><mi id="S1.p2.1.m1.1.1.2" xref="S1.p2.1.m1.1.1.2.cmml">χ</mi><mn id="S1.p2.1.m1.1.1.3" xref="S1.p2.1.m1.1.1.3.cmml">2</mn></msup><annotation-xml encoding="MathML-Content" id="S1.p2.1.m1.1b"><apply id="S1.p2.1.m1.1.1.cmml" xref="S1.p2.1.m1.1.1"><csymbol cd="ambiguous" id="S1.p2.1.m1.1.1.1.cmml" xref="S1.p2.1.m1.1.1">superscript</csymbol><ci id="S1.p2.1.m1.1.1.2.cmml" xref="S1.p2.1.m1.1.1.2">𝜒</ci><cn type="integer" id="S1.p2.1.m1.1.1.3.cmml" xref="S1.p2.1.m1.1.1.3">2</cn></apply></annotation-xml><annotation encoding="application/x-tex" id="S1.p2.1.m1.1c">\chi^{2}</annotation></semantics></math>-divergence encourages this. To address this, we augment the generation process with a <span id="S1.p2.2.1" class="ltx_text ltx_font_typewriter">&lt;backspace&gt;</span> action, which deletes the previous token, and allows the model to correct for erroneous generations.
By incorporating recent work in non-adversarial imitation learning <cite class="ltx_cite ltx_citemacro_citep">[<a href="#bib.bib11" title="" class="ltx_ref">11</a>]</cite>, our method, <em id="S1.p2.2.2" class="ltx_emph ltx_font_italic">SequenceMatch</em>, is able to train autoregressive models against alternative divergences such as the <math id="S1.p2.2.m2.1" class="ltx_Math" alttext="\chi^{2}" display="inline"><semantics id="S1.p2.2.m2.1a"><msup id="S1.p2.2.m2.1.1" xref="S1.p2.2.m2.1.1.cmml"><mi id="S1.p2.2.m2.1.1.2" xref="S1.p2.2.m2.1.1.2.cmml">χ</mi><mn id="S1.p2.2.m2.1.1.3" xref="S1.p2.2.m2.1.1.3.cmml">2</mn></msup><annotation-xml encoding="MathML-Content" id="S1.p2.2.m2.1b"><apply id="S1.p2.2.m2.1.1.cmml" xref="S1.p2.2.m2.1.1"><csymbol cd="ambiguous" id="S1.p2.2.m2.1.1.1.cmml" xref="S1.p2.2.m2.1.1">superscript</csymbol><ci id="S1.p2.2.m2.1.1.2.cmml" xref="S1.p2.2.m2.1.1.2">𝜒</ci><cn type="integer" id="S1.p2.2.m2.1.1.3.cmml" xref="S1.p2.2.m2.1.1.3">2</cn></apply></annotation-xml><annotation encoding="application/x-tex" id="S1.p2.2.m2.1c">\chi^{2}</annotation></semantics></math>-mixture divergence while augmenting the policy with a <span id="S1.p2.2.3" class="ltx_text ltx_font_typewriter">&lt;backspace&gt;</span> action. The SequenceMatch loss is a fully supervised loss without adversarial training, and can be applied on top of pretrained models as a finetuning step.
To summarize our contributions:</p>
</div>
<div id="S1.p3" class="ltx_para">
<ul id="S1.I1" class="ltx_itemize">
<li id="S1.I1.i1" class="ltx_item" style="list-style-type:none;">
<span class="ltx_tag ltx_tag_item">•</span> 
<div id="S1.I1.i1.p1" class="ltx_para">
<p id="S1.I1.i1.p1.1" class="ltx_p">We formulate the sequence generation problem as an imitation learning (IL) problem, and formulate a general non-adverarial objective for minimizing divergences between occupancy measures based on <cite class="ltx_cite ltx_citemacro_citep">[<a href="#bib.bib11" title="" class="ltx_ref">11</a>]</cite>, handling (among others) the forward and reverse KL-divergence, JS-divergence, and <math id="S1.I1.i1.p1.1.m1.1" class="ltx_Math" alttext="\chi^{2}" display="inline"><semantics id="S1.I1.i1.p1.1.m1.1a"><msup id="S1.I1.i1.p1.1.m1.1.1" xref="S1.I1.i1.p1.1.m1.1.1.cmml"><mi id="S1.I1.i1.p1.1.m1.1.1.2" xref="S1.I1.i1.p1.1.m1.1.1.2.cmml">χ</mi><mn id="S1.I1.i1.p1.1.m1.1.1.3" xref="S1.I1.i1.p1.1.m1.1.1.3.cmml">2</mn></msup><annotation-xml encoding="MathML-Content" id="S1.I1.i1.p1.1.m1.1b"><apply id="S1.I1.i1.p1.1.m1.1.1.cmml" xref="S1.I1.i1.p1.1.m1.1.1"><csymbol cd="ambiguous" id="S1.I1.i1.p1.1.m1.1.1.1.cmml" xref="S1.I1.i1.p1.1.m1.1.1">superscript</csymbol><ci id="S1.I1.i1.p1.1.m1.1.1.2.cmml" xref="S1.I1.i1.p1.1.m1.1.1.2">𝜒</ci><cn type="integer" id="S1.I1.i1.p1.1.m1.1.1.3.cmml" xref="S1.I1.i1.p1.1.m1.1.1.3">2</cn></apply></annotation-xml><annotation encoding="application/x-tex" id="S1.I1.i1.p1.1.m1.1c">\chi^{2}</annotation></semantics></math> divergence.</p>
</div>
</li>
<li id="S1.I1.i2" class="ltx_item" style="list-style-type:none;">
<span class="ltx_tag ltx_tag_item">•</span> 
<div id="S1.I1.i2.p1" class="ltx_para">
<p id="S1.I1.i2.p1.1" class="ltx_p">We develop a novel masking scheme allowing training of a transformer-based autoregressive model with a <span id="S1.I1.i2.p1.1.1" class="ltx_text ltx_font_typewriter">&lt;backspace&gt;</span> action with no additional overhead vs MLE.</p>
</div>
</li>
<li id="S1.I1.i3" class="ltx_item" style="list-style-type:none;">
<span class="ltx_tag ltx_tag_item">•</span> 
<div id="S1.I1.i3.p1" class="ltx_para">
<p id="S1.I1.i3.p1.1" class="ltx_p">Finally we evaluate the empirical performance of SequenceMatch-trained models, showing improved performance over the maximum likelihood objective in general text generation.</p>
</div>
</li>
</ul>
</div>
<figure id="S1.F1" class="ltx_figure"><img src="/html/2306.05426/assets/x1.png" id="S1.F1.g1" class="ltx_graphics ltx_centering ltx_img_landscape" width="276" height="135" alt="Refer to caption">
<figcaption class="ltx_caption ltx_centering"><span class="ltx_tag ltx_tag_figure">Figure 1: </span>A toy model of an autoregressive generation problem, such as language modelling. Our task is to learn a set of conditional distributions that continue the sequence similarly to those sequences in the dataset (green arrows), and avoid incorrect next tokens (red arrows). Our method trains against divergences that more heavily punish out-of-distribution sequences. We additionally introduce a <span id="S1.F1.2.1" class="ltx_text ltx_font_typewriter">&lt;backspace&gt;</span> action which can backtrack from an erroneous token (dashed purple arrows).</figcaption>
</figure>
</section>
<section id="S2" class="ltx_section">
<h2 class="ltx_title ltx_title_section">
<span class="ltx_tag ltx_tag_section">2 </span>Preliminaries: Training Objectives for Autoregressive Models</h2>

<section id="S2.SS1" class="ltx_subsection">
<h3 class="ltx_title ltx_title_subsection">
<span class="ltx_tag ltx_tag_subsection">2.1 </span>KL-Divergence</h3>

<div id="S2.SS1.p1" class="ltx_para">
<p id="S2.SS1.p1.5" class="ltx_p">Typically, autoregressive models are trained against a maximum-likelihood objective. This objective can be motivated by treating our dataset as consisting of sequences of random variables <math id="S2.SS1.p1.1.m1.3" class="ltx_Math" alttext="(x_{1},\ldots,x_{N})" display="inline"><semantics id="S2.SS1.p1.1.m1.3a"><mrow id="S2.SS1.p1.1.m1.3.3.2" xref="S2.SS1.p1.1.m1.3.3.3.cmml"><mo stretchy="false" id="S2.SS1.p1.1.m1.3.3.2.3" xref="S2.SS1.p1.1.m1.3.3.3.cmml">(</mo><msub id="S2.SS1.p1.1.m1.2.2.1.1" xref="S2.SS1.p1.1.m1.2.2.1.1.cmml"><mi id="S2.SS1.p1.1.m1.2.2.1.1.2" xref="S2.SS1.p1.1.m1.2.2.1.1.2.cmml">x</mi><mn id="S2.SS1.p1.1.m1.2.2.1.1.3" xref="S2.SS1.p1.1.m1.2.2.1.1.3.cmml">1</mn></msub><mo id="S2.SS1.p1.1.m1.3.3.2.4" xref="S2.SS1.p1.1.m1.3.3.3.cmml">,</mo><mi mathvariant="normal" id="S2.SS1.p1.1.m1.1.1" xref="S2.SS1.p1.1.m1.1.1.cmml">…</mi><mo id="S2.SS1.p1.1.m1.3.3.2.5" xref="S2.SS1.p1.1.m1.3.3.3.cmml">,</mo><msub id="S2.SS1.p1.1.m1.3.3.2.2" xref="S2.SS1.p1.1.m1.3.3.2.2.cmml"><mi id="S2.SS1.p1.1.m1.3.3.2.2.2" xref="S2.SS1.p1.1.m1.3.3.2.2.2.cmml">x</mi><mi id="S2.SS1.p1.1.m1.3.3.2.2.3" xref="S2.SS1.p1.1.m1.3.3.2.2.3.cmml">N</mi></msub><mo stretchy="false" id="S2.SS1.p1.1.m1.3.3.2.6" xref="S2.SS1.p1.1.m1.3.3.3.cmml">)</mo></mrow><annotation-xml encoding="MathML-Content" id="S2.SS1.p1.1.m1.3b"><vector id="S2.SS1.p1.1.m1.3.3.3.cmml" xref="S2.SS1.p1.1.m1.3.3.2"><apply id="S2.SS1.p1.1.m1.2.2.1.1.cmml" xref="S2.SS1.p1.1.m1.2.2.1.1"><csymbol cd="ambiguous" id="S2.SS1.p1.1.m1.2.2.1.1.1.cmml" xref="S2.SS1.p1.1.m1.2.2.1.1">subscript</csymbol><ci id="S2.SS1.p1.1.m1.2.2.1.1.2.cmml" xref="S2.SS1.p1.1.m1.2.2.1.1.2">𝑥</ci><cn type="integer" id="S2.SS1.p1.1.m1.2.2.1.1.3.cmml" xref="S2.SS1.p1.1.m1.2.2.1.1.3">1</cn></apply><ci id="S2.SS1.p1.1.m1.1.1.cmml" xref="S2.SS1.p1.1.m1.1.1">…</ci><apply id="S2.SS1.p1.1.m1.3.3.2.2.cmml" xref="S2.SS1.p1.1.m1.3.3.2.2"><csymbol cd="ambiguous" id="S2.SS1.p1.1.m1.3.3.2.2.1.cmml" xref="S2.SS1.p1.1.m1.3.3.2.2">subscript</csymbol><ci id="S2.SS1.p1.1.m1.3.3.2.2.2.cmml" xref="S2.SS1.p1.1.m1.3.3.2.2.2">𝑥</ci><ci id="S2.SS1.p1.1.m1.3.3.2.2.3.cmml" xref="S2.SS1.p1.1.m1.3.3.2.2.3">𝑁</ci></apply></vector></annotation-xml><annotation encoding="application/x-tex" id="S2.SS1.p1.1.m1.3c">(x_{1},\ldots,x_{N})</annotation></semantics></math>, with a corresponding probability distribution <math id="S2.SS1.p1.2.m2.3" class="ltx_Math" alttext="P_{\text{data}}(x_{1},\ldots,x_{N})" display="inline"><semantics id="S2.SS1.p1.2.m2.3a"><mrow id="S2.SS1.p1.2.m2.3.3" xref="S2.SS1.p1.2.m2.3.3.cmml"><msub id="S2.SS1.p1.2.m2.3.3.4" xref="S2.SS1.p1.2.m2.3.3.4.cmml"><mi id="S2.SS1.p1.2.m2.3.3.4.2" xref="S2.SS1.p1.2.m2.3.3.4.2.cmml">P</mi><mtext id="S2.SS1.p1.2.m2.3.3.4.3" xref="S2.SS1.p1.2.m2.3.3.4.3a.cmml">data</mtext></msub><mo lspace="0em" rspace="0em" id="S2.SS1.p1.2.m2.3.3.3" xref="S2.SS1.p1.2.m2.3.3.3.cmml">​</mo><mrow id="S2.SS1.p1.2.m2.3.3.2.2" xref="S2.SS1.p1.2.m2.3.3.2.3.cmml"><mo stretchy="false" id="S2.SS1.p1.2.m2.3.3.2.2.3" xref="S2.SS1.p1.2.m2.3.3.2.3.cmml">(</mo><msub id="S2.SS1.p1.2.m2.2.2.1.1.1" xref="S2.SS1.p1.2.m2.2.2.1.1.1.cmml"><mi id="S2.SS1.p1.2.m2.2.2.1.1.1.2" xref="S2.SS1.p1.2.m2.2.2.1.1.1.2.cmml">x</mi><mn id="S2.SS1.p1.2.m2.2.2.1.1.1.3" xref="S2.SS1.p1.2.m2.2.2.1.1.1.3.cmml">1</mn></msub><mo id="S2.SS1.p1.2.m2.3.3.2.2.4" xref="S2.SS1.p1.2.m2.3.3.2.3.cmml">,</mo><mi mathvariant="normal" id="S2.SS1.p1.2.m2.1.1" xref="S2.SS1.p1.2.m2.1.1.cmml">…</mi><mo id="S2.SS1.p1.2.m2.3.3.2.2.5" xref="S2.SS1.p1.2.m2.3.3.2.3.cmml">,</mo><msub id="S2.SS1.p1.2.m2.3.3.2.2.2" xref="S2.SS1.p1.2.m2.3.3.2.2.2.cmml"><mi id="S2.SS1.p1.2.m2.3.3.2.2.2.2" xref="S2.SS1.p1.2.m2.3.3.2.2.2.2.cmml">x</mi><mi id="S2.SS1.p1.2.m2.3.3.2.2.2.3" xref="S2.SS1.p1.2.m2.3.3.2.2.2.3.cmml">N</mi></msub><mo stretchy="false" id="S2.SS1.p1.2.m2.3.3.2.2.6" xref="S2.SS1.p1.2.m2.3.3.2.3.cmml">)</mo></mrow></mrow><annotation-xml encoding="MathML-Content" id="S2.SS1.p1.2.m2.3b"><apply id="S2.SS1.p1.2.m2.3.3.cmml" xref="S2.SS1.p1.2.m2.3.3"><times id="S2.SS1.p1.2.m2.3.3.3.cmml" xref="S2.SS1.p1.2.m2.3.3.3"></times><apply id="S2.SS1.p1.2.m2.3.3.4.cmml" xref="S2.SS1.p1.2.m2.3.3.4"><csymbol cd="ambiguous" id="S2.SS1.p1.2.m2.3.3.4.1.cmml" xref="S2.SS1.p1.2.m2.3.3.4">subscript</csymbol><ci id="S2.SS1.p1.2.m2.3.3.4.2.cmml" xref="S2.SS1.p1.2.m2.3.3.4.2">𝑃</ci><ci id="S2.SS1.p1.2.m2.3.3.4.3a.cmml" xref="S2.SS1.p1.2.m2.3.3.4.3"><mtext mathsize="70%" id="S2.SS1.p1.2.m2.3.3.4.3.cmml" xref="S2.SS1.p1.2.m2.3.3.4.3">data</mtext></ci></apply><vector id="S2.SS1.p1.2.m2.3.3.2.3.cmml" xref="S2.SS1.p1.2.m2.3.3.2.2"><apply id="S2.SS1.p1.2.m2.2.2.1.1.1.cmml" xref="S2.SS1.p1.2.m2.2.2.1.1.1"><csymbol cd="ambiguous" id="S2.SS1.p1.2.m2.2.2.1.1.1.1.cmml" xref="S2.SS1.p1.2.m2.2.2.1.1.1">subscript</csymbol><ci id="S2.SS1.p1.2.m2.2.2.1.1.1.2.cmml" xref="S2.SS1.p1.2.m2.2.2.1.1.1.2">𝑥</ci><cn type="integer" id="S2.SS1.p1.2.m2.2.2.1.1.1.3.cmml" xref="S2.SS1.p1.2.m2.2.2.1.1.1.3">1</cn></apply><ci id="S2.SS1.p1.2.m2.1.1.cmml" xref="S2.SS1.p1.2.m2.1.1">…</ci><apply id="S2.SS1.p1.2.m2.3.3.2.2.2.cmml" xref="S2.SS1.p1.2.m2.3.3.2.2.2"><csymbol cd="ambiguous" id="S2.SS1.p1.2.m2.3.3.2.2.2.1.cmml" xref="S2.SS1.p1.2.m2.3.3.2.2.2">subscript</csymbol><ci id="S2.SS1.p1.2.m2.3.3.2.2.2.2.cmml" xref="S2.SS1.p1.2.m2.3.3.2.2.2.2">𝑥</ci><ci id="S2.SS1.p1.2.m2.3.3.2.2.2.3.cmml" xref="S2.SS1.p1.2.m2.3.3.2.2.2.3">𝑁</ci></apply></vector></apply></annotation-xml><annotation encoding="application/x-tex" id="S2.SS1.p1.2.m2.3c">P_{\text{data}}(x_{1},\ldots,x_{N})</annotation></semantics></math>, with a fixed length <math id="S2.SS1.p1.3.m3.1" class="ltx_Math" alttext="N" display="inline"><semantics id="S2.SS1.p1.3.m3.1a"><mi id="S2.SS1.p1.3.m3.1.1" xref="S2.SS1.p1.3.m3.1.1.cmml">N</mi><annotation-xml encoding="MathML-Content" id="S2.SS1.p1.3.m3.1b"><ci id="S2.SS1.p1.3.m3.1.1.cmml" xref="S2.SS1.p1.3.m3.1.1">𝑁</ci></annotation-xml><annotation encoding="application/x-tex" id="S2.SS1.p1.3.m3.1c">N</annotation></semantics></math>. The goal is to learn a parameterized model <math id="S2.SS1.p1.4.m4.3" class="ltx_Math" alttext="P_{\theta}(x_{1},\ldots,x_{N})" display="inline"><semantics id="S2.SS1.p1.4.m4.3a"><mrow id="S2.SS1.p1.4.m4.3.3" xref="S2.SS1.p1.4.m4.3.3.cmml"><msub id="S2.SS1.p1.4.m4.3.3.4" xref="S2.SS1.p1.4.m4.3.3.4.cmml"><mi id="S2.SS1.p1.4.m4.3.3.4.2" xref="S2.SS1.p1.4.m4.3.3.4.2.cmml">P</mi><mi id="S2.SS1.p1.4.m4.3.3.4.3" xref="S2.SS1.p1.4.m4.3.3.4.3.cmml">θ</mi></msub><mo lspace="0em" rspace="0em" id="S2.SS1.p1.4.m4.3.3.3" xref="S2.SS1.p1.4.m4.3.3.3.cmml">​</mo><mrow id="S2.SS1.p1.4.m4.3.3.2.2" xref="S2.SS1.p1.4.m4.3.3.2.3.cmml"><mo stretchy="false" id="S2.SS1.p1.4.m4.3.3.2.2.3" xref="S2.SS1.p1.4.m4.3.3.2.3.cmml">(</mo><msub id="S2.SS1.p1.4.m4.2.2.1.1.1" xref="S2.SS1.p1.4.m4.2.2.1.1.1.cmml"><mi id="S2.SS1.p1.4.m4.2.2.1.1.1.2" xref="S2.SS1.p1.4.m4.2.2.1.1.1.2.cmml">x</mi><mn id="S2.SS1.p1.4.m4.2.2.1.1.1.3" xref="S2.SS1.p1.4.m4.2.2.1.1.1.3.cmml">1</mn></msub><mo id="S2.SS1.p1.4.m4.3.3.2.2.4" xref="S2.SS1.p1.4.m4.3.3.2.3.cmml">,</mo><mi mathvariant="normal" id="S2.SS1.p1.4.m4.1.1" xref="S2.SS1.p1.4.m4.1.1.cmml">…</mi><mo id="S2.SS1.p1.4.m4.3.3.2.2.5" xref="S2.SS1.p1.4.m4.3.3.2.3.cmml">,</mo><msub id="S2.SS1.p1.4.m4.3.3.2.2.2" xref="S2.SS1.p1.4.m4.3.3.2.2.2.cmml"><mi id="S2.SS1.p1.4.m4.3.3.2.2.2.2" xref="S2.SS1.p1.4.m4.3.3.2.2.2.2.cmml">x</mi><mi id="S2.SS1.p1.4.m4.3.3.2.2.2.3" xref="S2.SS1.p1.4.m4.3.3.2.2.2.3.cmml">N</mi></msub><mo stretchy="false" id="S2.SS1.p1.4.m4.3.3.2.2.6" xref="S2.SS1.p1.4.m4.3.3.2.3.cmml">)</mo></mrow></mrow><annotation-xml encoding="MathML-Content" id="S2.SS1.p1.4.m4.3b"><apply id="S2.SS1.p1.4.m4.3.3.cmml" xref="S2.SS1.p1.4.m4.3.3"><times id="S2.SS1.p1.4.m4.3.3.3.cmml" xref="S2.SS1.p1.4.m4.3.3.3"></times><apply id="S2.SS1.p1.4.m4.3.3.4.cmml" xref="S2.SS1.p1.4.m4.3.3.4"><csymbol cd="ambiguous" id="S2.SS1.p1.4.m4.3.3.4.1.cmml" xref="S2.SS1.p1.4.m4.3.3.4">subscript</csymbol><ci id="S2.SS1.p1.4.m4.3.3.4.2.cmml" xref="S2.SS1.p1.4.m4.3.3.4.2">𝑃</ci><ci id="S2.SS1.p1.4.m4.3.3.4.3.cmml" xref="S2.SS1.p1.4.m4.3.3.4.3">𝜃</ci></apply><vector id="S2.SS1.p1.4.m4.3.3.2.3.cmml" xref="S2.SS1.p1.4.m4.3.3.2.2"><apply id="S2.SS1.p1.4.m4.2.2.1.1.1.cmml" xref="S2.SS1.p1.4.m4.2.2.1.1.1"><csymbol cd="ambiguous" id="S2.SS1.p1.4.m4.2.2.1.1.1.1.cmml" xref="S2.SS1.p1.4.m4.2.2.1.1.1">subscript</csymbol><ci id="S2.SS1.p1.4.m4.2.2.1.1.1.2.cmml" xref="S2.SS1.p1.4.m4.2.2.1.1.1.2">𝑥</ci><cn type="integer" id="S2.SS1.p1.4.m4.2.2.1.1.1.3.cmml" xref="S2.SS1.p1.4.m4.2.2.1.1.1.3">1</cn></apply><ci id="S2.SS1.p1.4.m4.1.1.cmml" xref="S2.SS1.p1.4.m4.1.1">…</ci><apply id="S2.SS1.p1.4.m4.3.3.2.2.2.cmml" xref="S2.SS1.p1.4.m4.3.3.2.2.2"><csymbol cd="ambiguous" id="S2.SS1.p1.4.m4.3.3.2.2.2.1.cmml" xref="S2.SS1.p1.4.m4.3.3.2.2.2">subscript</csymbol><ci id="S2.SS1.p1.4.m4.3.3.2.2.2.2.cmml" xref="S2.SS1.p1.4.m4.3.3.2.2.2.2">𝑥</ci><ci id="S2.SS1.p1.4.m4.3.3.2.2.2.3.cmml" xref="S2.SS1.p1.4.m4.3.3.2.2.2.3">𝑁</ci></apply></vector></apply></annotation-xml><annotation encoding="application/x-tex" id="S2.SS1.p1.4.m4.3c">P_{\theta}(x_{1},\ldots,x_{N})</annotation></semantics></math> that is close to <math id="S2.SS1.p1.5.m5.1" class="ltx_Math" alttext="P_{\text{data}}" display="inline"><semantics id="S2.SS1.p1.5.m5.1a"><msub id="S2.SS1.p1.5.m5.1.1" xref="S2.SS1.p1.5.m5.1.1.cmml"><mi id="S2.SS1.p1.5.m5.1.1.2" xref="S2.SS1.p1.5.m5.1.1.2.cmml">P</mi><mtext id="S2.SS1.p1.5.m5.1.1.3" xref="S2.SS1.p1.5.m5.1.1.3a.cmml">data</mtext></msub><annotation-xml encoding="MathML-Content" id="S2.SS1.p1.5.m5.1b"><apply id="S2.SS1.p1.5.m5.1.1.cmml" xref="S2.SS1.p1.5.m5.1.1"><csymbol cd="ambiguous" id="S2.SS1.p1.5.m5.1.1.1.cmml" xref="S2.SS1.p1.5.m5.1.1">subscript</csymbol><ci id="S2.SS1.p1.5.m5.1.1.2.cmml" xref="S2.SS1.p1.5.m5.1.1.2">𝑃</ci><ci id="S2.SS1.p1.5.m5.1.1.3a.cmml" xref="S2.SS1.p1.5.m5.1.1.3"><mtext mathsize="70%" id="S2.SS1.p1.5.m5.1.1.3.cmml" xref="S2.SS1.p1.5.m5.1.1.3">data</mtext></ci></apply></annotation-xml><annotation encoding="application/x-tex" id="S2.SS1.p1.5.m5.1c">P_{\text{data}}</annotation></semantics></math>. The KL-divergence between the data distribution and the model has a useful decomposition:</p>
<table id="A9.EGx1" class="ltx_equationgroup ltx_eqn_align ltx_eqn_table">

<tbody id="S2.E1"><tr class="ltx_equation ltx_eqn_row ltx_align_baseline">
<td class="ltx_eqn_cell ltx_eqn_center_padleft"></td>
<td class="ltx_td ltx_align_right ltx_eqn_cell"><math id="S2.E1.m1.1" class="ltx_Math" alttext="\displaystyle D_{\text{KL}}(P_{\text{data}}\|P_{\theta})" display="inline"><semantics id="S2.E1.m1.1a"><mrow id="S2.E1.m1.1.1" xref="S2.E1.m1.1.1.cmml"><msub id="S2.E1.m1.1.1.3" xref="S2.E1.m1.1.1.3.cmml"><mi id="S2.E1.m1.1.1.3.2" xref="S2.E1.m1.1.1.3.2.cmml">D</mi><mtext id="S2.E1.m1.1.1.3.3" xref="S2.E1.m1.1.1.3.3a.cmml">KL</mtext></msub><mo lspace="0em" rspace="0em" id="S2.E1.m1.1.1.2" xref="S2.E1.m1.1.1.2.cmml">​</mo><mrow id="S2.E1.m1.1.1.1.1" xref="S2.E1.m1.1.1.1.1.1.cmml"><mo stretchy="false" id="S2.E1.m1.1.1.1.1.2" xref="S2.E1.m1.1.1.1.1.1.cmml">(</mo><mrow id="S2.E1.m1.1.1.1.1.1" xref="S2.E1.m1.1.1.1.1.1.cmml"><msub id="S2.E1.m1.1.1.1.1.1.2" xref="S2.E1.m1.1.1.1.1.1.2.cmml"><mi id="S2.E1.m1.1.1.1.1.1.2.2" xref="S2.E1.m1.1.1.1.1.1.2.2.cmml">P</mi><mtext id="S2.E1.m1.1.1.1.1.1.2.3" xref="S2.E1.m1.1.1.1.1.1.2.3a.cmml">data</mtext></msub><mo id="S2.E1.m1.1.1.1.1.1.1" xref="S2.E1.m1.1.1.1.1.1.1.cmml">∥</mo><msub id="S2.E1.m1.1.1.1.1.1.3" xref="S2.E1.m1.1.1.1.1.1.3.cmml"><mi id="S2.E1.m1.1.1.1.1.1.3.2" xref="S2.E1.m1.1.1.1.1.1.3.2.cmml">P</mi><mi id="S2.E1.m1.1.1.1.1.1.3.3" xref="S2.E1.m1.1.1.1.1.1.3.3.cmml">θ</mi></msub></mrow><mo stretchy="false" id="S2.E1.m1.1.1.1.1.3" xref="S2.E1.m1.1.1.1.1.1.cmml">)</mo></mrow></mrow><annotation-xml encoding="MathML-Content" id="S2.E1.m1.1b"><apply id="S2.E1.m1.1.1.cmml" xref="S2.E1.m1.1.1"><times id="S2.E1.m1.1.1.2.cmml" xref="S2.E1.m1.1.1.2"></times><apply id="S2.E1.m1.1.1.3.cmml" xref="S2.E1.m1.1.1.3"><csymbol cd="ambiguous" id="S2.E1.m1.1.1.3.1.cmml" xref="S2.E1.m1.1.1.3">subscript</csymbol><ci id="S2.E1.m1.1.1.3.2.cmml" xref="S2.E1.m1.1.1.3.2">𝐷</ci><ci id="S2.E1.m1.1.1.3.3a.cmml" xref="S2.E1.m1.1.1.3.3"><mtext mathsize="70%" id="S2.E1.m1.1.1.3.3.cmml" xref="S2.E1.m1.1.1.3.3">KL</mtext></ci></apply><apply id="S2.E1.m1.1.1.1.1.1.cmml" xref="S2.E1.m1.1.1.1.1"><csymbol cd="latexml" id="S2.E1.m1.1.1.1.1.1.1.cmml" xref="S2.E1.m1.1.1.1.1.1.1">conditional</csymbol><apply id="S2.E1.m1.1.1.1.1.1.2.cmml" xref="S2.E1.m1.1.1.1.1.1.2"><csymbol cd="ambiguous" id="S2.E1.m1.1.1.1.1.1.2.1.cmml" xref="S2.E1.m1.1.1.1.1.1.2">subscript</csymbol><ci id="S2.E1.m1.1.1.1.1.1.2.2.cmml" xref="S2.E1.m1.1.1.1.1.1.2.2">𝑃</ci><ci id="S2.E1.m1.1.1.1.1.1.2.3a.cmml" xref="S2.E1.m1.1.1.1.1.1.2.3"><mtext mathsize="70%" id="S2.E1.m1.1.1.1.1.1.2.3.cmml" xref="S2.E1.m1.1.1.1.1.1.2.3">data</mtext></ci></apply><apply id="S2.E1.m1.1.1.1.1.1.3.cmml" xref="S2.E1.m1.1.1.1.1.1.3"><csymbol cd="ambiguous" id="S2.E1.m1.1.1.1.1.1.3.1.cmml" xref="S2.E1.m1.1.1.1.1.1.3">subscript</csymbol><ci id="S2.E1.m1.1.1.1.1.1.3.2.cmml" xref="S2.E1.m1.1.1.1.1.1.3.2">𝑃</ci><ci id="S2.E1.m1.1.1.1.1.1.3.3.cmml" xref="S2.E1.m1.1.1.1.1.1.3.3">𝜃</ci></apply></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="S2.E1.m1.1c">\displaystyle D_{\text{KL}}(P_{\text{data}}\|P_{\theta})</annotation></semantics></math></td>
<td class="ltx_td ltx_align_left ltx_eqn_cell"><math id="S2.E1.m2.1" class="ltx_Math" alttext="\displaystyle=\mathbb{E}_{x_{1:N}\sim P_{\text{data}}}\left[\log P_{\text{data}}(x_{1:N})-\log P_{\theta}(x_{1:N})\right]" display="inline"><semantics id="S2.E1.m2.1a"><mrow id="S2.E1.m2.1.1" xref="S2.E1.m2.1.1.cmml"><mi id="S2.E1.m2.1.1.3" xref="S2.E1.m2.1.1.3.cmml"></mi><mo id="S2.E1.m2.1.1.2" xref="S2.E1.m2.1.1.2.cmml">=</mo><mrow id="S2.E1.m2.1.1.1" xref="S2.E1.m2.1.1.1.cmml"><msub id="S2.E1.m2.1.1.1.3" xref="S2.E1.m2.1.1.1.3.cmml"><mi id="S2.E1.m2.1.1.1.3.2" xref="S2.E1.m2.1.1.1.3.2.cmml">𝔼</mi><mrow id="S2.E1.m2.1.1.1.3.3" xref="S2.E1.m2.1.1.1.3.3.cmml"><msub id="S2.E1.m2.1.1.1.3.3.2" xref="S2.E1.m2.1.1.1.3.3.2.cmml"><mi id="S2.E1.m2.1.1.1.3.3.2.2" xref="S2.E1.m2.1.1.1.3.3.2.2.cmml">x</mi><mrow id="S2.E1.m2.1.1.1.3.3.2.3" xref="S2.E1.m2.1.1.1.3.3.2.3.cmml"><mn id="S2.E1.m2.1.1.1.3.3.2.3.2" xref="S2.E1.m2.1.1.1.3.3.2.3.2.cmml">1</mn><mo lspace="0.278em" rspace="0.278em" id="S2.E1.m2.1.1.1.3.3.2.3.1" xref="S2.E1.m2.1.1.1.3.3.2.3.1.cmml">:</mo><mi id="S2.E1.m2.1.1.1.3.3.2.3.3" xref="S2.E1.m2.1.1.1.3.3.2.3.3.cmml">N</mi></mrow></msub><mo id="S2.E1.m2.1.1.1.3.3.1" xref="S2.E1.m2.1.1.1.3.3.1.cmml">∼</mo><msub id="S2.E1.m2.1.1.1.3.3.3" xref="S2.E1.m2.1.1.1.3.3.3.cmml"><mi id="S2.E1.m2.1.1.1.3.3.3.2" xref="S2.E1.m2.1.1.1.3.3.3.2.cmml">P</mi><mtext id="S2.E1.m2.1.1.1.3.3.3.3" xref="S2.E1.m2.1.1.1.3.3.3.3a.cmml">data</mtext></msub></mrow></msub><mo lspace="0em" rspace="0em" id="S2.E1.m2.1.1.1.2" xref="S2.E1.m2.1.1.1.2.cmml">​</mo><mrow id="S2.E1.m2.1.1.1.1.1" xref="S2.E1.m2.1.1.1.1.2.cmml"><mo id="S2.E1.m2.1.1.1.1.1.2" xref="S2.E1.m2.1.1.1.1.2.1.cmml">[</mo><mrow id="S2.E1.m2.1.1.1.1.1.1" xref="S2.E1.m2.1.1.1.1.1.1.cmml"><mrow id="S2.E1.m2.1.1.1.1.1.1.1" xref="S2.E1.m2.1.1.1.1.1.1.1.cmml"><mrow id="S2.E1.m2.1.1.1.1.1.1.1.3" xref="S2.E1.m2.1.1.1.1.1.1.1.3.cmml"><mi id="S2.E1.m2.1.1.1.1.1.1.1.3.1" xref="S2.E1.m2.1.1.1.1.1.1.1.3.1.cmml">log</mi><mo lspace="0.167em" id="S2.E1.m2.1.1.1.1.1.1.1.3a" xref="S2.E1.m2.1.1.1.1.1.1.1.3.cmml">⁡</mo><msub id="S2.E1.m2.1.1.1.1.1.1.1.3.2" xref="S2.E1.m2.1.1.1.1.1.1.1.3.2.cmml"><mi id="S2.E1.m2.1.1.1.1.1.1.1.3.2.2" xref="S2.E1.m2.1.1.1.1.1.1.1.3.2.2.cmml">P</mi><mtext id="S2.E1.m2.1.1.1.1.1.1.1.3.2.3" xref="S2.E1.m2.1.1.1.1.1.1.1.3.2.3a.cmml">data</mtext></msub></mrow><mo lspace="0em" rspace="0em" id="S2.E1.m2.1.1.1.1.1.1.1.2" xref="S2.E1.m2.1.1.1.1.1.1.1.2.cmml">​</mo><mrow id="S2.E1.m2.1.1.1.1.1.1.1.1.1" xref="S2.E1.m2.1.1.1.1.1.1.1.1.1.1.cmml"><mo stretchy="false" id="S2.E1.m2.1.1.1.1.1.1.1.1.1.2" xref="S2.E1.m2.1.1.1.1.1.1.1.1.1.1.cmml">(</mo><msub id="S2.E1.m2.1.1.1.1.1.1.1.1.1.1" xref="S2.E1.m2.1.1.1.1.1.1.1.1.1.1.cmml"><mi id="S2.E1.m2.1.1.1.1.1.1.1.1.1.1.2" xref="S2.E1.m2.1.1.1.1.1.1.1.1.1.1.2.cmml">x</mi><mrow id="S2.E1.m2.1.1.1.1.1.1.1.1.1.1.3" xref="S2.E1.m2.1.1.1.1.1.1.1.1.1.1.3.cmml"><mn id="S2.E1.m2.1.1.1.1.1.1.1.1.1.1.3.2" xref="S2.E1.m2.1.1.1.1.1.1.1.1.1.1.3.2.cmml">1</mn><mo lspace="0.278em" rspace="0.278em" id="S2.E1.m2.1.1.1.1.1.1.1.1.1.1.3.1" xref="S2.E1.m2.1.1.1.1.1.1.1.1.1.1.3.1.cmml">:</mo><mi id="S2.E1.m2.1.1.1.1.1.1.1.1.1.1.3.3" xref="S2.E1.m2.1.1.1.1.1.1.1.1.1.1.3.3.cmml">N</mi></mrow></msub><mo stretchy="false" id="S2.E1.m2.1.1.1.1.1.1.1.1.1.3" xref="S2.E1.m2.1.1.1.1.1.1.1.1.1.1.cmml">)</mo></mrow></mrow><mo id="S2.E1.m2.1.1.1.1.1.1.3" xref="S2.E1.m2.1.1.1.1.1.1.3.cmml">−</mo><mrow id="S2.E1.m2.1.1.1.1.1.1.2" xref="S2.E1.m2.1.1.1.1.1.1.2.cmml"><mrow id="S2.E1.m2.1.1.1.1.1.1.2.3" xref="S2.E1.m2.1.1.1.1.1.1.2.3.cmml"><mi id="S2.E1.m2.1.1.1.1.1.1.2.3.1" xref="S2.E1.m2.1.1.1.1.1.1.2.3.1.cmml">log</mi><mo lspace="0.167em" id="S2.E1.m2.1.1.1.1.1.1.2.3a" xref="S2.E1.m2.1.1.1.1.1.1.2.3.cmml">⁡</mo><msub id="S2.E1.m2.1.1.1.1.1.1.2.3.2" xref="S2.E1.m2.1.1.1.1.1.1.2.3.2.cmml"><mi id="S2.E1.m2.1.1.1.1.1.1.2.3.2.2" xref="S2.E1.m2.1.1.1.1.1.1.2.3.2.2.cmml">P</mi><mi id="S2.E1.m2.1.1.1.1.1.1.2.3.2.3" xref="S2.E1.m2.1.1.1.1.1.1.2.3.2.3.cmml">θ</mi></msub></mrow><mo lspace="0em" rspace="0em" id="S2.E1.m2.1.1.1.1.1.1.2.2" xref="S2.E1.m2.1.1.1.1.1.1.2.2.cmml">​</mo><mrow id="S2.E1.m2.1.1.1.1.1.1.2.1.1" xref="S2.E1.m2.1.1.1.1.1.1.2.1.1.1.cmml"><mo stretchy="false" id="S2.E1.m2.1.1.1.1.1.1.2.1.1.2" xref="S2.E1.m2.1.1.1.1.1.1.2.1.1.1.cmml">(</mo><msub id="S2.E1.m2.1.1.1.1.1.1.2.1.1.1" xref="S2.E1.m2.1.1.1.1.1.1.2.1.1.1.cmml"><mi id="S2.E1.m2.1.1.1.1.1.1.2.1.1.1.2" xref="S2.E1.m2.1.1.1.1.1.1.2.1.1.1.2.cmml">x</mi><mrow id="S2.E1.m2.1.1.1.1.1.1.2.1.1.1.3" xref="S2.E1.m2.1.1.1.1.1.1.2.1.1.1.3.cmml"><mn id="S2.E1.m2.1.1.1.1.1.1.2.1.1.1.3.2" xref="S2.E1.m2.1.1.1.1.1.1.2.1.1.1.3.2.cmml">1</mn><mo lspace="0.278em" rspace="0.278em" id="S2.E1.m2.1.1.1.1.1.1.2.1.1.1.3.1" xref="S2.E1.m2.1.1.1.1.1.1.2.1.1.1.3.1.cmml">:</mo><mi id="S2.E1.m2.1.1.1.1.1.1.2.1.1.1.3.3" xref="S2.E1.m2.1.1.1.1.1.1.2.1.1.1.3.3.cmml">N</mi></mrow></msub><mo stretchy="false" id="S2.E1.m2.1.1.1.1.1.1.2.1.1.3" xref="S2.E1.m2.1.1.1.1.1.1.2.1.1.1.cmml">)</mo></mrow></mrow></mrow><mo id="S2.E1.m2.1.1.1.1.1.3" xref="S2.E1.m2.1.1.1.1.2.1.cmml">]</mo></mrow></mrow></mrow><annotation-xml encoding="MathML-Content" id="S2.E1.m2.1b"><apply id="S2.E1.m2.1.1.cmml" xref="S2.E1.m2.1.1"><eq id="S2.E1.m2.1.1.2.cmml" xref="S2.E1.m2.1.1.2"></eq><csymbol cd="latexml" id="S2.E1.m2.1.1.3.cmml" xref="S2.E1.m2.1.1.3">absent</csymbol><apply id="S2.E1.m2.1.1.1.cmml" xref="S2.E1.m2.1.1.1"><times id="S2.E1.m2.1.1.1.2.cmml" xref="S2.E1.m2.1.1.1.2"></times><apply id="S2.E1.m2.1.1.1.3.cmml" xref="S2.E1.m2.1.1.1.3"><csymbol cd="ambiguous" id="S2.E1.m2.1.1.1.3.1.cmml" xref="S2.E1.m2.1.1.1.3">subscript</csymbol><ci id="S2.E1.m2.1.1.1.3.2.cmml" xref="S2.E1.m2.1.1.1.3.2">𝔼</ci><apply id="S2.E1.m2.1.1.1.3.3.cmml" xref="S2.E1.m2.1.1.1.3.3"><csymbol cd="latexml" id="S2.E1.m2.1.1.1.3.3.1.cmml" xref="S2.E1.m2.1.1.1.3.3.1">similar-to</csymbol><apply id="S2.E1.m2.1.1.1.3.3.2.cmml" xref="S2.E1.m2.1.1.1.3.3.2"><csymbol cd="ambiguous" id="S2.E1.m2.1.1.1.3.3.2.1.cmml" xref="S2.E1.m2.1.1.1.3.3.2">subscript</csymbol><ci id="S2.E1.m2.1.1.1.3.3.2.2.cmml" xref="S2.E1.m2.1.1.1.3.3.2.2">𝑥</ci><apply id="S2.E1.m2.1.1.1.3.3.2.3.cmml" xref="S2.E1.m2.1.1.1.3.3.2.3"><ci id="S2.E1.m2.1.1.1.3.3.2.3.1.cmml" xref="S2.E1.m2.1.1.1.3.3.2.3.1">:</ci><cn type="integer" id="S2.E1.m2.1.1.1.3.3.2.3.2.cmml" xref="S2.E1.m2.1.1.1.3.3.2.3.2">1</cn><ci id="S2.E1.m2.1.1.1.3.3.2.3.3.cmml" xref="S2.E1.m2.1.1.1.3.3.2.3.3">𝑁</ci></apply></apply><apply id="S2.E1.m2.1.1.1.3.3.3.cmml" xref="S2.E1.m2.1.1.1.3.3.3"><csymbol cd="ambiguous" id="S2.E1.m2.1.1.1.3.3.3.1.cmml" xref="S2.E1.m2.1.1.1.3.3.3">subscript</csymbol><ci id="S2.E1.m2.1.1.1.3.3.3.2.cmml" xref="S2.E1.m2.1.1.1.3.3.3.2">𝑃</ci><ci id="S2.E1.m2.1.1.1.3.3.3.3a.cmml" xref="S2.E1.m2.1.1.1.3.3.3.3"><mtext mathsize="50%" id="S2.E1.m2.1.1.1.3.3.3.3.cmml" xref="S2.E1.m2.1.1.1.3.3.3.3">data</mtext></ci></apply></apply></apply><apply id="S2.E1.m2.1.1.1.1.2.cmml" xref="S2.E1.m2.1.1.1.1.1"><csymbol cd="latexml" id="S2.E1.m2.1.1.1.1.2.1.cmml" xref="S2.E1.m2.1.1.1.1.1.2">delimited-[]</csymbol><apply id="S2.E1.m2.1.1.1.1.1.1.cmml" xref="S2.E1.m2.1.1.1.1.1.1"><minus id="S2.E1.m2.1.1.1.1.1.1.3.cmml" xref="S2.E1.m2.1.1.1.1.1.1.3"></minus><apply id="S2.E1.m2.1.1.1.1.1.1.1.cmml" xref="S2.E1.m2.1.1.1.1.1.1.1"><times id="S2.E1.m2.1.1.1.1.1.1.1.2.cmml" xref="S2.E1.m2.1.1.1.1.1.1.1.2"></times><apply id="S2.E1.m2.1.1.1.1.1.1.1.3.cmml" xref="S2.E1.m2.1.1.1.1.1.1.1.3"><log id="S2.E1.m2.1.1.1.1.1.1.1.3.1.cmml" xref="S2.E1.m2.1.1.1.1.1.1.1.3.1"></log><apply id="S2.E1.m2.1.1.1.1.1.1.1.3.2.cmml" xref="S2.E1.m2.1.1.1.1.1.1.1.3.2"><csymbol cd="ambiguous" id="S2.E1.m2.1.1.1.1.1.1.1.3.2.1.cmml" xref="S2.E1.m2.1.1.1.1.1.1.1.3.2">subscript</csymbol><ci id="S2.E1.m2.1.1.1.1.1.1.1.3.2.2.cmml" xref="S2.E1.m2.1.1.1.1.1.1.1.3.2.2">𝑃</ci><ci id="S2.E1.m2.1.1.1.1.1.1.1.3.2.3a.cmml" xref="S2.E1.m2.1.1.1.1.1.1.1.3.2.3"><mtext mathsize="70%" id="S2.E1.m2.1.1.1.1.1.1.1.3.2.3.cmml" xref="S2.E1.m2.1.1.1.1.1.1.1.3.2.3">data</mtext></ci></apply></apply><apply id="S2.E1.m2.1.1.1.1.1.1.1.1.1.1.cmml" xref="S2.E1.m2.1.1.1.1.1.1.1.1.1"><csymbol cd="ambiguous" id="S2.E1.m2.1.1.1.1.1.1.1.1.1.1.1.cmml" xref="S2.E1.m2.1.1.1.1.1.1.1.1.1">subscript</csymbol><ci id="S2.E1.m2.1.1.1.1.1.1.1.1.1.1.2.cmml" xref="S2.E1.m2.1.1.1.1.1.1.1.1.1.1.2">𝑥</ci><apply id="S2.E1.m2.1.1.1.1.1.1.1.1.1.1.3.cmml" xref="S2.E1.m2.1.1.1.1.1.1.1.1.1.1.3"><ci id="S2.E1.m2.1.1.1.1.1.1.1.1.1.1.3.1.cmml" xref="S2.E1.m2.1.1.1.1.1.1.1.1.1.1.3.1">:</ci><cn type="integer" id="S2.E1.m2.1.1.1.1.1.1.1.1.1.1.3.2.cmml" xref="S2.E1.m2.1.1.1.1.1.1.1.1.1.1.3.2">1</cn><ci id="S2.E1.m2.1.1.1.1.1.1.1.1.1.1.3.3.cmml" xref="S2.E1.m2.1.1.1.1.1.1.1.1.1.1.3.3">𝑁</ci></apply></apply></apply><apply id="S2.E1.m2.1.1.1.1.1.1.2.cmml" xref="S2.E1.m2.1.1.1.1.1.1.2"><times id="S2.E1.m2.1.1.1.1.1.1.2.2.cmml" xref="S2.E1.m2.1.1.1.1.1.1.2.2"></times><apply id="S2.E1.m2.1.1.1.1.1.1.2.3.cmml" xref="S2.E1.m2.1.1.1.1.1.1.2.3"><log id="S2.E1.m2.1.1.1.1.1.1.2.3.1.cmml" xref="S2.E1.m2.1.1.1.1.1.1.2.3.1"></log><apply id="S2.E1.m2.1.1.1.1.1.1.2.3.2.cmml" xref="S2.E1.m2.1.1.1.1.1.1.2.3.2"><csymbol cd="ambiguous" id="S2.E1.m2.1.1.1.1.1.1.2.3.2.1.cmml" xref="S2.E1.m2.1.1.1.1.1.1.2.3.2">subscript</csymbol><ci id="S2.E1.m2.1.1.1.1.1.1.2.3.2.2.cmml" xref="S2.E1.m2.1.1.1.1.1.1.2.3.2.2">𝑃</ci><ci id="S2.E1.m2.1.1.1.1.1.1.2.3.2.3.cmml" xref="S2.E1.m2.1.1.1.1.1.1.2.3.2.3">𝜃</ci></apply></apply><apply id="S2.E1.m2.1.1.1.1.1.1.2.1.1.1.cmml" xref="S2.E1.m2.1.1.1.1.1.1.2.1.1"><csymbol cd="ambiguous" id="S2.E1.m2.1.1.1.1.1.1.2.1.1.1.1.cmml" xref="S2.E1.m2.1.1.1.1.1.1.2.1.1">subscript</csymbol><ci id="S2.E1.m2.1.1.1.1.1.1.2.1.1.1.2.cmml" xref="S2.E1.m2.1.1.1.1.1.1.2.1.1.1.2">𝑥</ci><apply id="S2.E1.m2.1.1.1.1.1.1.2.1.1.1.3.cmml" xref="S2.E1.m2.1.1.1.1.1.1.2.1.1.1.3"><ci id="S2.E1.m2.1.1.1.1.1.1.2.1.1.1.3.1.cmml" xref="S2.E1.m2.1.1.1.1.1.1.2.1.1.1.3.1">:</ci><cn type="integer" id="S2.E1.m2.1.1.1.1.1.1.2.1.1.1.3.2.cmml" xref="S2.E1.m2.1.1.1.1.1.1.2.1.1.1.3.2">1</cn><ci id="S2.E1.m2.1.1.1.1.1.1.2.1.1.1.3.3.cmml" xref="S2.E1.m2.1.1.1.1.1.1.2.1.1.1.3.3">𝑁</ci></apply></apply></apply></apply></apply></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="S2.E1.m2.1c">\displaystyle=\mathbb{E}_{x_{1:N}\sim P_{\text{data}}}\left[\log P_{\text{data}}(x_{1:N})-\log P_{\theta}(x_{1:N})\right]</annotation></semantics></math></td>
<td class="ltx_eqn_cell ltx_eqn_center_padright"></td>
<td rowspan="1" class="ltx_eqn_cell ltx_eqn_eqno ltx_align_middle ltx_align_right"><span class="ltx_tag ltx_tag_equation ltx_align_right">(1)</span></td>
</tr></tbody>
<tbody id="S2.E2"><tr class="ltx_equation ltx_eqn_row ltx_align_baseline">
<td class="ltx_eqn_cell ltx_eqn_center_padleft"></td>
<td class="ltx_td ltx_eqn_cell"></td>
<td class="ltx_td ltx_align_left ltx_eqn_cell"><math id="S2.E2.m1.1" class="ltx_Math" alttext="\displaystyle=-\mathbb{E}_{x_{1:N}\sim P_{\text{data}}}\left[\sum_{i}^{N}\log P_{\theta}(x_{i}|x_{&lt;i})\right]+C," display="inline"><semantics id="S2.E2.m1.1a"><mrow id="S2.E2.m1.1.1.1" xref="S2.E2.m1.1.1.1.1.cmml"><mrow id="S2.E2.m1.1.1.1.1" xref="S2.E2.m1.1.1.1.1.cmml"><mi id="S2.E2.m1.1.1.1.1.3" xref="S2.E2.m1.1.1.1.1.3.cmml"></mi><mo id="S2.E2.m1.1.1.1.1.2" xref="S2.E2.m1.1.1.1.1.2.cmml">=</mo><mrow id="S2.E2.m1.1.1.1.1.1" xref="S2.E2.m1.1.1.1.1.1.cmml"><mrow id="S2.E2.m1.1.1.1.1.1.1" xref="S2.E2.m1.1.1.1.1.1.1.cmml"><mo id="S2.E2.m1.1.1.1.1.1.1a" xref="S2.E2.m1.1.1.1.1.1.1.cmml">−</mo><mrow id="S2.E2.m1.1.1.1.1.1.1.1" xref="S2.E2.m1.1.1.1.1.1.1.1.cmml"><msub id="S2.E2.m1.1.1.1.1.1.1.1.3" xref="S2.E2.m1.1.1.1.1.1.1.1.3.cmml"><mi id="S2.E2.m1.1.1.1.1.1.1.1.3.2" xref="S2.E2.m1.1.1.1.1.1.1.1.3.2.cmml">𝔼</mi><mrow id="S2.E2.m1.1.1.1.1.1.1.1.3.3" xref="S2.E2.m1.1.1.1.1.1.1.1.3.3.cmml"><msub id="S2.E2.m1.1.1.1.1.1.1.1.3.3.2" xref="S2.E2.m1.1.1.1.1.1.1.1.3.3.2.cmml"><mi id="S2.E2.m1.1.1.1.1.1.1.1.3.3.2.2" xref="S2.E2.m1.1.1.1.1.1.1.1.3.3.2.2.cmml">x</mi><mrow id="S2.E2.m1.1.1.1.1.1.1.1.3.3.2.3" xref="S2.E2.m1.1.1.1.1.1.1.1.3.3.2.3.cmml"><mn id="S2.E2.m1.1.1.1.1.1.1.1.3.3.2.3.2" xref="S2.E2.m1.1.1.1.1.1.1.1.3.3.2.3.2.cmml">1</mn><mo lspace="0.278em" rspace="0.278em" id="S2.E2.m1.1.1.1.1.1.1.1.3.3.2.3.1" xref="S2.E2.m1.1.1.1.1.1.1.1.3.3.2.3.1.cmml">:</mo><mi id="S2.E2.m1.1.1.1.1.1.1.1.3.3.2.3.3" xref="S2.E2.m1.1.1.1.1.1.1.1.3.3.2.3.3.cmml">N</mi></mrow></msub><mo id="S2.E2.m1.1.1.1.1.1.1.1.3.3.1" xref="S2.E2.m1.1.1.1.1.1.1.1.3.3.1.cmml">∼</mo><msub id="S2.E2.m1.1.1.1.1.1.1.1.3.3.3" xref="S2.E2.m1.1.1.1.1.1.1.1.3.3.3.cmml"><mi id="S2.E2.m1.1.1.1.1.1.1.1.3.3.3.2" xref="S2.E2.m1.1.1.1.1.1.1.1.3.3.3.2.cmml">P</mi><mtext id="S2.E2.m1.1.1.1.1.1.1.1.3.3.3.3" xref="S2.E2.m1.1.1.1.1.1.1.1.3.3.3.3a.cmml">data</mtext></msub></mrow></msub><mo lspace="0em" rspace="0em" id="S2.E2.m1.1.1.1.1.1.1.1.2" xref="S2.E2.m1.1.1.1.1.1.1.1.2.cmml">​</mo><mrow id="S2.E2.m1.1.1.1.1.1.1.1.1.1" xref="S2.E2.m1.1.1.1.1.1.1.1.1.2.cmml"><mo id="S2.E2.m1.1.1.1.1.1.1.1.1.1.2" xref="S2.E2.m1.1.1.1.1.1.1.1.1.2.1.cmml">[</mo><mrow id="S2.E2.m1.1.1.1.1.1.1.1.1.1.1" xref="S2.E2.m1.1.1.1.1.1.1.1.1.1.1.cmml"><mstyle displaystyle="true" id="S2.E2.m1.1.1.1.1.1.1.1.1.1.1.2" xref="S2.E2.m1.1.1.1.1.1.1.1.1.1.1.2.cmml"><munderover id="S2.E2.m1.1.1.1.1.1.1.1.1.1.1.2a" xref="S2.E2.m1.1.1.1.1.1.1.1.1.1.1.2.cmml"><mo movablelimits="false" id="S2.E2.m1.1.1.1.1.1.1.1.1.1.1.2.2.2" xref="S2.E2.m1.1.1.1.1.1.1.1.1.1.1.2.2.2.cmml">∑</mo><mi id="S2.E2.m1.1.1.1.1.1.1.1.1.1.1.2.2.3" xref="S2.E2.m1.1.1.1.1.1.1.1.1.1.1.2.2.3.cmml">i</mi><mi id="S2.E2.m1.1.1.1.1.1.1.1.1.1.1.2.3" xref="S2.E2.m1.1.1.1.1.1.1.1.1.1.1.2.3.cmml">N</mi></munderover></mstyle><mrow id="S2.E2.m1.1.1.1.1.1.1.1.1.1.1.1" xref="S2.E2.m1.1.1.1.1.1.1.1.1.1.1.1.cmml"><mrow id="S2.E2.m1.1.1.1.1.1.1.1.1.1.1.1.3" xref="S2.E2.m1.1.1.1.1.1.1.1.1.1.1.1.3.cmml"><mi id="S2.E2.m1.1.1.1.1.1.1.1.1.1.1.1.3.1" xref="S2.E2.m1.1.1.1.1.1.1.1.1.1.1.1.3.1.cmml">log</mi><mo lspace="0.167em" id="S2.E2.m1.1.1.1.1.1.1.1.1.1.1.1.3a" xref="S2.E2.m1.1.1.1.1.1.1.1.1.1.1.1.3.cmml">⁡</mo><msub id="S2.E2.m1.1.1.1.1.1.1.1.1.1.1.1.3.2" xref="S2.E2.m1.1.1.1.1.1.1.1.1.1.1.1.3.2.cmml"><mi id="S2.E2.m1.1.1.1.1.1.1.1.1.1.1.1.3.2.2" xref="S2.E2.m1.1.1.1.1.1.1.1.1.1.1.1.3.2.2.cmml">P</mi><mi id="S2.E2.m1.1.1.1.1.1.1.1.1.1.1.1.3.2.3" xref="S2.E2.m1.1.1.1.1.1.1.1.1.1.1.1.3.2.3.cmml">θ</mi></msub></mrow><mo lspace="0em" rspace="0em" id="S2.E2.m1.1.1.1.1.1.1.1.1.1.1.1.2" xref="S2.E2.m1.1.1.1.1.1.1.1.1.1.1.1.2.cmml">​</mo><mrow id="S2.E2.m1.1.1.1.1.1.1.1.1.1.1.1.1.1" xref="S2.E2.m1.1.1.1.1.1.1.1.1.1.1.1.1.1.1.cmml"><mo stretchy="false" id="S2.E2.m1.1.1.1.1.1.1.1.1.1.1.1.1.1.2" xref="S2.E2.m1.1.1.1.1.1.1.1.1.1.1.1.1.1.1.cmml">(</mo><mrow id="S2.E2.m1.1.1.1.1.1.1.1.1.1.1.1.1.1.1" xref="S2.E2.m1.1.1.1.1.1.1.1.1.1.1.1.1.1.1.cmml"><msub id="S2.E2.m1.1.1.1.1.1.1.1.1.1.1.1.1.1.1.2" xref="S2.E2.m1.1.1.1.1.1.1.1.1.1.1.1.1.1.1.2.cmml"><mi id="S2.E2.m1.1.1.1.1.1.1.1.1.1.1.1.1.1.1.2.2" xref="S2.E2.m1.1.1.1.1.1.1.1.1.1.1.1.1.1.1.2.2.cmml">x</mi><mi id="S2.E2.m1.1.1.1.1.1.1.1.1.1.1.1.1.1.1.2.3" xref="S2.E2.m1.1.1.1.1.1.1.1.1.1.1.1.1.1.1.2.3.cmml">i</mi></msub><mo fence="false" id="S2.E2.m1.1.1.1.1.1.1.1.1.1.1.1.1.1.1.1" xref="S2.E2.m1.1.1.1.1.1.1.1.1.1.1.1.1.1.1.1.cmml">|</mo><msub id="S2.E2.m1.1.1.1.1.1.1.1.1.1.1.1.1.1.1.3" xref="S2.E2.m1.1.1.1.1.1.1.1.1.1.1.1.1.1.1.3.cmml"><mi id="S2.E2.m1.1.1.1.1.1.1.1.1.1.1.1.1.1.1.3.2" xref="S2.E2.m1.1.1.1.1.1.1.1.1.1.1.1.1.1.1.3.2.cmml">x</mi><mrow id="S2.E2.m1.1.1.1.1.1.1.1.1.1.1.1.1.1.1.3.3" xref="S2.E2.m1.1.1.1.1.1.1.1.1.1.1.1.1.1.1.3.3.cmml"><mi id="S2.E2.m1.1.1.1.1.1.1.1.1.1.1.1.1.1.1.3.3.2" xref="S2.E2.m1.1.1.1.1.1.1.1.1.1.1.1.1.1.1.3.3.2.cmml"></mi><mo id="S2.E2.m1.1.1.1.1.1.1.1.1.1.1.1.1.1.1.3.3.1" xref="S2.E2.m1.1.1.1.1.1.1.1.1.1.1.1.1.1.1.3.3.1.cmml">&lt;</mo><mi id="S2.E2.m1.1.1.1.1.1.1.1.1.1.1.1.1.1.1.3.3.3" xref="S2.E2.m1.1.1.1.1.1.1.1.1.1.1.1.1.1.1.3.3.3.cmml">i</mi></mrow></msub></mrow><mo stretchy="false" id="S2.E2.m1.1.1.1.1.1.1.1.1.1.1.1.1.1.3" xref="S2.E2.m1.1.1.1.1.1.1.1.1.1.1.1.1.1.1.cmml">)</mo></mrow></mrow></mrow><mo id="S2.E2.m1.1.1.1.1.1.1.1.1.1.3" xref="S2.E2.m1.1.1.1.1.1.1.1.1.2.1.cmml">]</mo></mrow></mrow></mrow><mo id="S2.E2.m1.1.1.1.1.1.2" xref="S2.E2.m1.1.1.1.1.1.2.cmml">+</mo><mi id="S2.E2.m1.1.1.1.1.1.3" xref="S2.E2.m1.1.1.1.1.1.3.cmml">C</mi></mrow></mrow><mo id="S2.E2.m1.1.1.1.2" xref="S2.E2.m1.1.1.1.1.cmml">,</mo></mrow><annotation-xml encoding="MathML-Content" id="S2.E2.m1.1b"><apply id="S2.E2.m1.1.1.1.1.cmml" xref="S2.E2.m1.1.1.1"><eq id="S2.E2.m1.1.1.1.1.2.cmml" xref="S2.E2.m1.1.1.1.1.2"></eq><csymbol cd="latexml" id="S2.E2.m1.1.1.1.1.3.cmml" xref="S2.E2.m1.1.1.1.1.3">absent</csymbol><apply id="S2.E2.m1.1.1.1.1.1.cmml" xref="S2.E2.m1.1.1.1.1.1"><plus id="S2.E2.m1.1.1.1.1.1.2.cmml" xref="S2.E2.m1.1.1.1.1.1.2"></plus><apply id="S2.E2.m1.1.1.1.1.1.1.cmml" xref="S2.E2.m1.1.1.1.1.1.1"><minus id="S2.E2.m1.1.1.1.1.1.1.2.cmml" xref="S2.E2.m1.1.1.1.1.1.1"></minus><apply id="S2.E2.m1.1.1.1.1.1.1.1.cmml" xref="S2.E2.m1.1.1.1.1.1.1.1"><times id="S2.E2.m1.1.1.1.1.1.1.1.2.cmml" xref="S2.E2.m1.1.1.1.1.1.1.1.2"></times><apply id="S2.E2.m1.1.1.1.1.1.1.1.3.cmml" xref="S2.E2.m1.1.1.1.1.1.1.1.3"><csymbol cd="ambiguous" id="S2.E2.m1.1.1.1.1.1.1.1.3.1.cmml" xref="S2.E2.m1.1.1.1.1.1.1.1.3">subscript</csymbol><ci id="S2.E2.m1.1.1.1.1.1.1.1.3.2.cmml" xref="S2.E2.m1.1.1.1.1.1.1.1.3.2">𝔼</ci><apply id="S2.E2.m1.1.1.1.1.1.1.1.3.3.cmml" xref="S2.E2.m1.1.1.1.1.1.1.1.3.3"><csymbol cd="latexml" id="S2.E2.m1.1.1.1.1.1.1.1.3.3.1.cmml" xref="S2.E2.m1.1.1.1.1.1.1.1.3.3.1">similar-to</csymbol><apply id="S2.E2.m1.1.1.1.1.1.1.1.3.3.2.cmml" xref="S2.E2.m1.1.1.1.1.1.1.1.3.3.2"><csymbol cd="ambiguous" id="S2.E2.m1.1.1.1.1.1.1.1.3.3.2.1.cmml" xref="S2.E2.m1.1.1.1.1.1.1.1.3.3.2">subscript</csymbol><ci id="S2.E2.m1.1.1.1.1.1.1.1.3.3.2.2.cmml" xref="S2.E2.m1.1.1.1.1.1.1.1.3.3.2.2">𝑥</ci><apply id="S2.E2.m1.1.1.1.1.1.1.1.3.3.2.3.cmml" xref="S2.E2.m1.1.1.1.1.1.1.1.3.3.2.3"><ci id="S2.E2.m1.1.1.1.1.1.1.1.3.3.2.3.1.cmml" xref="S2.E2.m1.1.1.1.1.1.1.1.3.3.2.3.1">:</ci><cn type="integer" id="S2.E2.m1.1.1.1.1.1.1.1.3.3.2.3.2.cmml" xref="S2.E2.m1.1.1.1.1.1.1.1.3.3.2.3.2">1</cn><ci id="S2.E2.m1.1.1.1.1.1.1.1.3.3.2.3.3.cmml" xref="S2.E2.m1.1.1.1.1.1.1.1.3.3.2.3.3">𝑁</ci></apply></apply><apply id="S2.E2.m1.1.1.1.1.1.1.1.3.3.3.cmml" xref="S2.E2.m1.1.1.1.1.1.1.1.3.3.3"><csymbol cd="ambiguous" id="S2.E2.m1.1.1.1.1.1.1.1.3.3.3.1.cmml" xref="S2.E2.m1.1.1.1.1.1.1.1.3.3.3">subscript</csymbol><ci id="S2.E2.m1.1.1.1.1.1.1.1.3.3.3.2.cmml" xref="S2.E2.m1.1.1.1.1.1.1.1.3.3.3.2">𝑃</ci><ci id="S2.E2.m1.1.1.1.1.1.1.1.3.3.3.3a.cmml" xref="S2.E2.m1.1.1.1.1.1.1.1.3.3.3.3"><mtext mathsize="50%" id="S2.E2.m1.1.1.1.1.1.1.1.3.3.3.3.cmml" xref="S2.E2.m1.1.1.1.1.1.1.1.3.3.3.3">data</mtext></ci></apply></apply></apply><apply id="S2.E2.m1.1.1.1.1.1.1.1.1.2.cmml" xref="S2.E2.m1.1.1.1.1.1.1.1.1.1"><csymbol cd="latexml" id="S2.E2.m1.1.1.1.1.1.1.1.1.2.1.cmml" xref="S2.E2.m1.1.1.1.1.1.1.1.1.1.2">delimited-[]</csymbol><apply id="S2.E2.m1.1.1.1.1.1.1.1.1.1.1.cmml" xref="S2.E2.m1.1.1.1.1.1.1.1.1.1.1"><apply id="S2.E2.m1.1.1.1.1.1.1.1.1.1.1.2.cmml" xref="S2.E2.m1.1.1.1.1.1.1.1.1.1.1.2"><csymbol cd="ambiguous" id="S2.E2.m1.1.1.1.1.1.1.1.1.1.1.2.1.cmml" xref="S2.E2.m1.1.1.1.1.1.1.1.1.1.1.2">superscript</csymbol><apply id="S2.E2.m1.1.1.1.1.1.1.1.1.1.1.2.2.cmml" xref="S2.E2.m1.1.1.1.1.1.1.1.1.1.1.2"><csymbol cd="ambiguous" id="S2.E2.m1.1.1.1.1.1.1.1.1.1.1.2.2.1.cmml" xref="S2.E2.m1.1.1.1.1.1.1.1.1.1.1.2">subscript</csymbol><sum id="S2.E2.m1.1.1.1.1.1.1.1.1.1.1.2.2.2.cmml" xref="S2.E2.m1.1.1.1.1.1.1.1.1.1.1.2.2.2"></sum><ci id="S2.E2.m1.1.1.1.1.1.1.1.1.1.1.2.2.3.cmml" xref="S2.E2.m1.1.1.1.1.1.1.1.1.1.1.2.2.3">𝑖</ci></apply><ci id="S2.E2.m1.1.1.1.1.1.1.1.1.1.1.2.3.cmml" xref="S2.E2.m1.1.1.1.1.1.1.1.1.1.1.2.3">𝑁</ci></apply><apply id="S2.E2.m1.1.1.1.1.1.1.1.1.1.1.1.cmml" xref="S2.E2.m1.1.1.1.1.1.1.1.1.1.1.1"><times id="S2.E2.m1.1.1.1.1.1.1.1.1.1.1.1.2.cmml" xref="S2.E2.m1.1.1.1.1.1.1.1.1.1.1.1.2"></times><apply id="S2.E2.m1.1.1.1.1.1.1.1.1.1.1.1.3.cmml" xref="S2.E2.m1.1.1.1.1.1.1.1.1.1.1.1.3"><log id="S2.E2.m1.1.1.1.1.1.1.1.1.1.1.1.3.1.cmml" xref="S2.E2.m1.1.1.1.1.1.1.1.1.1.1.1.3.1"></log><apply id="S2.E2.m1.1.1.1.1.1.1.1.1.1.1.1.3.2.cmml" xref="S2.E2.m1.1.1.1.1.1.1.1.1.1.1.1.3.2"><csymbol cd="ambiguous" id="S2.E2.m1.1.1.1.1.1.1.1.1.1.1.1.3.2.1.cmml" xref="S2.E2.m1.1.1.1.1.1.1.1.1.1.1.1.3.2">subscript</csymbol><ci id="S2.E2.m1.1.1.1.1.1.1.1.1.1.1.1.3.2.2.cmml" xref="S2.E2.m1.1.1.1.1.1.1.1.1.1.1.1.3.2.2">𝑃</ci><ci id="S2.E2.m1.1.1.1.1.1.1.1.1.1.1.1.3.2.3.cmml" xref="S2.E2.m1.1.1.1.1.1.1.1.1.1.1.1.3.2.3">𝜃</ci></apply></apply><apply id="S2.E2.m1.1.1.1.1.1.1.1.1.1.1.1.1.1.1.cmml" xref="S2.E2.m1.1.1.1.1.1.1.1.1.1.1.1.1.1"><csymbol cd="latexml" id="S2.E2.m1.1.1.1.1.1.1.1.1.1.1.1.1.1.1.1.cmml" xref="S2.E2.m1.1.1.1.1.1.1.1.1.1.1.1.1.1.1.1">conditional</csymbol><apply id="S2.E2.m1.1.1.1.1.1.1.1.1.1.1.1.1.1.1.2.cmml" xref="S2.E2.m1.1.1.1.1.1.1.1.1.1.1.1.1.1.1.2"><csymbol cd="ambiguous" id="S2.E2.m1.1.1.1.1.1.1.1.1.1.1.1.1.1.1.2.1.cmml" xref="S2.E2.m1.1.1.1.1.1.1.1.1.1.1.1.1.1.1.2">subscript</csymbol><ci id="S2.E2.m1.1.1.1.1.1.1.1.1.1.1.1.1.1.1.2.2.cmml" xref="S2.E2.m1.1.1.1.1.1.1.1.1.1.1.1.1.1.1.2.2">𝑥</ci><ci id="S2.E2.m1.1.1.1.1.1.1.1.1.1.1.1.1.1.1.2.3.cmml" xref="S2.E2.m1.1.1.1.1.1.1.1.1.1.1.1.1.1.1.2.3">𝑖</ci></apply><apply id="S2.E2.m1.1.1.1.1.1.1.1.1.1.1.1.1.1.1.3.cmml" xref="S2.E2.m1.1.1.1.1.1.1.1.1.1.1.1.1.1.1.3"><csymbol cd="ambiguous" id="S2.E2.m1.1.1.1.1.1.1.1.1.1.1.1.1.1.1.3.1.cmml" xref="S2.E2.m1.1.1.1.1.1.1.1.1.1.1.1.1.1.1.3">subscript</csymbol><ci id="S2.E2.m1.1.1.1.1.1.1.1.1.1.1.1.1.1.1.3.2.cmml" xref="S2.E2.m1.1.1.1.1.1.1.1.1.1.1.1.1.1.1.3.2">𝑥</ci><apply id="S2.E2.m1.1.1.1.1.1.1.1.1.1.1.1.1.1.1.3.3.cmml" xref="S2.E2.m1.1.1.1.1.1.1.1.1.1.1.1.1.1.1.3.3"><lt id="S2.E2.m1.1.1.1.1.1.1.1.1.1.1.1.1.1.1.3.3.1.cmml" xref="S2.E2.m1.1.1.1.1.1.1.1.1.1.1.1.1.1.1.3.3.1"></lt><csymbol cd="latexml" id="S2.E2.m1.1.1.1.1.1.1.1.1.1.1.1.1.1.1.3.3.2.cmml" xref="S2.E2.m1.1.1.1.1.1.1.1.1.1.1.1.1.1.1.3.3.2">absent</csymbol><ci id="S2.E2.m1.1.1.1.1.1.1.1.1.1.1.1.1.1.1.3.3.3.cmml" xref="S2.E2.m1.1.1.1.1.1.1.1.1.1.1.1.1.1.1.3.3.3">𝑖</ci></apply></apply></apply></apply></apply></apply></apply></apply><ci id="S2.E2.m1.1.1.1.1.1.3.cmml" xref="S2.E2.m1.1.1.1.1.1.3">𝐶</ci></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="S2.E2.m1.1c">\displaystyle=-\mathbb{E}_{x_{1:N}\sim P_{\text{data}}}\left[\sum_{i}^{N}\log P_{\theta}(x_{i}|x_{&lt;i})\right]+C,</annotation></semantics></math></td>
<td class="ltx_eqn_cell ltx_eqn_center_padright"></td>
<td rowspan="1" class="ltx_eqn_cell ltx_eqn_eqno ltx_align_middle ltx_align_right"><span class="ltx_tag ltx_tag_equation ltx_align_right">(2)</span></td>
</tr></tbody>
</table>
<p id="S2.SS1.p1.19" class="ltx_p">where <math id="S2.SS1.p1.6.m1.1" class="ltx_Math" alttext="C" display="inline"><semantics id="S2.SS1.p1.6.m1.1a"><mi id="S2.SS1.p1.6.m1.1.1" xref="S2.SS1.p1.6.m1.1.1.cmml">C</mi><annotation-xml encoding="MathML-Content" id="S2.SS1.p1.6.m1.1b"><ci id="S2.SS1.p1.6.m1.1.1.cmml" xref="S2.SS1.p1.6.m1.1.1">𝐶</ci></annotation-xml><annotation encoding="application/x-tex" id="S2.SS1.p1.6.m1.1c">C</annotation></semantics></math> is a constant that does not depend on <math id="S2.SS1.p1.7.m2.1" class="ltx_Math" alttext="\theta" display="inline"><semantics id="S2.SS1.p1.7.m2.1a"><mi id="S2.SS1.p1.7.m2.1.1" xref="S2.SS1.p1.7.m2.1.1.cmml">θ</mi><annotation-xml encoding="MathML-Content" id="S2.SS1.p1.7.m2.1b"><ci id="S2.SS1.p1.7.m2.1.1.cmml" xref="S2.SS1.p1.7.m2.1.1">𝜃</ci></annotation-xml><annotation encoding="application/x-tex" id="S2.SS1.p1.7.m2.1c">\theta</annotation></semantics></math>. For a dataset <math id="S2.SS1.p1.8.m3.1" class="ltx_Math" alttext="\mathcal{D}=\{x_{1:N}^{j}\}_{j=0}^{N_{\text{data}}}" display="inline"><semantics id="S2.SS1.p1.8.m3.1a"><mrow id="S2.SS1.p1.8.m3.1.1" xref="S2.SS1.p1.8.m3.1.1.cmml"><mi class="ltx_font_mathcaligraphic" id="S2.SS1.p1.8.m3.1.1.3" xref="S2.SS1.p1.8.m3.1.1.3.cmml">𝒟</mi><mo id="S2.SS1.p1.8.m3.1.1.2" xref="S2.SS1.p1.8.m3.1.1.2.cmml">=</mo><msubsup id="S2.SS1.p1.8.m3.1.1.1" xref="S2.SS1.p1.8.m3.1.1.1.cmml"><mrow id="S2.SS1.p1.8.m3.1.1.1.1.1.1" xref="S2.SS1.p1.8.m3.1.1.1.1.1.2.cmml"><mo stretchy="false" id="S2.SS1.p1.8.m3.1.1.1.1.1.1.2" xref="S2.SS1.p1.8.m3.1.1.1.1.1.2.cmml">{</mo><msubsup id="S2.SS1.p1.8.m3.1.1.1.1.1.1.1" xref="S2.SS1.p1.8.m3.1.1.1.1.1.1.1.cmml"><mi id="S2.SS1.p1.8.m3.1.1.1.1.1.1.1.2.2" xref="S2.SS1.p1.8.m3.1.1.1.1.1.1.1.2.2.cmml">x</mi><mrow id="S2.SS1.p1.8.m3.1.1.1.1.1.1.1.2.3" xref="S2.SS1.p1.8.m3.1.1.1.1.1.1.1.2.3.cmml"><mn id="S2.SS1.p1.8.m3.1.1.1.1.1.1.1.2.3.2" xref="S2.SS1.p1.8.m3.1.1.1.1.1.1.1.2.3.2.cmml">1</mn><mo lspace="0.278em" rspace="0.278em" id="S2.SS1.p1.8.m3.1.1.1.1.1.1.1.2.3.1" xref="S2.SS1.p1.8.m3.1.1.1.1.1.1.1.2.3.1.cmml">:</mo><mi id="S2.SS1.p1.8.m3.1.1.1.1.1.1.1.2.3.3" xref="S2.SS1.p1.8.m3.1.1.1.1.1.1.1.2.3.3.cmml">N</mi></mrow><mi id="S2.SS1.p1.8.m3.1.1.1.1.1.1.1.3" xref="S2.SS1.p1.8.m3.1.1.1.1.1.1.1.3.cmml">j</mi></msubsup><mo stretchy="false" id="S2.SS1.p1.8.m3.1.1.1.1.1.1.3" xref="S2.SS1.p1.8.m3.1.1.1.1.1.2.cmml">}</mo></mrow><mrow id="S2.SS1.p1.8.m3.1.1.1.1.3" xref="S2.SS1.p1.8.m3.1.1.1.1.3.cmml"><mi id="S2.SS1.p1.8.m3.1.1.1.1.3.2" xref="S2.SS1.p1.8.m3.1.1.1.1.3.2.cmml">j</mi><mo id="S2.SS1.p1.8.m3.1.1.1.1.3.1" xref="S2.SS1.p1.8.m3.1.1.1.1.3.1.cmml">=</mo><mn id="S2.SS1.p1.8.m3.1.1.1.1.3.3" xref="S2.SS1.p1.8.m3.1.1.1.1.3.3.cmml">0</mn></mrow><msub id="S2.SS1.p1.8.m3.1.1.1.3" xref="S2.SS1.p1.8.m3.1.1.1.3.cmml"><mi id="S2.SS1.p1.8.m3.1.1.1.3.2" xref="S2.SS1.p1.8.m3.1.1.1.3.2.cmml">N</mi><mtext id="S2.SS1.p1.8.m3.1.1.1.3.3" xref="S2.SS1.p1.8.m3.1.1.1.3.3a.cmml">data</mtext></msub></msubsup></mrow><annotation-xml encoding="MathML-Content" id="S2.SS1.p1.8.m3.1b"><apply id="S2.SS1.p1.8.m3.1.1.cmml" xref="S2.SS1.p1.8.m3.1.1"><eq id="S2.SS1.p1.8.m3.1.1.2.cmml" xref="S2.SS1.p1.8.m3.1.1.2"></eq><ci id="S2.SS1.p1.8.m3.1.1.3.cmml" xref="S2.SS1.p1.8.m3.1.1.3">𝒟</ci><apply id="S2.SS1.p1.8.m3.1.1.1.cmml" xref="S2.SS1.p1.8.m3.1.1.1"><csymbol cd="ambiguous" id="S2.SS1.p1.8.m3.1.1.1.2.cmml" xref="S2.SS1.p1.8.m3.1.1.1">superscript</csymbol><apply id="S2.SS1.p1.8.m3.1.1.1.1.cmml" xref="S2.SS1.p1.8.m3.1.1.1"><csymbol cd="ambiguous" id="S2.SS1.p1.8.m3.1.1.1.1.2.cmml" xref="S2.SS1.p1.8.m3.1.1.1">subscript</csymbol><set id="S2.SS1.p1.8.m3.1.1.1.1.1.2.cmml" xref="S2.SS1.p1.8.m3.1.1.1.1.1.1"><apply id="S2.SS1.p1.8.m3.1.1.1.1.1.1.1.cmml" xref="S2.SS1.p1.8.m3.1.1.1.1.1.1.1"><csymbol cd="ambiguous" id="S2.SS1.p1.8.m3.1.1.1.1.1.1.1.1.cmml" xref="S2.SS1.p1.8.m3.1.1.1.1.1.1.1">superscript</csymbol><apply id="S2.SS1.p1.8.m3.1.1.1.1.1.1.1.2.cmml" xref="S2.SS1.p1.8.m3.1.1.1.1.1.1.1"><csymbol cd="ambiguous" id="S2.SS1.p1.8.m3.1.1.1.1.1.1.1.2.1.cmml" xref="S2.SS1.p1.8.m3.1.1.1.1.1.1.1">subscript</csymbol><ci id="S2.SS1.p1.8.m3.1.1.1.1.1.1.1.2.2.cmml" xref="S2.SS1.p1.8.m3.1.1.1.1.1.1.1.2.2">𝑥</ci><apply id="S2.SS1.p1.8.m3.1.1.1.1.1.1.1.2.3.cmml" xref="S2.SS1.p1.8.m3.1.1.1.1.1.1.1.2.3"><ci id="S2.SS1.p1.8.m3.1.1.1.1.1.1.1.2.3.1.cmml" xref="S2.SS1.p1.8.m3.1.1.1.1.1.1.1.2.3.1">:</ci><cn type="integer" id="S2.SS1.p1.8.m3.1.1.1.1.1.1.1.2.3.2.cmml" xref="S2.SS1.p1.8.m3.1.1.1.1.1.1.1.2.3.2">1</cn><ci id="S2.SS1.p1.8.m3.1.1.1.1.1.1.1.2.3.3.cmml" xref="S2.SS1.p1.8.m3.1.1.1.1.1.1.1.2.3.3">𝑁</ci></apply></apply><ci id="S2.SS1.p1.8.m3.1.1.1.1.1.1.1.3.cmml" xref="S2.SS1.p1.8.m3.1.1.1.1.1.1.1.3">𝑗</ci></apply></set><apply id="S2.SS1.p1.8.m3.1.1.1.1.3.cmml" xref="S2.SS1.p1.8.m3.1.1.1.1.3"><eq id="S2.SS1.p1.8.m3.1.1.1.1.3.1.cmml" xref="S2.SS1.p1.8.m3.1.1.1.1.3.1"></eq><ci id="S2.SS1.p1.8.m3.1.1.1.1.3.2.cmml" xref="S2.SS1.p1.8.m3.1.1.1.1.3.2">𝑗</ci><cn type="integer" id="S2.SS1.p1.8.m3.1.1.1.1.3.3.cmml" xref="S2.SS1.p1.8.m3.1.1.1.1.3.3">0</cn></apply></apply><apply id="S2.SS1.p1.8.m3.1.1.1.3.cmml" xref="S2.SS1.p1.8.m3.1.1.1.3"><csymbol cd="ambiguous" id="S2.SS1.p1.8.m3.1.1.1.3.1.cmml" xref="S2.SS1.p1.8.m3.1.1.1.3">subscript</csymbol><ci id="S2.SS1.p1.8.m3.1.1.1.3.2.cmml" xref="S2.SS1.p1.8.m3.1.1.1.3.2">𝑁</ci><ci id="S2.SS1.p1.8.m3.1.1.1.3.3a.cmml" xref="S2.SS1.p1.8.m3.1.1.1.3.3"><mtext mathsize="50%" id="S2.SS1.p1.8.m3.1.1.1.3.3.cmml" xref="S2.SS1.p1.8.m3.1.1.1.3.3">data</mtext></ci></apply></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="S2.SS1.p1.8.m3.1c">\mathcal{D}=\{x_{1:N}^{j}\}_{j=0}^{N_{\text{data}}}</annotation></semantics></math> of sequences drawn i.i.d. from <math id="S2.SS1.p1.9.m4.1" class="ltx_Math" alttext="P_{\text{data}}" display="inline"><semantics id="S2.SS1.p1.9.m4.1a"><msub id="S2.SS1.p1.9.m4.1.1" xref="S2.SS1.p1.9.m4.1.1.cmml"><mi id="S2.SS1.p1.9.m4.1.1.2" xref="S2.SS1.p1.9.m4.1.1.2.cmml">P</mi><mtext id="S2.SS1.p1.9.m4.1.1.3" xref="S2.SS1.p1.9.m4.1.1.3a.cmml">data</mtext></msub><annotation-xml encoding="MathML-Content" id="S2.SS1.p1.9.m4.1b"><apply id="S2.SS1.p1.9.m4.1.1.cmml" xref="S2.SS1.p1.9.m4.1.1"><csymbol cd="ambiguous" id="S2.SS1.p1.9.m4.1.1.1.cmml" xref="S2.SS1.p1.9.m4.1.1">subscript</csymbol><ci id="S2.SS1.p1.9.m4.1.1.2.cmml" xref="S2.SS1.p1.9.m4.1.1.2">𝑃</ci><ci id="S2.SS1.p1.9.m4.1.1.3a.cmml" xref="S2.SS1.p1.9.m4.1.1.3"><mtext mathsize="70%" id="S2.SS1.p1.9.m4.1.1.3.cmml" xref="S2.SS1.p1.9.m4.1.1.3">data</mtext></ci></apply></annotation-xml><annotation encoding="application/x-tex" id="S2.SS1.p1.9.m4.1c">P_{\text{data}}</annotation></semantics></math>, this can be approximated with an estimator <math id="S2.SS1.p1.10.m5.2" class="ltx_Math" alttext="{\hat{D}_{\text{KL}}}(P_{\text{data}}\|P_{\theta})=\tfrac{1}{N_{\text{data}}}\sum_{j}\sum_{i}^{N}\log P_{\theta}(x_{i}^{j}|x_{&lt;i}^{j})+C^{\prime}" display="inline"><semantics id="S2.SS1.p1.10.m5.2a"><mrow id="S2.SS1.p1.10.m5.2.2" xref="S2.SS1.p1.10.m5.2.2.cmml"><mrow id="S2.SS1.p1.10.m5.1.1.1" xref="S2.SS1.p1.10.m5.1.1.1.cmml"><msub id="S2.SS1.p1.10.m5.1.1.1.3" xref="S2.SS1.p1.10.m5.1.1.1.3.cmml"><mover accent="true" id="S2.SS1.p1.10.m5.1.1.1.3.2" xref="S2.SS1.p1.10.m5.1.1.1.3.2.cmml"><mi id="S2.SS1.p1.10.m5.1.1.1.3.2.2" xref="S2.SS1.p1.10.m5.1.1.1.3.2.2.cmml">D</mi><mo id="S2.SS1.p1.10.m5.1.1.1.3.2.1" xref="S2.SS1.p1.10.m5.1.1.1.3.2.1.cmml">^</mo></mover><mtext id="S2.SS1.p1.10.m5.1.1.1.3.3" xref="S2.SS1.p1.10.m5.1.1.1.3.3a.cmml">KL</mtext></msub><mo lspace="0em" rspace="0em" id="S2.SS1.p1.10.m5.1.1.1.2" xref="S2.SS1.p1.10.m5.1.1.1.2.cmml">​</mo><mrow id="S2.SS1.p1.10.m5.1.1.1.1.1" xref="S2.SS1.p1.10.m5.1.1.1.1.1.1.cmml"><mo stretchy="false" id="S2.SS1.p1.10.m5.1.1.1.1.1.2" xref="S2.SS1.p1.10.m5.1.1.1.1.1.1.cmml">(</mo><mrow id="S2.SS1.p1.10.m5.1.1.1.1.1.1" xref="S2.SS1.p1.10.m5.1.1.1.1.1.1.cmml"><msub id="S2.SS1.p1.10.m5.1.1.1.1.1.1.2" xref="S2.SS1.p1.10.m5.1.1.1.1.1.1.2.cmml"><mi id="S2.SS1.p1.10.m5.1.1.1.1.1.1.2.2" xref="S2.SS1.p1.10.m5.1.1.1.1.1.1.2.2.cmml">P</mi><mtext id="S2.SS1.p1.10.m5.1.1.1.1.1.1.2.3" xref="S2.SS1.p1.10.m5.1.1.1.1.1.1.2.3a.cmml">data</mtext></msub><mo id="S2.SS1.p1.10.m5.1.1.1.1.1.1.1" xref="S2.SS1.p1.10.m5.1.1.1.1.1.1.1.cmml">∥</mo><msub id="S2.SS1.p1.10.m5.1.1.1.1.1.1.3" xref="S2.SS1.p1.10.m5.1.1.1.1.1.1.3.cmml"><mi id="S2.SS1.p1.10.m5.1.1.1.1.1.1.3.2" xref="S2.SS1.p1.10.m5.1.1.1.1.1.1.3.2.cmml">P</mi><mi id="S2.SS1.p1.10.m5.1.1.1.1.1.1.3.3" xref="S2.SS1.p1.10.m5.1.1.1.1.1.1.3.3.cmml">θ</mi></msub></mrow><mo stretchy="false" id="S2.SS1.p1.10.m5.1.1.1.1.1.3" xref="S2.SS1.p1.10.m5.1.1.1.1.1.1.cmml">)</mo></mrow></mrow><mo id="S2.SS1.p1.10.m5.2.2.3" xref="S2.SS1.p1.10.m5.2.2.3.cmml">=</mo><mrow id="S2.SS1.p1.10.m5.2.2.2" xref="S2.SS1.p1.10.m5.2.2.2.cmml"><mrow id="S2.SS1.p1.10.m5.2.2.2.1" xref="S2.SS1.p1.10.m5.2.2.2.1.cmml"><mfrac id="S2.SS1.p1.10.m5.2.2.2.1.3" xref="S2.SS1.p1.10.m5.2.2.2.1.3.cmml"><mn id="S2.SS1.p1.10.m5.2.2.2.1.3.2" xref="S2.SS1.p1.10.m5.2.2.2.1.3.2.cmml">1</mn><msub id="S2.SS1.p1.10.m5.2.2.2.1.3.3" xref="S2.SS1.p1.10.m5.2.2.2.1.3.3.cmml"><mi id="S2.SS1.p1.10.m5.2.2.2.1.3.3.2" xref="S2.SS1.p1.10.m5.2.2.2.1.3.3.2.cmml">N</mi><mtext id="S2.SS1.p1.10.m5.2.2.2.1.3.3.3" xref="S2.SS1.p1.10.m5.2.2.2.1.3.3.3a.cmml">data</mtext></msub></mfrac><mo lspace="0em" rspace="0em" id="S2.SS1.p1.10.m5.2.2.2.1.2" xref="S2.SS1.p1.10.m5.2.2.2.1.2.cmml">​</mo><mrow id="S2.SS1.p1.10.m5.2.2.2.1.1" xref="S2.SS1.p1.10.m5.2.2.2.1.1.cmml"><msub id="S2.SS1.p1.10.m5.2.2.2.1.1.2" xref="S2.SS1.p1.10.m5.2.2.2.1.1.2.cmml"><mo rspace="0em" id="S2.SS1.p1.10.m5.2.2.2.1.1.2.2" xref="S2.SS1.p1.10.m5.2.2.2.1.1.2.2.cmml">∑</mo><mi id="S2.SS1.p1.10.m5.2.2.2.1.1.2.3" xref="S2.SS1.p1.10.m5.2.2.2.1.1.2.3.cmml">j</mi></msub><mrow id="S2.SS1.p1.10.m5.2.2.2.1.1.1" xref="S2.SS1.p1.10.m5.2.2.2.1.1.1.cmml"><msubsup id="S2.SS1.p1.10.m5.2.2.2.1.1.1.2" xref="S2.SS1.p1.10.m5.2.2.2.1.1.1.2.cmml"><mo id="S2.SS1.p1.10.m5.2.2.2.1.1.1.2.2.2" xref="S2.SS1.p1.10.m5.2.2.2.1.1.1.2.2.2.cmml">∑</mo><mi id="S2.SS1.p1.10.m5.2.2.2.1.1.1.2.2.3" xref="S2.SS1.p1.10.m5.2.2.2.1.1.1.2.2.3.cmml">i</mi><mi id="S2.SS1.p1.10.m5.2.2.2.1.1.1.2.3" xref="S2.SS1.p1.10.m5.2.2.2.1.1.1.2.3.cmml">N</mi></msubsup><mrow id="S2.SS1.p1.10.m5.2.2.2.1.1.1.1" xref="S2.SS1.p1.10.m5.2.2.2.1.1.1.1.cmml"><mrow id="S2.SS1.p1.10.m5.2.2.2.1.1.1.1.3" xref="S2.SS1.p1.10.m5.2.2.2.1.1.1.1.3.cmml"><mi id="S2.SS1.p1.10.m5.2.2.2.1.1.1.1.3.1" xref="S2.SS1.p1.10.m5.2.2.2.1.1.1.1.3.1.cmml">log</mi><mo lspace="0.167em" id="S2.SS1.p1.10.m5.2.2.2.1.1.1.1.3a" xref="S2.SS1.p1.10.m5.2.2.2.1.1.1.1.3.cmml">⁡</mo><msub id="S2.SS1.p1.10.m5.2.2.2.1.1.1.1.3.2" xref="S2.SS1.p1.10.m5.2.2.2.1.1.1.1.3.2.cmml"><mi id="S2.SS1.p1.10.m5.2.2.2.1.1.1.1.3.2.2" xref="S2.SS1.p1.10.m5.2.2.2.1.1.1.1.3.2.2.cmml">P</mi><mi id="S2.SS1.p1.10.m5.2.2.2.1.1.1.1.3.2.3" xref="S2.SS1.p1.10.m5.2.2.2.1.1.1.1.3.2.3.cmml">θ</mi></msub></mrow><mo lspace="0em" rspace="0em" id="S2.SS1.p1.10.m5.2.2.2.1.1.1.1.2" xref="S2.SS1.p1.10.m5.2.2.2.1.1.1.1.2.cmml">​</mo><mrow id="S2.SS1.p1.10.m5.2.2.2.1.1.1.1.1.1" xref="S2.SS1.p1.10.m5.2.2.2.1.1.1.1.1.1.1.cmml"><mo stretchy="false" id="S2.SS1.p1.10.m5.2.2.2.1.1.1.1.1.1.2" xref="S2.SS1.p1.10.m5.2.2.2.1.1.1.1.1.1.1.cmml">(</mo><mrow id="S2.SS1.p1.10.m5.2.2.2.1.1.1.1.1.1.1" xref="S2.SS1.p1.10.m5.2.2.2.1.1.1.1.1.1.1.cmml"><msubsup id="S2.SS1.p1.10.m5.2.2.2.1.1.1.1.1.1.1.2" xref="S2.SS1.p1.10.m5.2.2.2.1.1.1.1.1.1.1.2.cmml"><mi id="S2.SS1.p1.10.m5.2.2.2.1.1.1.1.1.1.1.2.2.2" xref="S2.SS1.p1.10.m5.2.2.2.1.1.1.1.1.1.1.2.2.2.cmml">x</mi><mi id="S2.SS1.p1.10.m5.2.2.2.1.1.1.1.1.1.1.2.2.3" xref="S2.SS1.p1.10.m5.2.2.2.1.1.1.1.1.1.1.2.2.3.cmml">i</mi><mi id="S2.SS1.p1.10.m5.2.2.2.1.1.1.1.1.1.1.2.3" xref="S2.SS1.p1.10.m5.2.2.2.1.1.1.1.1.1.1.2.3.cmml">j</mi></msubsup><mo fence="false" id="S2.SS1.p1.10.m5.2.2.2.1.1.1.1.1.1.1.1" xref="S2.SS1.p1.10.m5.2.2.2.1.1.1.1.1.1.1.1.cmml">|</mo><msubsup id="S2.SS1.p1.10.m5.2.2.2.1.1.1.1.1.1.1.3" xref="S2.SS1.p1.10.m5.2.2.2.1.1.1.1.1.1.1.3.cmml"><mi id="S2.SS1.p1.10.m5.2.2.2.1.1.1.1.1.1.1.3.2.2" xref="S2.SS1.p1.10.m5.2.2.2.1.1.1.1.1.1.1.3.2.2.cmml">x</mi><mrow id="S2.SS1.p1.10.m5.2.2.2.1.1.1.1.1.1.1.3.2.3" xref="S2.SS1.p1.10.m5.2.2.2.1.1.1.1.1.1.1.3.2.3.cmml"><mi id="S2.SS1.p1.10.m5.2.2.2.1.1.1.1.1.1.1.3.2.3.2" xref="S2.SS1.p1.10.m5.2.2.2.1.1.1.1.1.1.1.3.2.3.2.cmml"></mi><mo id="S2.SS1.p1.10.m5.2.2.2.1.1.1.1.1.1.1.3.2.3.1" xref="S2.SS1.p1.10.m5.2.2.2.1.1.1.1.1.1.1.3.2.3.1.cmml">&lt;</mo><mi id="S2.SS1.p1.10.m5.2.2.2.1.1.1.1.1.1.1.3.2.3.3" xref="S2.SS1.p1.10.m5.2.2.2.1.1.1.1.1.1.1.3.2.3.3.cmml">i</mi></mrow><mi id="S2.SS1.p1.10.m5.2.2.2.1.1.1.1.1.1.1.3.3" xref="S2.SS1.p1.10.m5.2.2.2.1.1.1.1.1.1.1.3.3.cmml">j</mi></msubsup></mrow><mo stretchy="false" id="S2.SS1.p1.10.m5.2.2.2.1.1.1.1.1.1.3" xref="S2.SS1.p1.10.m5.2.2.2.1.1.1.1.1.1.1.cmml">)</mo></mrow></mrow></mrow></mrow></mrow><mo id="S2.SS1.p1.10.m5.2.2.2.2" xref="S2.SS1.p1.10.m5.2.2.2.2.cmml">+</mo><msup id="S2.SS1.p1.10.m5.2.2.2.3" xref="S2.SS1.p1.10.m5.2.2.2.3.cmml"><mi id="S2.SS1.p1.10.m5.2.2.2.3.2" xref="S2.SS1.p1.10.m5.2.2.2.3.2.cmml">C</mi><mo id="S2.SS1.p1.10.m5.2.2.2.3.3" xref="S2.SS1.p1.10.m5.2.2.2.3.3.cmml">′</mo></msup></mrow></mrow><annotation-xml encoding="MathML-Content" id="S2.SS1.p1.10.m5.2b"><apply id="S2.SS1.p1.10.m5.2.2.cmml" xref="S2.SS1.p1.10.m5.2.2"><eq id="S2.SS1.p1.10.m5.2.2.3.cmml" xref="S2.SS1.p1.10.m5.2.2.3"></eq><apply id="S2.SS1.p1.10.m5.1.1.1.cmml" xref="S2.SS1.p1.10.m5.1.1.1"><times id="S2.SS1.p1.10.m5.1.1.1.2.cmml" xref="S2.SS1.p1.10.m5.1.1.1.2"></times><apply id="S2.SS1.p1.10.m5.1.1.1.3.cmml" xref="S2.SS1.p1.10.m5.1.1.1.3"><csymbol cd="ambiguous" id="S2.SS1.p1.10.m5.1.1.1.3.1.cmml" xref="S2.SS1.p1.10.m5.1.1.1.3">subscript</csymbol><apply id="S2.SS1.p1.10.m5.1.1.1.3.2.cmml" xref="S2.SS1.p1.10.m5.1.1.1.3.2"><ci id="S2.SS1.p1.10.m5.1.1.1.3.2.1.cmml" xref="S2.SS1.p1.10.m5.1.1.1.3.2.1">^</ci><ci id="S2.SS1.p1.10.m5.1.1.1.3.2.2.cmml" xref="S2.SS1.p1.10.m5.1.1.1.3.2.2">𝐷</ci></apply><ci id="S2.SS1.p1.10.m5.1.1.1.3.3a.cmml" xref="S2.SS1.p1.10.m5.1.1.1.3.3"><mtext mathsize="70%" id="S2.SS1.p1.10.m5.1.1.1.3.3.cmml" xref="S2.SS1.p1.10.m5.1.1.1.3.3">KL</mtext></ci></apply><apply id="S2.SS1.p1.10.m5.1.1.1.1.1.1.cmml" xref="S2.SS1.p1.10.m5.1.1.1.1.1"><csymbol cd="latexml" id="S2.SS1.p1.10.m5.1.1.1.1.1.1.1.cmml" xref="S2.SS1.p1.10.m5.1.1.1.1.1.1.1">conditional</csymbol><apply id="S2.SS1.p1.10.m5.1.1.1.1.1.1.2.cmml" xref="S2.SS1.p1.10.m5.1.1.1.1.1.1.2"><csymbol cd="ambiguous" id="S2.SS1.p1.10.m5.1.1.1.1.1.1.2.1.cmml" xref="S2.SS1.p1.10.m5.1.1.1.1.1.1.2">subscript</csymbol><ci id="S2.SS1.p1.10.m5.1.1.1.1.1.1.2.2.cmml" xref="S2.SS1.p1.10.m5.1.1.1.1.1.1.2.2">𝑃</ci><ci id="S2.SS1.p1.10.m5.1.1.1.1.1.1.2.3a.cmml" xref="S2.SS1.p1.10.m5.1.1.1.1.1.1.2.3"><mtext mathsize="70%" id="S2.SS1.p1.10.m5.1.1.1.1.1.1.2.3.cmml" xref="S2.SS1.p1.10.m5.1.1.1.1.1.1.2.3">data</mtext></ci></apply><apply id="S2.SS1.p1.10.m5.1.1.1.1.1.1.3.cmml" xref="S2.SS1.p1.10.m5.1.1.1.1.1.1.3"><csymbol cd="ambiguous" id="S2.SS1.p1.10.m5.1.1.1.1.1.1.3.1.cmml" xref="S2.SS1.p1.10.m5.1.1.1.1.1.1.3">subscript</csymbol><ci id="S2.SS1.p1.10.m5.1.1.1.1.1.1.3.2.cmml" xref="S2.SS1.p1.10.m5.1.1.1.1.1.1.3.2">𝑃</ci><ci id="S2.SS1.p1.10.m5.1.1.1.1.1.1.3.3.cmml" xref="S2.SS1.p1.10.m5.1.1.1.1.1.1.3.3">𝜃</ci></apply></apply></apply><apply id="S2.SS1.p1.10.m5.2.2.2.cmml" xref="S2.SS1.p1.10.m5.2.2.2"><plus id="S2.SS1.p1.10.m5.2.2.2.2.cmml" xref="S2.SS1.p1.10.m5.2.2.2.2"></plus><apply id="S2.SS1.p1.10.m5.2.2.2.1.cmml" xref="S2.SS1.p1.10.m5.2.2.2.1"><times id="S2.SS1.p1.10.m5.2.2.2.1.2.cmml" xref="S2.SS1.p1.10.m5.2.2.2.1.2"></times><apply id="S2.SS1.p1.10.m5.2.2.2.1.3.cmml" xref="S2.SS1.p1.10.m5.2.2.2.1.3"><divide id="S2.SS1.p1.10.m5.2.2.2.1.3.1.cmml" xref="S2.SS1.p1.10.m5.2.2.2.1.3"></divide><cn type="integer" id="S2.SS1.p1.10.m5.2.2.2.1.3.2.cmml" xref="S2.SS1.p1.10.m5.2.2.2.1.3.2">1</cn><apply id="S2.SS1.p1.10.m5.2.2.2.1.3.3.cmml" xref="S2.SS1.p1.10.m5.2.2.2.1.3.3"><csymbol cd="ambiguous" id="S2.SS1.p1.10.m5.2.2.2.1.3.3.1.cmml" xref="S2.SS1.p1.10.m5.2.2.2.1.3.3">subscript</csymbol><ci id="S2.SS1.p1.10.m5.2.2.2.1.3.3.2.cmml" xref="S2.SS1.p1.10.m5.2.2.2.1.3.3.2">𝑁</ci><ci id="S2.SS1.p1.10.m5.2.2.2.1.3.3.3a.cmml" xref="S2.SS1.p1.10.m5.2.2.2.1.3.3.3"><mtext mathsize="50%" id="S2.SS1.p1.10.m5.2.2.2.1.3.3.3.cmml" xref="S2.SS1.p1.10.m5.2.2.2.1.3.3.3">data</mtext></ci></apply></apply><apply id="S2.SS1.p1.10.m5.2.2.2.1.1.cmml" xref="S2.SS1.p1.10.m5.2.2.2.1.1"><apply id="S2.SS1.p1.10.m5.2.2.2.1.1.2.cmml" xref="S2.SS1.p1.10.m5.2.2.2.1.1.2"><csymbol cd="ambiguous" id="S2.SS1.p1.10.m5.2.2.2.1.1.2.1.cmml" xref="S2.SS1.p1.10.m5.2.2.2.1.1.2">subscript</csymbol><sum id="S2.SS1.p1.10.m5.2.2.2.1.1.2.2.cmml" xref="S2.SS1.p1.10.m5.2.2.2.1.1.2.2"></sum><ci id="S2.SS1.p1.10.m5.2.2.2.1.1.2.3.cmml" xref="S2.SS1.p1.10.m5.2.2.2.1.1.2.3">𝑗</ci></apply><apply id="S2.SS1.p1.10.m5.2.2.2.1.1.1.cmml" xref="S2.SS1.p1.10.m5.2.2.2.1.1.1"><apply id="S2.SS1.p1.10.m5.2.2.2.1.1.1.2.cmml" xref="S2.SS1.p1.10.m5.2.2.2.1.1.1.2"><csymbol cd="ambiguous" id="S2.SS1.p1.10.m5.2.2.2.1.1.1.2.1.cmml" xref="S2.SS1.p1.10.m5.2.2.2.1.1.1.2">superscript</csymbol><apply id="S2.SS1.p1.10.m5.2.2.2.1.1.1.2.2.cmml" xref="S2.SS1.p1.10.m5.2.2.2.1.1.1.2"><csymbol cd="ambiguous" id="S2.SS1.p1.10.m5.2.2.2.1.1.1.2.2.1.cmml" xref="S2.SS1.p1.10.m5.2.2.2.1.1.1.2">subscript</csymbol><sum id="S2.SS1.p1.10.m5.2.2.2.1.1.1.2.2.2.cmml" xref="S2.SS1.p1.10.m5.2.2.2.1.1.1.2.2.2"></sum><ci id="S2.SS1.p1.10.m5.2.2.2.1.1.1.2.2.3.cmml" xref="S2.SS1.p1.10.m5.2.2.2.1.1.1.2.2.3">𝑖</ci></apply><ci id="S2.SS1.p1.10.m5.2.2.2.1.1.1.2.3.cmml" xref="S2.SS1.p1.10.m5.2.2.2.1.1.1.2.3">𝑁</ci></apply><apply id="S2.SS1.p1.10.m5.2.2.2.1.1.1.1.cmml" xref="S2.SS1.p1.10.m5.2.2.2.1.1.1.1"><times id="S2.SS1.p1.10.m5.2.2.2.1.1.1.1.2.cmml" xref="S2.SS1.p1.10.m5.2.2.2.1.1.1.1.2"></times><apply id="S2.SS1.p1.10.m5.2.2.2.1.1.1.1.3.cmml" xref="S2.SS1.p1.10.m5.2.2.2.1.1.1.1.3"><log id="S2.SS1.p1.10.m5.2.2.2.1.1.1.1.3.1.cmml" xref="S2.SS1.p1.10.m5.2.2.2.1.1.1.1.3.1"></log><apply id="S2.SS1.p1.10.m5.2.2.2.1.1.1.1.3.2.cmml" xref="S2.SS1.p1.10.m5.2.2.2.1.1.1.1.3.2"><csymbol cd="ambiguous" id="S2.SS1.p1.10.m5.2.2.2.1.1.1.1.3.2.1.cmml" xref="S2.SS1.p1.10.m5.2.2.2.1.1.1.1.3.2">subscript</csymbol><ci id="S2.SS1.p1.10.m5.2.2.2.1.1.1.1.3.2.2.cmml" xref="S2.SS1.p1.10.m5.2.2.2.1.1.1.1.3.2.2">𝑃</ci><ci id="S2.SS1.p1.10.m5.2.2.2.1.1.1.1.3.2.3.cmml" xref="S2.SS1.p1.10.m5.2.2.2.1.1.1.1.3.2.3">𝜃</ci></apply></apply><apply id="S2.SS1.p1.10.m5.2.2.2.1.1.1.1.1.1.1.cmml" xref="S2.SS1.p1.10.m5.2.2.2.1.1.1.1.1.1"><csymbol cd="latexml" id="S2.SS1.p1.10.m5.2.2.2.1.1.1.1.1.1.1.1.cmml" xref="S2.SS1.p1.10.m5.2.2.2.1.1.1.1.1.1.1.1">conditional</csymbol><apply id="S2.SS1.p1.10.m5.2.2.2.1.1.1.1.1.1.1.2.cmml" xref="S2.SS1.p1.10.m5.2.2.2.1.1.1.1.1.1.1.2"><csymbol cd="ambiguous" id="S2.SS1.p1.10.m5.2.2.2.1.1.1.1.1.1.1.2.1.cmml" xref="S2.SS1.p1.10.m5.2.2.2.1.1.1.1.1.1.1.2">superscript</csymbol><apply id="S2.SS1.p1.10.m5.2.2.2.1.1.1.1.1.1.1.2.2.cmml" xref="S2.SS1.p1.10.m5.2.2.2.1.1.1.1.1.1.1.2"><csymbol cd="ambiguous" id="S2.SS1.p1.10.m5.2.2.2.1.1.1.1.1.1.1.2.2.1.cmml" xref="S2.SS1.p1.10.m5.2.2.2.1.1.1.1.1.1.1.2">subscript</csymbol><ci id="S2.SS1.p1.10.m5.2.2.2.1.1.1.1.1.1.1.2.2.2.cmml" xref="S2.SS1.p1.10.m5.2.2.2.1.1.1.1.1.1.1.2.2.2">𝑥</ci><ci id="S2.SS1.p1.10.m5.2.2.2.1.1.1.1.1.1.1.2.2.3.cmml" xref="S2.SS1.p1.10.m5.2.2.2.1.1.1.1.1.1.1.2.2.3">𝑖</ci></apply><ci id="S2.SS1.p1.10.m5.2.2.2.1.1.1.1.1.1.1.2.3.cmml" xref="S2.SS1.p1.10.m5.2.2.2.1.1.1.1.1.1.1.2.3">𝑗</ci></apply><apply id="S2.SS1.p1.10.m5.2.2.2.1.1.1.1.1.1.1.3.cmml" xref="S2.SS1.p1.10.m5.2.2.2.1.1.1.1.1.1.1.3"><csymbol cd="ambiguous" id="S2.SS1.p1.10.m5.2.2.2.1.1.1.1.1.1.1.3.1.cmml" xref="S2.SS1.p1.10.m5.2.2.2.1.1.1.1.1.1.1.3">superscript</csymbol><apply id="S2.SS1.p1.10.m5.2.2.2.1.1.1.1.1.1.1.3.2.cmml" xref="S2.SS1.p1.10.m5.2.2.2.1.1.1.1.1.1.1.3"><csymbol cd="ambiguous" id="S2.SS1.p1.10.m5.2.2.2.1.1.1.1.1.1.1.3.2.1.cmml" xref="S2.SS1.p1.10.m5.2.2.2.1.1.1.1.1.1.1.3">subscript</csymbol><ci id="S2.SS1.p1.10.m5.2.2.2.1.1.1.1.1.1.1.3.2.2.cmml" xref="S2.SS1.p1.10.m5.2.2.2.1.1.1.1.1.1.1.3.2.2">𝑥</ci><apply id="S2.SS1.p1.10.m5.2.2.2.1.1.1.1.1.1.1.3.2.3.cmml" xref="S2.SS1.p1.10.m5.2.2.2.1.1.1.1.1.1.1.3.2.3"><lt id="S2.SS1.p1.10.m5.2.2.2.1.1.1.1.1.1.1.3.2.3.1.cmml" xref="S2.SS1.p1.10.m5.2.2.2.1.1.1.1.1.1.1.3.2.3.1"></lt><csymbol cd="latexml" id="S2.SS1.p1.10.m5.2.2.2.1.1.1.1.1.1.1.3.2.3.2.cmml" xref="S2.SS1.p1.10.m5.2.2.2.1.1.1.1.1.1.1.3.2.3.2">absent</csymbol><ci id="S2.SS1.p1.10.m5.2.2.2.1.1.1.1.1.1.1.3.2.3.3.cmml" xref="S2.SS1.p1.10.m5.2.2.2.1.1.1.1.1.1.1.3.2.3.3">𝑖</ci></apply></apply><ci id="S2.SS1.p1.10.m5.2.2.2.1.1.1.1.1.1.1.3.3.cmml" xref="S2.SS1.p1.10.m5.2.2.2.1.1.1.1.1.1.1.3.3">𝑗</ci></apply></apply></apply></apply></apply></apply><apply id="S2.SS1.p1.10.m5.2.2.2.3.cmml" xref="S2.SS1.p1.10.m5.2.2.2.3"><csymbol cd="ambiguous" id="S2.SS1.p1.10.m5.2.2.2.3.1.cmml" xref="S2.SS1.p1.10.m5.2.2.2.3">superscript</csymbol><ci id="S2.SS1.p1.10.m5.2.2.2.3.2.cmml" xref="S2.SS1.p1.10.m5.2.2.2.3.2">𝐶</ci><ci id="S2.SS1.p1.10.m5.2.2.2.3.3.cmml" xref="S2.SS1.p1.10.m5.2.2.2.3.3">′</ci></apply></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="S2.SS1.p1.10.m5.2c">{\hat{D}_{\text{KL}}}(P_{\text{data}}\|P_{\theta})=\tfrac{1}{N_{\text{data}}}\sum_{j}\sum_{i}^{N}\log P_{\theta}(x_{i}^{j}|x_{&lt;i}^{j})+C^{\prime}</annotation></semantics></math>.
Hence, minimizing the KL-divergence is equivalent to maximizing the model’s (log-) likelihood of the next element in the sequence given the previous elements.
This formulation is statistically well-motivated and particularly convenient for architectures such as the transformer <cite class="ltx_cite ltx_citemacro_citep">[<a href="#bib.bib35" title="" class="ltx_ref">35</a>]</cite>, where all conditionals over a sequence can be computed in parallel. The density under the data distribution <math id="S2.SS1.p1.11.m6.1" class="ltx_Math" alttext="P_{\text{data}}" display="inline"><semantics id="S2.SS1.p1.11.m6.1a"><msub id="S2.SS1.p1.11.m6.1.1" xref="S2.SS1.p1.11.m6.1.1.cmml"><mi id="S2.SS1.p1.11.m6.1.1.2" xref="S2.SS1.p1.11.m6.1.1.2.cmml">P</mi><mtext id="S2.SS1.p1.11.m6.1.1.3" xref="S2.SS1.p1.11.m6.1.1.3a.cmml">data</mtext></msub><annotation-xml encoding="MathML-Content" id="S2.SS1.p1.11.m6.1b"><apply id="S2.SS1.p1.11.m6.1.1.cmml" xref="S2.SS1.p1.11.m6.1.1"><csymbol cd="ambiguous" id="S2.SS1.p1.11.m6.1.1.1.cmml" xref="S2.SS1.p1.11.m6.1.1">subscript</csymbol><ci id="S2.SS1.p1.11.m6.1.1.2.cmml" xref="S2.SS1.p1.11.m6.1.1.2">𝑃</ci><ci id="S2.SS1.p1.11.m6.1.1.3a.cmml" xref="S2.SS1.p1.11.m6.1.1.3"><mtext mathsize="70%" id="S2.SS1.p1.11.m6.1.1.3.cmml" xref="S2.SS1.p1.11.m6.1.1.3">data</mtext></ci></apply></annotation-xml><annotation encoding="application/x-tex" id="S2.SS1.p1.11.m6.1c">P_{\text{data}}</annotation></semantics></math> is not required, which is convenient as it is typically unknown.
In some domains, the length of the sequences <math id="S2.SS1.p1.12.m7.1" class="ltx_Math" alttext="n_{j}" display="inline"><semantics id="S2.SS1.p1.12.m7.1a"><msub id="S2.SS1.p1.12.m7.1.1" xref="S2.SS1.p1.12.m7.1.1.cmml"><mi id="S2.SS1.p1.12.m7.1.1.2" xref="S2.SS1.p1.12.m7.1.1.2.cmml">n</mi><mi id="S2.SS1.p1.12.m7.1.1.3" xref="S2.SS1.p1.12.m7.1.1.3.cmml">j</mi></msub><annotation-xml encoding="MathML-Content" id="S2.SS1.p1.12.m7.1b"><apply id="S2.SS1.p1.12.m7.1.1.cmml" xref="S2.SS1.p1.12.m7.1.1"><csymbol cd="ambiguous" id="S2.SS1.p1.12.m7.1.1.1.cmml" xref="S2.SS1.p1.12.m7.1.1">subscript</csymbol><ci id="S2.SS1.p1.12.m7.1.1.2.cmml" xref="S2.SS1.p1.12.m7.1.1.2">𝑛</ci><ci id="S2.SS1.p1.12.m7.1.1.3.cmml" xref="S2.SS1.p1.12.m7.1.1.3">𝑗</ci></apply></annotation-xml><annotation encoding="application/x-tex" id="S2.SS1.p1.12.m7.1c">n_{j}</annotation></semantics></math> differs in each example <math id="S2.SS1.p1.13.m8.1" class="ltx_Math" alttext="j" display="inline"><semantics id="S2.SS1.p1.13.m8.1a"><mi id="S2.SS1.p1.13.m8.1.1" xref="S2.SS1.p1.13.m8.1.1.cmml">j</mi><annotation-xml encoding="MathML-Content" id="S2.SS1.p1.13.m8.1b"><ci id="S2.SS1.p1.13.m8.1.1.cmml" xref="S2.SS1.p1.13.m8.1.1">𝑗</ci></annotation-xml><annotation encoding="application/x-tex" id="S2.SS1.p1.13.m8.1c">j</annotation></semantics></math>, which can be incorporated by choosing an effective length <math id="S2.SS1.p1.14.m9.1" class="ltx_Math" alttext="N=\max n_{i}" display="inline"><semantics id="S2.SS1.p1.14.m9.1a"><mrow id="S2.SS1.p1.14.m9.1.1" xref="S2.SS1.p1.14.m9.1.1.cmml"><mi id="S2.SS1.p1.14.m9.1.1.2" xref="S2.SS1.p1.14.m9.1.1.2.cmml">N</mi><mo id="S2.SS1.p1.14.m9.1.1.1" xref="S2.SS1.p1.14.m9.1.1.1.cmml">=</mo><mrow id="S2.SS1.p1.14.m9.1.1.3" xref="S2.SS1.p1.14.m9.1.1.3.cmml"><mi id="S2.SS1.p1.14.m9.1.1.3.1" xref="S2.SS1.p1.14.m9.1.1.3.1.cmml">max</mi><mo lspace="0.167em" id="S2.SS1.p1.14.m9.1.1.3a" xref="S2.SS1.p1.14.m9.1.1.3.cmml">⁡</mo><msub id="S2.SS1.p1.14.m9.1.1.3.2" xref="S2.SS1.p1.14.m9.1.1.3.2.cmml"><mi id="S2.SS1.p1.14.m9.1.1.3.2.2" xref="S2.SS1.p1.14.m9.1.1.3.2.2.cmml">n</mi><mi id="S2.SS1.p1.14.m9.1.1.3.2.3" xref="S2.SS1.p1.14.m9.1.1.3.2.3.cmml">i</mi></msub></mrow></mrow><annotation-xml encoding="MathML-Content" id="S2.SS1.p1.14.m9.1b"><apply id="S2.SS1.p1.14.m9.1.1.cmml" xref="S2.SS1.p1.14.m9.1.1"><eq id="S2.SS1.p1.14.m9.1.1.1.cmml" xref="S2.SS1.p1.14.m9.1.1.1"></eq><ci id="S2.SS1.p1.14.m9.1.1.2.cmml" xref="S2.SS1.p1.14.m9.1.1.2">𝑁</ci><apply id="S2.SS1.p1.14.m9.1.1.3.cmml" xref="S2.SS1.p1.14.m9.1.1.3"><max id="S2.SS1.p1.14.m9.1.1.3.1.cmml" xref="S2.SS1.p1.14.m9.1.1.3.1"></max><apply id="S2.SS1.p1.14.m9.1.1.3.2.cmml" xref="S2.SS1.p1.14.m9.1.1.3.2"><csymbol cd="ambiguous" id="S2.SS1.p1.14.m9.1.1.3.2.1.cmml" xref="S2.SS1.p1.14.m9.1.1.3.2">subscript</csymbol><ci id="S2.SS1.p1.14.m9.1.1.3.2.2.cmml" xref="S2.SS1.p1.14.m9.1.1.3.2.2">𝑛</ci><ci id="S2.SS1.p1.14.m9.1.1.3.2.3.cmml" xref="S2.SS1.p1.14.m9.1.1.3.2.3">𝑖</ci></apply></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="S2.SS1.p1.14.m9.1c">N=\max n_{i}</annotation></semantics></math>, and treating all sequences shorter than <math id="S2.SS1.p1.15.m10.1" class="ltx_Math" alttext="N" display="inline"><semantics id="S2.SS1.p1.15.m10.1a"><mi id="S2.SS1.p1.15.m10.1.1" xref="S2.SS1.p1.15.m10.1.1.cmml">N</mi><annotation-xml encoding="MathML-Content" id="S2.SS1.p1.15.m10.1b"><ci id="S2.SS1.p1.15.m10.1.1.cmml" xref="S2.SS1.p1.15.m10.1.1">𝑁</ci></annotation-xml><annotation encoding="application/x-tex" id="S2.SS1.p1.15.m10.1c">N</annotation></semantics></math> as having a sequence of padding tokens appended<span id="footnote1" class="ltx_note ltx_role_footnote"><sup class="ltx_note_mark">1</sup><span class="ltx_note_outer"><span class="ltx_note_content"><sup class="ltx_note_mark">1</sup><span class="ltx_tag ltx_tag_note">1</span>Some care is required here, as each averaging the loss of each example over its length leads to an inconsistent estimator.</span></span></span>. In the sequel with some abuse of notation we will write <math id="S2.SS1.p1.16.m11.1" class="ltx_Math" alttext="P_{\text{data}}(s_{n})" display="inline"><semantics id="S2.SS1.p1.16.m11.1a"><mrow id="S2.SS1.p1.16.m11.1.1" xref="S2.SS1.p1.16.m11.1.1.cmml"><msub id="S2.SS1.p1.16.m11.1.1.3" xref="S2.SS1.p1.16.m11.1.1.3.cmml"><mi id="S2.SS1.p1.16.m11.1.1.3.2" xref="S2.SS1.p1.16.m11.1.1.3.2.cmml">P</mi><mtext id="S2.SS1.p1.16.m11.1.1.3.3" xref="S2.SS1.p1.16.m11.1.1.3.3a.cmml">data</mtext></msub><mo lspace="0em" rspace="0em" id="S2.SS1.p1.16.m11.1.1.2" xref="S2.SS1.p1.16.m11.1.1.2.cmml">​</mo><mrow id="S2.SS1.p1.16.m11.1.1.1.1" xref="S2.SS1.p1.16.m11.1.1.1.1.1.cmml"><mo stretchy="false" id="S2.SS1.p1.16.m11.1.1.1.1.2" xref="S2.SS1.p1.16.m11.1.1.1.1.1.cmml">(</mo><msub id="S2.SS1.p1.16.m11.1.1.1.1.1" xref="S2.SS1.p1.16.m11.1.1.1.1.1.cmml"><mi id="S2.SS1.p1.16.m11.1.1.1.1.1.2" xref="S2.SS1.p1.16.m11.1.1.1.1.1.2.cmml">s</mi><mi id="S2.SS1.p1.16.m11.1.1.1.1.1.3" xref="S2.SS1.p1.16.m11.1.1.1.1.1.3.cmml">n</mi></msub><mo stretchy="false" id="S2.SS1.p1.16.m11.1.1.1.1.3" xref="S2.SS1.p1.16.m11.1.1.1.1.1.cmml">)</mo></mrow></mrow><annotation-xml encoding="MathML-Content" id="S2.SS1.p1.16.m11.1b"><apply id="S2.SS1.p1.16.m11.1.1.cmml" xref="S2.SS1.p1.16.m11.1.1"><times id="S2.SS1.p1.16.m11.1.1.2.cmml" xref="S2.SS1.p1.16.m11.1.1.2"></times><apply id="S2.SS1.p1.16.m11.1.1.3.cmml" xref="S2.SS1.p1.16.m11.1.1.3"><csymbol cd="ambiguous" id="S2.SS1.p1.16.m11.1.1.3.1.cmml" xref="S2.SS1.p1.16.m11.1.1.3">subscript</csymbol><ci id="S2.SS1.p1.16.m11.1.1.3.2.cmml" xref="S2.SS1.p1.16.m11.1.1.3.2">𝑃</ci><ci id="S2.SS1.p1.16.m11.1.1.3.3a.cmml" xref="S2.SS1.p1.16.m11.1.1.3.3"><mtext mathsize="70%" id="S2.SS1.p1.16.m11.1.1.3.3.cmml" xref="S2.SS1.p1.16.m11.1.1.3.3">data</mtext></ci></apply><apply id="S2.SS1.p1.16.m11.1.1.1.1.1.cmml" xref="S2.SS1.p1.16.m11.1.1.1.1"><csymbol cd="ambiguous" id="S2.SS1.p1.16.m11.1.1.1.1.1.1.cmml" xref="S2.SS1.p1.16.m11.1.1.1.1">subscript</csymbol><ci id="S2.SS1.p1.16.m11.1.1.1.1.1.2.cmml" xref="S2.SS1.p1.16.m11.1.1.1.1.1.2">𝑠</ci><ci id="S2.SS1.p1.16.m11.1.1.1.1.1.3.cmml" xref="S2.SS1.p1.16.m11.1.1.1.1.1.3">𝑛</ci></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="S2.SS1.p1.16.m11.1c">P_{\text{data}}(s_{n})</annotation></semantics></math> for <math id="S2.SS1.p1.17.m12.1" class="ltx_Math" alttext="\sum_{i}^{n}\log P_{\theta}(x_{i}|x_{&lt;i})" display="inline"><semantics id="S2.SS1.p1.17.m12.1a"><mrow id="S2.SS1.p1.17.m12.1.1" xref="S2.SS1.p1.17.m12.1.1.cmml"><msubsup id="S2.SS1.p1.17.m12.1.1.2" xref="S2.SS1.p1.17.m12.1.1.2.cmml"><mo id="S2.SS1.p1.17.m12.1.1.2.2.2" xref="S2.SS1.p1.17.m12.1.1.2.2.2.cmml">∑</mo><mi id="S2.SS1.p1.17.m12.1.1.2.2.3" xref="S2.SS1.p1.17.m12.1.1.2.2.3.cmml">i</mi><mi id="S2.SS1.p1.17.m12.1.1.2.3" xref="S2.SS1.p1.17.m12.1.1.2.3.cmml">n</mi></msubsup><mrow id="S2.SS1.p1.17.m12.1.1.1" xref="S2.SS1.p1.17.m12.1.1.1.cmml"><mrow id="S2.SS1.p1.17.m12.1.1.1.3" xref="S2.SS1.p1.17.m12.1.1.1.3.cmml"><mi id="S2.SS1.p1.17.m12.1.1.1.3.1" xref="S2.SS1.p1.17.m12.1.1.1.3.1.cmml">log</mi><mo lspace="0.167em" id="S2.SS1.p1.17.m12.1.1.1.3a" xref="S2.SS1.p1.17.m12.1.1.1.3.cmml">⁡</mo><msub id="S2.SS1.p1.17.m12.1.1.1.3.2" xref="S2.SS1.p1.17.m12.1.1.1.3.2.cmml"><mi id="S2.SS1.p1.17.m12.1.1.1.3.2.2" xref="S2.SS1.p1.17.m12.1.1.1.3.2.2.cmml">P</mi><mi id="S2.SS1.p1.17.m12.1.1.1.3.2.3" xref="S2.SS1.p1.17.m12.1.1.1.3.2.3.cmml">θ</mi></msub></mrow><mo lspace="0em" rspace="0em" id="S2.SS1.p1.17.m12.1.1.1.2" xref="S2.SS1.p1.17.m12.1.1.1.2.cmml">​</mo><mrow id="S2.SS1.p1.17.m12.1.1.1.1.1" xref="S2.SS1.p1.17.m12.1.1.1.1.1.1.cmml"><mo stretchy="false" id="S2.SS1.p1.17.m12.1.1.1.1.1.2" xref="S2.SS1.p1.17.m12.1.1.1.1.1.1.cmml">(</mo><mrow id="S2.SS1.p1.17.m12.1.1.1.1.1.1" xref="S2.SS1.p1.17.m12.1.1.1.1.1.1.cmml"><msub id="S2.SS1.p1.17.m12.1.1.1.1.1.1.2" xref="S2.SS1.p1.17.m12.1.1.1.1.1.1.2.cmml"><mi id="S2.SS1.p1.17.m12.1.1.1.1.1.1.2.2" xref="S2.SS1.p1.17.m12.1.1.1.1.1.1.2.2.cmml">x</mi><mi id="S2.SS1.p1.17.m12.1.1.1.1.1.1.2.3" xref="S2.SS1.p1.17.m12.1.1.1.1.1.1.2.3.cmml">i</mi></msub><mo fence="false" id="S2.SS1.p1.17.m12.1.1.1.1.1.1.1" xref="S2.SS1.p1.17.m12.1.1.1.1.1.1.1.cmml">|</mo><msub id="S2.SS1.p1.17.m12.1.1.1.1.1.1.3" xref="S2.SS1.p1.17.m12.1.1.1.1.1.1.3.cmml"><mi id="S2.SS1.p1.17.m12.1.1.1.1.1.1.3.2" xref="S2.SS1.p1.17.m12.1.1.1.1.1.1.3.2.cmml">x</mi><mrow id="S2.SS1.p1.17.m12.1.1.1.1.1.1.3.3" xref="S2.SS1.p1.17.m12.1.1.1.1.1.1.3.3.cmml"><mi id="S2.SS1.p1.17.m12.1.1.1.1.1.1.3.3.2" xref="S2.SS1.p1.17.m12.1.1.1.1.1.1.3.3.2.cmml"></mi><mo id="S2.SS1.p1.17.m12.1.1.1.1.1.1.3.3.1" xref="S2.SS1.p1.17.m12.1.1.1.1.1.1.3.3.1.cmml">&lt;</mo><mi id="S2.SS1.p1.17.m12.1.1.1.1.1.1.3.3.3" xref="S2.SS1.p1.17.m12.1.1.1.1.1.1.3.3.3.cmml">i</mi></mrow></msub></mrow><mo stretchy="false" id="S2.SS1.p1.17.m12.1.1.1.1.1.3" xref="S2.SS1.p1.17.m12.1.1.1.1.1.1.cmml">)</mo></mrow></mrow></mrow><annotation-xml encoding="MathML-Content" id="S2.SS1.p1.17.m12.1b"><apply id="S2.SS1.p1.17.m12.1.1.cmml" xref="S2.SS1.p1.17.m12.1.1"><apply id="S2.SS1.p1.17.m12.1.1.2.cmml" xref="S2.SS1.p1.17.m12.1.1.2"><csymbol cd="ambiguous" id="S2.SS1.p1.17.m12.1.1.2.1.cmml" xref="S2.SS1.p1.17.m12.1.1.2">superscript</csymbol><apply id="S2.SS1.p1.17.m12.1.1.2.2.cmml" xref="S2.SS1.p1.17.m12.1.1.2"><csymbol cd="ambiguous" id="S2.SS1.p1.17.m12.1.1.2.2.1.cmml" xref="S2.SS1.p1.17.m12.1.1.2">subscript</csymbol><sum id="S2.SS1.p1.17.m12.1.1.2.2.2.cmml" xref="S2.SS1.p1.17.m12.1.1.2.2.2"></sum><ci id="S2.SS1.p1.17.m12.1.1.2.2.3.cmml" xref="S2.SS1.p1.17.m12.1.1.2.2.3">𝑖</ci></apply><ci id="S2.SS1.p1.17.m12.1.1.2.3.cmml" xref="S2.SS1.p1.17.m12.1.1.2.3">𝑛</ci></apply><apply id="S2.SS1.p1.17.m12.1.1.1.cmml" xref="S2.SS1.p1.17.m12.1.1.1"><times id="S2.SS1.p1.17.m12.1.1.1.2.cmml" xref="S2.SS1.p1.17.m12.1.1.1.2"></times><apply id="S2.SS1.p1.17.m12.1.1.1.3.cmml" xref="S2.SS1.p1.17.m12.1.1.1.3"><log id="S2.SS1.p1.17.m12.1.1.1.3.1.cmml" xref="S2.SS1.p1.17.m12.1.1.1.3.1"></log><apply id="S2.SS1.p1.17.m12.1.1.1.3.2.cmml" xref="S2.SS1.p1.17.m12.1.1.1.3.2"><csymbol cd="ambiguous" id="S2.SS1.p1.17.m12.1.1.1.3.2.1.cmml" xref="S2.SS1.p1.17.m12.1.1.1.3.2">subscript</csymbol><ci id="S2.SS1.p1.17.m12.1.1.1.3.2.2.cmml" xref="S2.SS1.p1.17.m12.1.1.1.3.2.2">𝑃</ci><ci id="S2.SS1.p1.17.m12.1.1.1.3.2.3.cmml" xref="S2.SS1.p1.17.m12.1.1.1.3.2.3">𝜃</ci></apply></apply><apply id="S2.SS1.p1.17.m12.1.1.1.1.1.1.cmml" xref="S2.SS1.p1.17.m12.1.1.1.1.1"><csymbol cd="latexml" id="S2.SS1.p1.17.m12.1.1.1.1.1.1.1.cmml" xref="S2.SS1.p1.17.m12.1.1.1.1.1.1.1">conditional</csymbol><apply id="S2.SS1.p1.17.m12.1.1.1.1.1.1.2.cmml" xref="S2.SS1.p1.17.m12.1.1.1.1.1.1.2"><csymbol cd="ambiguous" id="S2.SS1.p1.17.m12.1.1.1.1.1.1.2.1.cmml" xref="S2.SS1.p1.17.m12.1.1.1.1.1.1.2">subscript</csymbol><ci id="S2.SS1.p1.17.m12.1.1.1.1.1.1.2.2.cmml" xref="S2.SS1.p1.17.m12.1.1.1.1.1.1.2.2">𝑥</ci><ci id="S2.SS1.p1.17.m12.1.1.1.1.1.1.2.3.cmml" xref="S2.SS1.p1.17.m12.1.1.1.1.1.1.2.3">𝑖</ci></apply><apply id="S2.SS1.p1.17.m12.1.1.1.1.1.1.3.cmml" xref="S2.SS1.p1.17.m12.1.1.1.1.1.1.3"><csymbol cd="ambiguous" id="S2.SS1.p1.17.m12.1.1.1.1.1.1.3.1.cmml" xref="S2.SS1.p1.17.m12.1.1.1.1.1.1.3">subscript</csymbol><ci id="S2.SS1.p1.17.m12.1.1.1.1.1.1.3.2.cmml" xref="S2.SS1.p1.17.m12.1.1.1.1.1.1.3.2">𝑥</ci><apply id="S2.SS1.p1.17.m12.1.1.1.1.1.1.3.3.cmml" xref="S2.SS1.p1.17.m12.1.1.1.1.1.1.3.3"><lt id="S2.SS1.p1.17.m12.1.1.1.1.1.1.3.3.1.cmml" xref="S2.SS1.p1.17.m12.1.1.1.1.1.1.3.3.1"></lt><csymbol cd="latexml" id="S2.SS1.p1.17.m12.1.1.1.1.1.1.3.3.2.cmml" xref="S2.SS1.p1.17.m12.1.1.1.1.1.1.3.3.2">absent</csymbol><ci id="S2.SS1.p1.17.m12.1.1.1.1.1.1.3.3.3.cmml" xref="S2.SS1.p1.17.m12.1.1.1.1.1.1.3.3.3">𝑖</ci></apply></apply></apply></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="S2.SS1.p1.17.m12.1c">\sum_{i}^{n}\log P_{\theta}(x_{i}|x_{&lt;i})</annotation></semantics></math>, for partial sequences that may not terminate until after <math id="S2.SS1.p1.18.m13.1" class="ltx_Math" alttext="n" display="inline"><semantics id="S2.SS1.p1.18.m13.1a"><mi id="S2.SS1.p1.18.m13.1.1" xref="S2.SS1.p1.18.m13.1.1.cmml">n</mi><annotation-xml encoding="MathML-Content" id="S2.SS1.p1.18.m13.1b"><ci id="S2.SS1.p1.18.m13.1.1.cmml" xref="S2.SS1.p1.18.m13.1.1">𝑛</ci></annotation-xml><annotation encoding="application/x-tex" id="S2.SS1.p1.18.m13.1c">n</annotation></semantics></math>, and <math id="S2.SS1.p1.19.m14.1" class="ltx_Math" alttext="P_{\text{data}}(x|s_{n})" display="inline"><semantics id="S2.SS1.p1.19.m14.1a"><mrow id="S2.SS1.p1.19.m14.1.1" xref="S2.SS1.p1.19.m14.1.1.cmml"><msub id="S2.SS1.p1.19.m14.1.1.3" xref="S2.SS1.p1.19.m14.1.1.3.cmml"><mi id="S2.SS1.p1.19.m14.1.1.3.2" xref="S2.SS1.p1.19.m14.1.1.3.2.cmml">P</mi><mtext id="S2.SS1.p1.19.m14.1.1.3.3" xref="S2.SS1.p1.19.m14.1.1.3.3a.cmml">data</mtext></msub><mo lspace="0em" rspace="0em" id="S2.SS1.p1.19.m14.1.1.2" xref="S2.SS1.p1.19.m14.1.1.2.cmml">​</mo><mrow id="S2.SS1.p1.19.m14.1.1.1.1" xref="S2.SS1.p1.19.m14.1.1.1.1.1.cmml"><mo stretchy="false" id="S2.SS1.p1.19.m14.1.1.1.1.2" xref="S2.SS1.p1.19.m14.1.1.1.1.1.cmml">(</mo><mrow id="S2.SS1.p1.19.m14.1.1.1.1.1" xref="S2.SS1.p1.19.m14.1.1.1.1.1.cmml"><mi id="S2.SS1.p1.19.m14.1.1.1.1.1.2" xref="S2.SS1.p1.19.m14.1.1.1.1.1.2.cmml">x</mi><mo fence="false" id="S2.SS1.p1.19.m14.1.1.1.1.1.1" xref="S2.SS1.p1.19.m14.1.1.1.1.1.1.cmml">|</mo><msub id="S2.SS1.p1.19.m14.1.1.1.1.1.3" xref="S2.SS1.p1.19.m14.1.1.1.1.1.3.cmml"><mi id="S2.SS1.p1.19.m14.1.1.1.1.1.3.2" xref="S2.SS1.p1.19.m14.1.1.1.1.1.3.2.cmml">s</mi><mi id="S2.SS1.p1.19.m14.1.1.1.1.1.3.3" xref="S2.SS1.p1.19.m14.1.1.1.1.1.3.3.cmml">n</mi></msub></mrow><mo stretchy="false" id="S2.SS1.p1.19.m14.1.1.1.1.3" xref="S2.SS1.p1.19.m14.1.1.1.1.1.cmml">)</mo></mrow></mrow><annotation-xml encoding="MathML-Content" id="S2.SS1.p1.19.m14.1b"><apply id="S2.SS1.p1.19.m14.1.1.cmml" xref="S2.SS1.p1.19.m14.1.1"><times id="S2.SS1.p1.19.m14.1.1.2.cmml" xref="S2.SS1.p1.19.m14.1.1.2"></times><apply id="S2.SS1.p1.19.m14.1.1.3.cmml" xref="S2.SS1.p1.19.m14.1.1.3"><csymbol cd="ambiguous" id="S2.SS1.p1.19.m14.1.1.3.1.cmml" xref="S2.SS1.p1.19.m14.1.1.3">subscript</csymbol><ci id="S2.SS1.p1.19.m14.1.1.3.2.cmml" xref="S2.SS1.p1.19.m14.1.1.3.2">𝑃</ci><ci id="S2.SS1.p1.19.m14.1.1.3.3a.cmml" xref="S2.SS1.p1.19.m14.1.1.3.3"><mtext mathsize="70%" id="S2.SS1.p1.19.m14.1.1.3.3.cmml" xref="S2.SS1.p1.19.m14.1.1.3.3">data</mtext></ci></apply><apply id="S2.SS1.p1.19.m14.1.1.1.1.1.cmml" xref="S2.SS1.p1.19.m14.1.1.1.1"><csymbol cd="latexml" id="S2.SS1.p1.19.m14.1.1.1.1.1.1.cmml" xref="S2.SS1.p1.19.m14.1.1.1.1.1.1">conditional</csymbol><ci id="S2.SS1.p1.19.m14.1.1.1.1.1.2.cmml" xref="S2.SS1.p1.19.m14.1.1.1.1.1.2">𝑥</ci><apply id="S2.SS1.p1.19.m14.1.1.1.1.1.3.cmml" xref="S2.SS1.p1.19.m14.1.1.1.1.1.3"><csymbol cd="ambiguous" id="S2.SS1.p1.19.m14.1.1.1.1.1.3.1.cmml" xref="S2.SS1.p1.19.m14.1.1.1.1.1.3">subscript</csymbol><ci id="S2.SS1.p1.19.m14.1.1.1.1.1.3.2.cmml" xref="S2.SS1.p1.19.m14.1.1.1.1.1.3.2">𝑠</ci><ci id="S2.SS1.p1.19.m14.1.1.1.1.1.3.3.cmml" xref="S2.SS1.p1.19.m14.1.1.1.1.1.3.3">𝑛</ci></apply></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="S2.SS1.p1.19.m14.1c">P_{\text{data}}(x|s_{n})</annotation></semantics></math> to signify the conditional probability of the next token given a partial sequence.</p>
</div>
<section id="S2.SS1.SSS1" class="ltx_subsubsection">
<h4 class="ltx_title ltx_title_subsubsection">
<span class="ltx_tag ltx_tag_subsubsection">2.1.1 </span>Limitations of the KL-divergence</h4>

<div id="S2.SS1.SSS1.p1" class="ltx_para">
<p id="S2.SS1.SSS1.p1.7" class="ltx_p">However, while it is clear that minimizing the KL-divergence in equation (<a href="#S2.E1" title="Equation 1 ‣ 2.1 KL-Divergence ‣ 2 Preliminaries: Training Objectives for Autoregressive Models ‣ SequenceMatch: Imitation Learning for Autoregressive Sequence Modelling with Backtracking" class="ltx_ref"><span class="ltx_text ltx_ref_tag">1</span></a>) will result in <math id="S2.SS1.SSS1.p1.1.m1.1" class="ltx_Math" alttext="P_{\theta}=P_{\text{data}}" display="inline"><semantics id="S2.SS1.SSS1.p1.1.m1.1a"><mrow id="S2.SS1.SSS1.p1.1.m1.1.1" xref="S2.SS1.SSS1.p1.1.m1.1.1.cmml"><msub id="S2.SS1.SSS1.p1.1.m1.1.1.2" xref="S2.SS1.SSS1.p1.1.m1.1.1.2.cmml"><mi id="S2.SS1.SSS1.p1.1.m1.1.1.2.2" xref="S2.SS1.SSS1.p1.1.m1.1.1.2.2.cmml">P</mi><mi id="S2.SS1.SSS1.p1.1.m1.1.1.2.3" xref="S2.SS1.SSS1.p1.1.m1.1.1.2.3.cmml">θ</mi></msub><mo id="S2.SS1.SSS1.p1.1.m1.1.1.1" xref="S2.SS1.SSS1.p1.1.m1.1.1.1.cmml">=</mo><msub id="S2.SS1.SSS1.p1.1.m1.1.1.3" xref="S2.SS1.SSS1.p1.1.m1.1.1.3.cmml"><mi id="S2.SS1.SSS1.p1.1.m1.1.1.3.2" xref="S2.SS1.SSS1.p1.1.m1.1.1.3.2.cmml">P</mi><mtext id="S2.SS1.SSS1.p1.1.m1.1.1.3.3" xref="S2.SS1.SSS1.p1.1.m1.1.1.3.3a.cmml">data</mtext></msub></mrow><annotation-xml encoding="MathML-Content" id="S2.SS1.SSS1.p1.1.m1.1b"><apply id="S2.SS1.SSS1.p1.1.m1.1.1.cmml" xref="S2.SS1.SSS1.p1.1.m1.1.1"><eq id="S2.SS1.SSS1.p1.1.m1.1.1.1.cmml" xref="S2.SS1.SSS1.p1.1.m1.1.1.1"></eq><apply id="S2.SS1.SSS1.p1.1.m1.1.1.2.cmml" xref="S2.SS1.SSS1.p1.1.m1.1.1.2"><csymbol cd="ambiguous" id="S2.SS1.SSS1.p1.1.m1.1.1.2.1.cmml" xref="S2.SS1.SSS1.p1.1.m1.1.1.2">subscript</csymbol><ci id="S2.SS1.SSS1.p1.1.m1.1.1.2.2.cmml" xref="S2.SS1.SSS1.p1.1.m1.1.1.2.2">𝑃</ci><ci id="S2.SS1.SSS1.p1.1.m1.1.1.2.3.cmml" xref="S2.SS1.SSS1.p1.1.m1.1.1.2.3">𝜃</ci></apply><apply id="S2.SS1.SSS1.p1.1.m1.1.1.3.cmml" xref="S2.SS1.SSS1.p1.1.m1.1.1.3"><csymbol cd="ambiguous" id="S2.SS1.SSS1.p1.1.m1.1.1.3.1.cmml" xref="S2.SS1.SSS1.p1.1.m1.1.1.3">subscript</csymbol><ci id="S2.SS1.SSS1.p1.1.m1.1.1.3.2.cmml" xref="S2.SS1.SSS1.p1.1.m1.1.1.3.2">𝑃</ci><ci id="S2.SS1.SSS1.p1.1.m1.1.1.3.3a.cmml" xref="S2.SS1.SSS1.p1.1.m1.1.1.3.3"><mtext mathsize="70%" id="S2.SS1.SSS1.p1.1.m1.1.1.3.3.cmml" xref="S2.SS1.SSS1.p1.1.m1.1.1.3.3">data</mtext></ci></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="S2.SS1.SSS1.p1.1.m1.1c">P_{\theta}=P_{\text{data}}</annotation></semantics></math> (for a sufficiently flexible parameterization <math id="S2.SS1.SSS1.p1.2.m2.1" class="ltx_Math" alttext="P_{\theta}" display="inline"><semantics id="S2.SS1.SSS1.p1.2.m2.1a"><msub id="S2.SS1.SSS1.p1.2.m2.1.1" xref="S2.SS1.SSS1.p1.2.m2.1.1.cmml"><mi id="S2.SS1.SSS1.p1.2.m2.1.1.2" xref="S2.SS1.SSS1.p1.2.m2.1.1.2.cmml">P</mi><mi id="S2.SS1.SSS1.p1.2.m2.1.1.3" xref="S2.SS1.SSS1.p1.2.m2.1.1.3.cmml">θ</mi></msub><annotation-xml encoding="MathML-Content" id="S2.SS1.SSS1.p1.2.m2.1b"><apply id="S2.SS1.SSS1.p1.2.m2.1.1.cmml" xref="S2.SS1.SSS1.p1.2.m2.1.1"><csymbol cd="ambiguous" id="S2.SS1.SSS1.p1.2.m2.1.1.1.cmml" xref="S2.SS1.SSS1.p1.2.m2.1.1">subscript</csymbol><ci id="S2.SS1.SSS1.p1.2.m2.1.1.2.cmml" xref="S2.SS1.SSS1.p1.2.m2.1.1.2">𝑃</ci><ci id="S2.SS1.SSS1.p1.2.m2.1.1.3.cmml" xref="S2.SS1.SSS1.p1.2.m2.1.1.3">𝜃</ci></apply></annotation-xml><annotation encoding="application/x-tex" id="S2.SS1.SSS1.p1.2.m2.1c">P_{\theta}</annotation></semantics></math>), it is not obvious what the behaviour is of models which <em id="S2.SS1.SSS1.p1.7.1" class="ltx_emph ltx_font_italic">approximately</em> minimize the KL-divergence. In figure <a href="#S1.F1" title="Figure 1 ‣ 1 Introduction ‣ SequenceMatch: Imitation Learning for Autoregressive Sequence Modelling with Backtracking" class="ltx_ref"><span class="ltx_text ltx_ref_tag">1</span></a>, a chain distribution is shown, with sequences of length <math id="S2.SS1.SSS1.p1.3.m3.1" class="ltx_Math" alttext="N" display="inline"><semantics id="S2.SS1.SSS1.p1.3.m3.1a"><mi id="S2.SS1.SSS1.p1.3.m3.1.1" xref="S2.SS1.SSS1.p1.3.m3.1.1.cmml">N</mi><annotation-xml encoding="MathML-Content" id="S2.SS1.SSS1.p1.3.m3.1b"><ci id="S2.SS1.SSS1.p1.3.m3.1.1.cmml" xref="S2.SS1.SSS1.p1.3.m3.1.1">𝑁</ci></annotation-xml><annotation encoding="application/x-tex" id="S2.SS1.SSS1.p1.3.m3.1c">N</annotation></semantics></math>. The model <math id="S2.SS1.SSS1.p1.4.m4.1" class="ltx_Math" alttext="P_{\theta}" display="inline"><semantics id="S2.SS1.SSS1.p1.4.m4.1a"><msub id="S2.SS1.SSS1.p1.4.m4.1.1" xref="S2.SS1.SSS1.p1.4.m4.1.1.cmml"><mi id="S2.SS1.SSS1.p1.4.m4.1.1.2" xref="S2.SS1.SSS1.p1.4.m4.1.1.2.cmml">P</mi><mi id="S2.SS1.SSS1.p1.4.m4.1.1.3" xref="S2.SS1.SSS1.p1.4.m4.1.1.3.cmml">θ</mi></msub><annotation-xml encoding="MathML-Content" id="S2.SS1.SSS1.p1.4.m4.1b"><apply id="S2.SS1.SSS1.p1.4.m4.1.1.cmml" xref="S2.SS1.SSS1.p1.4.m4.1.1"><csymbol cd="ambiguous" id="S2.SS1.SSS1.p1.4.m4.1.1.1.cmml" xref="S2.SS1.SSS1.p1.4.m4.1.1">subscript</csymbol><ci id="S2.SS1.SSS1.p1.4.m4.1.1.2.cmml" xref="S2.SS1.SSS1.p1.4.m4.1.1.2">𝑃</ci><ci id="S2.SS1.SSS1.p1.4.m4.1.1.3.cmml" xref="S2.SS1.SSS1.p1.4.m4.1.1.3">𝜃</ci></apply></annotation-xml><annotation encoding="application/x-tex" id="S2.SS1.SSS1.p1.4.m4.1c">P_{\theta}</annotation></semantics></math> has an <math id="S2.SS1.SSS1.p1.5.m5.1" class="ltx_Math" alttext="\epsilon" display="inline"><semantics id="S2.SS1.SSS1.p1.5.m5.1a"><mi id="S2.SS1.SSS1.p1.5.m5.1.1" xref="S2.SS1.SSS1.p1.5.m5.1.1.cmml">ϵ</mi><annotation-xml encoding="MathML-Content" id="S2.SS1.SSS1.p1.5.m5.1b"><ci id="S2.SS1.SSS1.p1.5.m5.1.1.cmml" xref="S2.SS1.SSS1.p1.5.m5.1.1">italic-ϵ</ci></annotation-xml><annotation encoding="application/x-tex" id="S2.SS1.SSS1.p1.5.m5.1c">\epsilon</annotation></semantics></math> error on each conditional, where an error leads to an OOD sequence which has no support under the data distribution. This leads to an error in the KL metric of order <math id="S2.SS1.SSS1.p1.6.m6.1" class="ltx_Math" alttext="n\epsilon" display="inline"><semantics id="S2.SS1.SSS1.p1.6.m6.1a"><mrow id="S2.SS1.SSS1.p1.6.m6.1.1" xref="S2.SS1.SSS1.p1.6.m6.1.1.cmml"><mi id="S2.SS1.SSS1.p1.6.m6.1.1.2" xref="S2.SS1.SSS1.p1.6.m6.1.1.2.cmml">n</mi><mo lspace="0em" rspace="0em" id="S2.SS1.SSS1.p1.6.m6.1.1.1" xref="S2.SS1.SSS1.p1.6.m6.1.1.1.cmml">​</mo><mi id="S2.SS1.SSS1.p1.6.m6.1.1.3" xref="S2.SS1.SSS1.p1.6.m6.1.1.3.cmml">ϵ</mi></mrow><annotation-xml encoding="MathML-Content" id="S2.SS1.SSS1.p1.6.m6.1b"><apply id="S2.SS1.SSS1.p1.6.m6.1.1.cmml" xref="S2.SS1.SSS1.p1.6.m6.1.1"><times id="S2.SS1.SSS1.p1.6.m6.1.1.1.cmml" xref="S2.SS1.SSS1.p1.6.m6.1.1.1"></times><ci id="S2.SS1.SSS1.p1.6.m6.1.1.2.cmml" xref="S2.SS1.SSS1.p1.6.m6.1.1.2">𝑛</ci><ci id="S2.SS1.SSS1.p1.6.m6.1.1.3.cmml" xref="S2.SS1.SSS1.p1.6.m6.1.1.3">italic-ϵ</ci></apply></annotation-xml><annotation encoding="application/x-tex" id="S2.SS1.SSS1.p1.6.m6.1c">n\epsilon</annotation></semantics></math>.
However, the probability of getting to the end of the chain before an incorrect token is picked is <math id="S2.SS1.SSS1.p1.7.m7.1" class="ltx_Math" alttext="1-(1-\epsilon)^{n}" display="inline"><semantics id="S2.SS1.SSS1.p1.7.m7.1a"><mrow id="S2.SS1.SSS1.p1.7.m7.1.1" xref="S2.SS1.SSS1.p1.7.m7.1.1.cmml"><mn id="S2.SS1.SSS1.p1.7.m7.1.1.3" xref="S2.SS1.SSS1.p1.7.m7.1.1.3.cmml">1</mn><mo id="S2.SS1.SSS1.p1.7.m7.1.1.2" xref="S2.SS1.SSS1.p1.7.m7.1.1.2.cmml">−</mo><msup id="S2.SS1.SSS1.p1.7.m7.1.1.1" xref="S2.SS1.SSS1.p1.7.m7.1.1.1.cmml"><mrow id="S2.SS1.SSS1.p1.7.m7.1.1.1.1.1" xref="S2.SS1.SSS1.p1.7.m7.1.1.1.1.1.1.cmml"><mo stretchy="false" id="S2.SS1.SSS1.p1.7.m7.1.1.1.1.1.2" xref="S2.SS1.SSS1.p1.7.m7.1.1.1.1.1.1.cmml">(</mo><mrow id="S2.SS1.SSS1.p1.7.m7.1.1.1.1.1.1" xref="S2.SS1.SSS1.p1.7.m7.1.1.1.1.1.1.cmml"><mn id="S2.SS1.SSS1.p1.7.m7.1.1.1.1.1.1.2" xref="S2.SS1.SSS1.p1.7.m7.1.1.1.1.1.1.2.cmml">1</mn><mo id="S2.SS1.SSS1.p1.7.m7.1.1.1.1.1.1.1" xref="S2.SS1.SSS1.p1.7.m7.1.1.1.1.1.1.1.cmml">−</mo><mi id="S2.SS1.SSS1.p1.7.m7.1.1.1.1.1.1.3" xref="S2.SS1.SSS1.p1.7.m7.1.1.1.1.1.1.3.cmml">ϵ</mi></mrow><mo stretchy="false" id="S2.SS1.SSS1.p1.7.m7.1.1.1.1.1.3" xref="S2.SS1.SSS1.p1.7.m7.1.1.1.1.1.1.cmml">)</mo></mrow><mi id="S2.SS1.SSS1.p1.7.m7.1.1.1.3" xref="S2.SS1.SSS1.p1.7.m7.1.1.1.3.cmml">n</mi></msup></mrow><annotation-xml encoding="MathML-Content" id="S2.SS1.SSS1.p1.7.m7.1b"><apply id="S2.SS1.SSS1.p1.7.m7.1.1.cmml" xref="S2.SS1.SSS1.p1.7.m7.1.1"><minus id="S2.SS1.SSS1.p1.7.m7.1.1.2.cmml" xref="S2.SS1.SSS1.p1.7.m7.1.1.2"></minus><cn type="integer" id="S2.SS1.SSS1.p1.7.m7.1.1.3.cmml" xref="S2.SS1.SSS1.p1.7.m7.1.1.3">1</cn><apply id="S2.SS1.SSS1.p1.7.m7.1.1.1.cmml" xref="S2.SS1.SSS1.p1.7.m7.1.1.1"><csymbol cd="ambiguous" id="S2.SS1.SSS1.p1.7.m7.1.1.1.2.cmml" xref="S2.SS1.SSS1.p1.7.m7.1.1.1">superscript</csymbol><apply id="S2.SS1.SSS1.p1.7.m7.1.1.1.1.1.1.cmml" xref="S2.SS1.SSS1.p1.7.m7.1.1.1.1.1"><minus id="S2.SS1.SSS1.p1.7.m7.1.1.1.1.1.1.1.cmml" xref="S2.SS1.SSS1.p1.7.m7.1.1.1.1.1.1.1"></minus><cn type="integer" id="S2.SS1.SSS1.p1.7.m7.1.1.1.1.1.1.2.cmml" xref="S2.SS1.SSS1.p1.7.m7.1.1.1.1.1.1.2">1</cn><ci id="S2.SS1.SSS1.p1.7.m7.1.1.1.1.1.1.3.cmml" xref="S2.SS1.SSS1.p1.7.m7.1.1.1.1.1.1.3">italic-ϵ</ci></apply><ci id="S2.SS1.SSS1.p1.7.m7.1.1.1.3.cmml" xref="S2.SS1.SSS1.p1.7.m7.1.1.1.3">𝑛</ci></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="S2.SS1.SSS1.p1.7.m7.1c">1-(1-\epsilon)^{n}</annotation></semantics></math>, and so the value of the KL-divergence is not a good metric if our main quantity of interest is how often generated sequences are in-distribution.
Furthermore, the KL-divergence weights the loss by the frequency under the data distribution, so if sequences are rarely seen under the data distribution they are not very important in the total loss. One particular implication is that the model’s behavior out-of-distribution from the data is essentially undetermined.
In other words, there is no optimization pressure on the model to learn how to ‘recover’ from mistakes.</p>
</div>
<div id="S2.SS1.SSS1.p2" class="ltx_para">
<p id="S2.SS1.SSS1.p2.4" class="ltx_p">In non-autoregressive generative modelling, a wide variety of different divergences are commonly used, such as the Wasserstein distance <cite class="ltx_cite ltx_citemacro_citep">[<a href="#bib.bib2" title="" class="ltx_ref">2</a>]</cite> and Fisher divergence <cite class="ltx_cite ltx_citemacro_citep">[<a href="#bib.bib30" title="" class="ltx_ref">30</a>]</cite>. Particularly interesting is the <math id="S2.SS1.SSS1.p2.1.m1.1" class="ltx_Math" alttext="\chi^{2}" display="inline"><semantics id="S2.SS1.SSS1.p2.1.m1.1a"><msup id="S2.SS1.SSS1.p2.1.m1.1.1" xref="S2.SS1.SSS1.p2.1.m1.1.1.cmml"><mi id="S2.SS1.SSS1.p2.1.m1.1.1.2" xref="S2.SS1.SSS1.p2.1.m1.1.1.2.cmml">χ</mi><mn id="S2.SS1.SSS1.p2.1.m1.1.1.3" xref="S2.SS1.SSS1.p2.1.m1.1.1.3.cmml">2</mn></msup><annotation-xml encoding="MathML-Content" id="S2.SS1.SSS1.p2.1.m1.1b"><apply id="S2.SS1.SSS1.p2.1.m1.1.1.cmml" xref="S2.SS1.SSS1.p2.1.m1.1.1"><csymbol cd="ambiguous" id="S2.SS1.SSS1.p2.1.m1.1.1.1.cmml" xref="S2.SS1.SSS1.p2.1.m1.1.1">superscript</csymbol><ci id="S2.SS1.SSS1.p2.1.m1.1.1.2.cmml" xref="S2.SS1.SSS1.p2.1.m1.1.1.2">𝜒</ci><cn type="integer" id="S2.SS1.SSS1.p2.1.m1.1.1.3.cmml" xref="S2.SS1.SSS1.p2.1.m1.1.1.3">2</cn></apply></annotation-xml><annotation encoding="application/x-tex" id="S2.SS1.SSS1.p2.1.m1.1c">\chi^{2}</annotation></semantics></math> divergence <math id="S2.SS1.SSS1.p2.2.m2.5" class="ltx_Math" alttext="D_{\chi^{2}}(P_{\theta},P_{\text{data}})=\mathbb{E}_{x\sim P_{\text{data}}}\left[(P_{\theta}(x)/P_{\text{data}}(x)-1)^{2}\right]" display="inline"><semantics id="S2.SS1.SSS1.p2.2.m2.5a"><mrow id="S2.SS1.SSS1.p2.2.m2.5.5" xref="S2.SS1.SSS1.p2.2.m2.5.5.cmml"><mrow id="S2.SS1.SSS1.p2.2.m2.4.4.2" xref="S2.SS1.SSS1.p2.2.m2.4.4.2.cmml"><msub id="S2.SS1.SSS1.p2.2.m2.4.4.2.4" xref="S2.SS1.SSS1.p2.2.m2.4.4.2.4.cmml"><mi id="S2.SS1.SSS1.p2.2.m2.4.4.2.4.2" xref="S2.SS1.SSS1.p2.2.m2.4.4.2.4.2.cmml">D</mi><msup id="S2.SS1.SSS1.p2.2.m2.4.4.2.4.3" xref="S2.SS1.SSS1.p2.2.m2.4.4.2.4.3.cmml"><mi id="S2.SS1.SSS1.p2.2.m2.4.4.2.4.3.2" xref="S2.SS1.SSS1.p2.2.m2.4.4.2.4.3.2.cmml">χ</mi><mn id="S2.SS1.SSS1.p2.2.m2.4.4.2.4.3.3" xref="S2.SS1.SSS1.p2.2.m2.4.4.2.4.3.3.cmml">2</mn></msup></msub><mo lspace="0em" rspace="0em" id="S2.SS1.SSS1.p2.2.m2.4.4.2.3" xref="S2.SS1.SSS1.p2.2.m2.4.4.2.3.cmml">​</mo><mrow id="S2.SS1.SSS1.p2.2.m2.4.4.2.2.2" xref="S2.SS1.SSS1.p2.2.m2.4.4.2.2.3.cmml"><mo stretchy="false" id="S2.SS1.SSS1.p2.2.m2.4.4.2.2.2.3" xref="S2.SS1.SSS1.p2.2.m2.4.4.2.2.3.cmml">(</mo><msub id="S2.SS1.SSS1.p2.2.m2.3.3.1.1.1.1" xref="S2.SS1.SSS1.p2.2.m2.3.3.1.1.1.1.cmml"><mi id="S2.SS1.SSS1.p2.2.m2.3.3.1.1.1.1.2" xref="S2.SS1.SSS1.p2.2.m2.3.3.1.1.1.1.2.cmml">P</mi><mi id="S2.SS1.SSS1.p2.2.m2.3.3.1.1.1.1.3" xref="S2.SS1.SSS1.p2.2.m2.3.3.1.1.1.1.3.cmml">θ</mi></msub><mo id="S2.SS1.SSS1.p2.2.m2.4.4.2.2.2.4" xref="S2.SS1.SSS1.p2.2.m2.4.4.2.2.3.cmml">,</mo><msub id="S2.SS1.SSS1.p2.2.m2.4.4.2.2.2.2" xref="S2.SS1.SSS1.p2.2.m2.4.4.2.2.2.2.cmml"><mi id="S2.SS1.SSS1.p2.2.m2.4.4.2.2.2.2.2" xref="S2.SS1.SSS1.p2.2.m2.4.4.2.2.2.2.2.cmml">P</mi><mtext id="S2.SS1.SSS1.p2.2.m2.4.4.2.2.2.2.3" xref="S2.SS1.SSS1.p2.2.m2.4.4.2.2.2.2.3a.cmml">data</mtext></msub><mo stretchy="false" id="S2.SS1.SSS1.p2.2.m2.4.4.2.2.2.5" xref="S2.SS1.SSS1.p2.2.m2.4.4.2.2.3.cmml">)</mo></mrow></mrow><mo id="S2.SS1.SSS1.p2.2.m2.5.5.4" xref="S2.SS1.SSS1.p2.2.m2.5.5.4.cmml">=</mo><mrow id="S2.SS1.SSS1.p2.2.m2.5.5.3" xref="S2.SS1.SSS1.p2.2.m2.5.5.3.cmml"><msub id="S2.SS1.SSS1.p2.2.m2.5.5.3.3" xref="S2.SS1.SSS1.p2.2.m2.5.5.3.3.cmml"><mi id="S2.SS1.SSS1.p2.2.m2.5.5.3.3.2" xref="S2.SS1.SSS1.p2.2.m2.5.5.3.3.2.cmml">𝔼</mi><mrow id="S2.SS1.SSS1.p2.2.m2.5.5.3.3.3" xref="S2.SS1.SSS1.p2.2.m2.5.5.3.3.3.cmml"><mi id="S2.SS1.SSS1.p2.2.m2.5.5.3.3.3.2" xref="S2.SS1.SSS1.p2.2.m2.5.5.3.3.3.2.cmml">x</mi><mo id="S2.SS1.SSS1.p2.2.m2.5.5.3.3.3.1" xref="S2.SS1.SSS1.p2.2.m2.5.5.3.3.3.1.cmml">∼</mo><msub id="S2.SS1.SSS1.p2.2.m2.5.5.3.3.3.3" xref="S2.SS1.SSS1.p2.2.m2.5.5.3.3.3.3.cmml"><mi id="S2.SS1.SSS1.p2.2.m2.5.5.3.3.3.3.2" xref="S2.SS1.SSS1.p2.2.m2.5.5.3.3.3.3.2.cmml">P</mi><mtext id="S2.SS1.SSS1.p2.2.m2.5.5.3.3.3.3.3" xref="S2.SS1.SSS1.p2.2.m2.5.5.3.3.3.3.3a.cmml">data</mtext></msub></mrow></msub><mo lspace="0em" rspace="0em" id="S2.SS1.SSS1.p2.2.m2.5.5.3.2" xref="S2.SS1.SSS1.p2.2.m2.5.5.3.2.cmml">​</mo><mrow id="S2.SS1.SSS1.p2.2.m2.5.5.3.1.1" xref="S2.SS1.SSS1.p2.2.m2.5.5.3.1.2.cmml"><mo id="S2.SS1.SSS1.p2.2.m2.5.5.3.1.1.2" xref="S2.SS1.SSS1.p2.2.m2.5.5.3.1.2.1.cmml">[</mo><msup id="S2.SS1.SSS1.p2.2.m2.5.5.3.1.1.1" xref="S2.SS1.SSS1.p2.2.m2.5.5.3.1.1.1.cmml"><mrow id="S2.SS1.SSS1.p2.2.m2.5.5.3.1.1.1.1.1" xref="S2.SS1.SSS1.p2.2.m2.5.5.3.1.1.1.1.1.1.cmml"><mo stretchy="false" id="S2.SS1.SSS1.p2.2.m2.5.5.3.1.1.1.1.1.2" xref="S2.SS1.SSS1.p2.2.m2.5.5.3.1.1.1.1.1.1.cmml">(</mo><mrow id="S2.SS1.SSS1.p2.2.m2.5.5.3.1.1.1.1.1.1" xref="S2.SS1.SSS1.p2.2.m2.5.5.3.1.1.1.1.1.1.cmml"><mrow id="S2.SS1.SSS1.p2.2.m2.5.5.3.1.1.1.1.1.1.2" xref="S2.SS1.SSS1.p2.2.m2.5.5.3.1.1.1.1.1.1.2.cmml"><mrow id="S2.SS1.SSS1.p2.2.m2.5.5.3.1.1.1.1.1.1.2.2" xref="S2.SS1.SSS1.p2.2.m2.5.5.3.1.1.1.1.1.1.2.2.cmml"><mrow id="S2.SS1.SSS1.p2.2.m2.5.5.3.1.1.1.1.1.1.2.2.2" xref="S2.SS1.SSS1.p2.2.m2.5.5.3.1.1.1.1.1.1.2.2.2.cmml"><msub id="S2.SS1.SSS1.p2.2.m2.5.5.3.1.1.1.1.1.1.2.2.2.2" xref="S2.SS1.SSS1.p2.2.m2.5.5.3.1.1.1.1.1.1.2.2.2.2.cmml"><mi id="S2.SS1.SSS1.p2.2.m2.5.5.3.1.1.1.1.1.1.2.2.2.2.2" xref="S2.SS1.SSS1.p2.2.m2.5.5.3.1.1.1.1.1.1.2.2.2.2.2.cmml">P</mi><mi id="S2.SS1.SSS1.p2.2.m2.5.5.3.1.1.1.1.1.1.2.2.2.2.3" xref="S2.SS1.SSS1.p2.2.m2.5.5.3.1.1.1.1.1.1.2.2.2.2.3.cmml">θ</mi></msub><mo lspace="0em" rspace="0em" id="S2.SS1.SSS1.p2.2.m2.5.5.3.1.1.1.1.1.1.2.2.2.1" xref="S2.SS1.SSS1.p2.2.m2.5.5.3.1.1.1.1.1.1.2.2.2.1.cmml">​</mo><mrow id="S2.SS1.SSS1.p2.2.m2.5.5.3.1.1.1.1.1.1.2.2.2.3.2" xref="S2.SS1.SSS1.p2.2.m2.5.5.3.1.1.1.1.1.1.2.2.2.cmml"><mo stretchy="false" id="S2.SS1.SSS1.p2.2.m2.5.5.3.1.1.1.1.1.1.2.2.2.3.2.1" xref="S2.SS1.SSS1.p2.2.m2.5.5.3.1.1.1.1.1.1.2.2.2.cmml">(</mo><mi id="S2.SS1.SSS1.p2.2.m2.1.1" xref="S2.SS1.SSS1.p2.2.m2.1.1.cmml">x</mi><mo stretchy="false" id="S2.SS1.SSS1.p2.2.m2.5.5.3.1.1.1.1.1.1.2.2.2.3.2.2" xref="S2.SS1.SSS1.p2.2.m2.5.5.3.1.1.1.1.1.1.2.2.2.cmml">)</mo></mrow></mrow><mo id="S2.SS1.SSS1.p2.2.m2.5.5.3.1.1.1.1.1.1.2.2.1" xref="S2.SS1.SSS1.p2.2.m2.5.5.3.1.1.1.1.1.1.2.2.1.cmml">/</mo><msub id="S2.SS1.SSS1.p2.2.m2.5.5.3.1.1.1.1.1.1.2.2.3" xref="S2.SS1.SSS1.p2.2.m2.5.5.3.1.1.1.1.1.1.2.2.3.cmml"><mi id="S2.SS1.SSS1.p2.2.m2.5.5.3.1.1.1.1.1.1.2.2.3.2" xref="S2.SS1.SSS1.p2.2.m2.5.5.3.1.1.1.1.1.1.2.2.3.2.cmml">P</mi><mtext id="S2.SS1.SSS1.p2.2.m2.5.5.3.1.1.1.1.1.1.2.2.3.3" xref="S2.SS1.SSS1.p2.2.m2.5.5.3.1.1.1.1.1.1.2.2.3.3a.cmml">data</mtext></msub></mrow><mo lspace="0em" rspace="0em" id="S2.SS1.SSS1.p2.2.m2.5.5.3.1.1.1.1.1.1.2.1" xref="S2.SS1.SSS1.p2.2.m2.5.5.3.1.1.1.1.1.1.2.1.cmml">​</mo><mrow id="S2.SS1.SSS1.p2.2.m2.5.5.3.1.1.1.1.1.1.2.3.2" xref="S2.SS1.SSS1.p2.2.m2.5.5.3.1.1.1.1.1.1.2.cmml"><mo stretchy="false" id="S2.SS1.SSS1.p2.2.m2.5.5.3.1.1.1.1.1.1.2.3.2.1" xref="S2.SS1.SSS1.p2.2.m2.5.5.3.1.1.1.1.1.1.2.cmml">(</mo><mi id="S2.SS1.SSS1.p2.2.m2.2.2" xref="S2.SS1.SSS1.p2.2.m2.2.2.cmml">x</mi><mo stretchy="false" id="S2.SS1.SSS1.p2.2.m2.5.5.3.1.1.1.1.1.1.2.3.2.2" xref="S2.SS1.SSS1.p2.2.m2.5.5.3.1.1.1.1.1.1.2.cmml">)</mo></mrow></mrow><mo id="S2.SS1.SSS1.p2.2.m2.5.5.3.1.1.1.1.1.1.1" xref="S2.SS1.SSS1.p2.2.m2.5.5.3.1.1.1.1.1.1.1.cmml">−</mo><mn id="S2.SS1.SSS1.p2.2.m2.5.5.3.1.1.1.1.1.1.3" xref="S2.SS1.SSS1.p2.2.m2.5.5.3.1.1.1.1.1.1.3.cmml">1</mn></mrow><mo stretchy="false" id="S2.SS1.SSS1.p2.2.m2.5.5.3.1.1.1.1.1.3" xref="S2.SS1.SSS1.p2.2.m2.5.5.3.1.1.1.1.1.1.cmml">)</mo></mrow><mn id="S2.SS1.SSS1.p2.2.m2.5.5.3.1.1.1.3" xref="S2.SS1.SSS1.p2.2.m2.5.5.3.1.1.1.3.cmml">2</mn></msup><mo id="S2.SS1.SSS1.p2.2.m2.5.5.3.1.1.3" xref="S2.SS1.SSS1.p2.2.m2.5.5.3.1.2.1.cmml">]</mo></mrow></mrow></mrow><annotation-xml encoding="MathML-Content" id="S2.SS1.SSS1.p2.2.m2.5b"><apply id="S2.SS1.SSS1.p2.2.m2.5.5.cmml" xref="S2.SS1.SSS1.p2.2.m2.5.5"><eq id="S2.SS1.SSS1.p2.2.m2.5.5.4.cmml" xref="S2.SS1.SSS1.p2.2.m2.5.5.4"></eq><apply id="S2.SS1.SSS1.p2.2.m2.4.4.2.cmml" xref="S2.SS1.SSS1.p2.2.m2.4.4.2"><times id="S2.SS1.SSS1.p2.2.m2.4.4.2.3.cmml" xref="S2.SS1.SSS1.p2.2.m2.4.4.2.3"></times><apply id="S2.SS1.SSS1.p2.2.m2.4.4.2.4.cmml" xref="S2.SS1.SSS1.p2.2.m2.4.4.2.4"><csymbol cd="ambiguous" id="S2.SS1.SSS1.p2.2.m2.4.4.2.4.1.cmml" xref="S2.SS1.SSS1.p2.2.m2.4.4.2.4">subscript</csymbol><ci id="S2.SS1.SSS1.p2.2.m2.4.4.2.4.2.cmml" xref="S2.SS1.SSS1.p2.2.m2.4.4.2.4.2">𝐷</ci><apply id="S2.SS1.SSS1.p2.2.m2.4.4.2.4.3.cmml" xref="S2.SS1.SSS1.p2.2.m2.4.4.2.4.3"><csymbol cd="ambiguous" id="S2.SS1.SSS1.p2.2.m2.4.4.2.4.3.1.cmml" xref="S2.SS1.SSS1.p2.2.m2.4.4.2.4.3">superscript</csymbol><ci id="S2.SS1.SSS1.p2.2.m2.4.4.2.4.3.2.cmml" xref="S2.SS1.SSS1.p2.2.m2.4.4.2.4.3.2">𝜒</ci><cn type="integer" id="S2.SS1.SSS1.p2.2.m2.4.4.2.4.3.3.cmml" xref="S2.SS1.SSS1.p2.2.m2.4.4.2.4.3.3">2</cn></apply></apply><interval closure="open" id="S2.SS1.SSS1.p2.2.m2.4.4.2.2.3.cmml" xref="S2.SS1.SSS1.p2.2.m2.4.4.2.2.2"><apply id="S2.SS1.SSS1.p2.2.m2.3.3.1.1.1.1.cmml" xref="S2.SS1.SSS1.p2.2.m2.3.3.1.1.1.1"><csymbol cd="ambiguous" id="S2.SS1.SSS1.p2.2.m2.3.3.1.1.1.1.1.cmml" xref="S2.SS1.SSS1.p2.2.m2.3.3.1.1.1.1">subscript</csymbol><ci id="S2.SS1.SSS1.p2.2.m2.3.3.1.1.1.1.2.cmml" xref="S2.SS1.SSS1.p2.2.m2.3.3.1.1.1.1.2">𝑃</ci><ci id="S2.SS1.SSS1.p2.2.m2.3.3.1.1.1.1.3.cmml" xref="S2.SS1.SSS1.p2.2.m2.3.3.1.1.1.1.3">𝜃</ci></apply><apply id="S2.SS1.SSS1.p2.2.m2.4.4.2.2.2.2.cmml" xref="S2.SS1.SSS1.p2.2.m2.4.4.2.2.2.2"><csymbol cd="ambiguous" id="S2.SS1.SSS1.p2.2.m2.4.4.2.2.2.2.1.cmml" xref="S2.SS1.SSS1.p2.2.m2.4.4.2.2.2.2">subscript</csymbol><ci id="S2.SS1.SSS1.p2.2.m2.4.4.2.2.2.2.2.cmml" xref="S2.SS1.SSS1.p2.2.m2.4.4.2.2.2.2.2">𝑃</ci><ci id="S2.SS1.SSS1.p2.2.m2.4.4.2.2.2.2.3a.cmml" xref="S2.SS1.SSS1.p2.2.m2.4.4.2.2.2.2.3"><mtext mathsize="70%" id="S2.SS1.SSS1.p2.2.m2.4.4.2.2.2.2.3.cmml" xref="S2.SS1.SSS1.p2.2.m2.4.4.2.2.2.2.3">data</mtext></ci></apply></interval></apply><apply id="S2.SS1.SSS1.p2.2.m2.5.5.3.cmml" xref="S2.SS1.SSS1.p2.2.m2.5.5.3"><times id="S2.SS1.SSS1.p2.2.m2.5.5.3.2.cmml" xref="S2.SS1.SSS1.p2.2.m2.5.5.3.2"></times><apply id="S2.SS1.SSS1.p2.2.m2.5.5.3.3.cmml" xref="S2.SS1.SSS1.p2.2.m2.5.5.3.3"><csymbol cd="ambiguous" id="S2.SS1.SSS1.p2.2.m2.5.5.3.3.1.cmml" xref="S2.SS1.SSS1.p2.2.m2.5.5.3.3">subscript</csymbol><ci id="S2.SS1.SSS1.p2.2.m2.5.5.3.3.2.cmml" xref="S2.SS1.SSS1.p2.2.m2.5.5.3.3.2">𝔼</ci><apply id="S2.SS1.SSS1.p2.2.m2.5.5.3.3.3.cmml" xref="S2.SS1.SSS1.p2.2.m2.5.5.3.3.3"><csymbol cd="latexml" id="S2.SS1.SSS1.p2.2.m2.5.5.3.3.3.1.cmml" xref="S2.SS1.SSS1.p2.2.m2.5.5.3.3.3.1">similar-to</csymbol><ci id="S2.SS1.SSS1.p2.2.m2.5.5.3.3.3.2.cmml" xref="S2.SS1.SSS1.p2.2.m2.5.5.3.3.3.2">𝑥</ci><apply id="S2.SS1.SSS1.p2.2.m2.5.5.3.3.3.3.cmml" xref="S2.SS1.SSS1.p2.2.m2.5.5.3.3.3.3"><csymbol cd="ambiguous" id="S2.SS1.SSS1.p2.2.m2.5.5.3.3.3.3.1.cmml" xref="S2.SS1.SSS1.p2.2.m2.5.5.3.3.3.3">subscript</csymbol><ci id="S2.SS1.SSS1.p2.2.m2.5.5.3.3.3.3.2.cmml" xref="S2.SS1.SSS1.p2.2.m2.5.5.3.3.3.3.2">𝑃</ci><ci id="S2.SS1.SSS1.p2.2.m2.5.5.3.3.3.3.3a.cmml" xref="S2.SS1.SSS1.p2.2.m2.5.5.3.3.3.3.3"><mtext mathsize="50%" id="S2.SS1.SSS1.p2.2.m2.5.5.3.3.3.3.3.cmml" xref="S2.SS1.SSS1.p2.2.m2.5.5.3.3.3.3.3">data</mtext></ci></apply></apply></apply><apply id="S2.SS1.SSS1.p2.2.m2.5.5.3.1.2.cmml" xref="S2.SS1.SSS1.p2.2.m2.5.5.3.1.1"><csymbol cd="latexml" id="S2.SS1.SSS1.p2.2.m2.5.5.3.1.2.1.cmml" xref="S2.SS1.SSS1.p2.2.m2.5.5.3.1.1.2">delimited-[]</csymbol><apply id="S2.SS1.SSS1.p2.2.m2.5.5.3.1.1.1.cmml" xref="S2.SS1.SSS1.p2.2.m2.5.5.3.1.1.1"><csymbol cd="ambiguous" id="S2.SS1.SSS1.p2.2.m2.5.5.3.1.1.1.2.cmml" xref="S2.SS1.SSS1.p2.2.m2.5.5.3.1.1.1">superscript</csymbol><apply id="S2.SS1.SSS1.p2.2.m2.5.5.3.1.1.1.1.1.1.cmml" xref="S2.SS1.SSS1.p2.2.m2.5.5.3.1.1.1.1.1"><minus id="S2.SS1.SSS1.p2.2.m2.5.5.3.1.1.1.1.1.1.1.cmml" xref="S2.SS1.SSS1.p2.2.m2.5.5.3.1.1.1.1.1.1.1"></minus><apply id="S2.SS1.SSS1.p2.2.m2.5.5.3.1.1.1.1.1.1.2.cmml" xref="S2.SS1.SSS1.p2.2.m2.5.5.3.1.1.1.1.1.1.2"><times id="S2.SS1.SSS1.p2.2.m2.5.5.3.1.1.1.1.1.1.2.1.cmml" xref="S2.SS1.SSS1.p2.2.m2.5.5.3.1.1.1.1.1.1.2.1"></times><apply id="S2.SS1.SSS1.p2.2.m2.5.5.3.1.1.1.1.1.1.2.2.cmml" xref="S2.SS1.SSS1.p2.2.m2.5.5.3.1.1.1.1.1.1.2.2"><divide id="S2.SS1.SSS1.p2.2.m2.5.5.3.1.1.1.1.1.1.2.2.1.cmml" xref="S2.SS1.SSS1.p2.2.m2.5.5.3.1.1.1.1.1.1.2.2.1"></divide><apply id="S2.SS1.SSS1.p2.2.m2.5.5.3.1.1.1.1.1.1.2.2.2.cmml" xref="S2.SS1.SSS1.p2.2.m2.5.5.3.1.1.1.1.1.1.2.2.2"><times id="S2.SS1.SSS1.p2.2.m2.5.5.3.1.1.1.1.1.1.2.2.2.1.cmml" xref="S2.SS1.SSS1.p2.2.m2.5.5.3.1.1.1.1.1.1.2.2.2.1"></times><apply id="S2.SS1.SSS1.p2.2.m2.5.5.3.1.1.1.1.1.1.2.2.2.2.cmml" xref="S2.SS1.SSS1.p2.2.m2.5.5.3.1.1.1.1.1.1.2.2.2.2"><csymbol cd="ambiguous" id="S2.SS1.SSS1.p2.2.m2.5.5.3.1.1.1.1.1.1.2.2.2.2.1.cmml" xref="S2.SS1.SSS1.p2.2.m2.5.5.3.1.1.1.1.1.1.2.2.2.2">subscript</csymbol><ci id="S2.SS1.SSS1.p2.2.m2.5.5.3.1.1.1.1.1.1.2.2.2.2.2.cmml" xref="S2.SS1.SSS1.p2.2.m2.5.5.3.1.1.1.1.1.1.2.2.2.2.2">𝑃</ci><ci id="S2.SS1.SSS1.p2.2.m2.5.5.3.1.1.1.1.1.1.2.2.2.2.3.cmml" xref="S2.SS1.SSS1.p2.2.m2.5.5.3.1.1.1.1.1.1.2.2.2.2.3">𝜃</ci></apply><ci id="S2.SS1.SSS1.p2.2.m2.1.1.cmml" xref="S2.SS1.SSS1.p2.2.m2.1.1">𝑥</ci></apply><apply id="S2.SS1.SSS1.p2.2.m2.5.5.3.1.1.1.1.1.1.2.2.3.cmml" xref="S2.SS1.SSS1.p2.2.m2.5.5.3.1.1.1.1.1.1.2.2.3"><csymbol cd="ambiguous" id="S2.SS1.SSS1.p2.2.m2.5.5.3.1.1.1.1.1.1.2.2.3.1.cmml" xref="S2.SS1.SSS1.p2.2.m2.5.5.3.1.1.1.1.1.1.2.2.3">subscript</csymbol><ci id="S2.SS1.SSS1.p2.2.m2.5.5.3.1.1.1.1.1.1.2.2.3.2.cmml" xref="S2.SS1.SSS1.p2.2.m2.5.5.3.1.1.1.1.1.1.2.2.3.2">𝑃</ci><ci id="S2.SS1.SSS1.p2.2.m2.5.5.3.1.1.1.1.1.1.2.2.3.3a.cmml" xref="S2.SS1.SSS1.p2.2.m2.5.5.3.1.1.1.1.1.1.2.2.3.3"><mtext mathsize="70%" id="S2.SS1.SSS1.p2.2.m2.5.5.3.1.1.1.1.1.1.2.2.3.3.cmml" xref="S2.SS1.SSS1.p2.2.m2.5.5.3.1.1.1.1.1.1.2.2.3.3">data</mtext></ci></apply></apply><ci id="S2.SS1.SSS1.p2.2.m2.2.2.cmml" xref="S2.SS1.SSS1.p2.2.m2.2.2">𝑥</ci></apply><cn type="integer" id="S2.SS1.SSS1.p2.2.m2.5.5.3.1.1.1.1.1.1.3.cmml" xref="S2.SS1.SSS1.p2.2.m2.5.5.3.1.1.1.1.1.1.3">1</cn></apply><cn type="integer" id="S2.SS1.SSS1.p2.2.m2.5.5.3.1.1.1.3.cmml" xref="S2.SS1.SSS1.p2.2.m2.5.5.3.1.1.1.3">2</cn></apply></apply></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="S2.SS1.SSS1.p2.2.m2.5c">D_{\chi^{2}}(P_{\theta},P_{\text{data}})=\mathbb{E}_{x\sim P_{\text{data}}}\left[(P_{\theta}(x)/P_{\text{data}}(x)-1)^{2}\right]</annotation></semantics></math>. Indeed we see in figure <a href="#S1.F1" title="Figure 1 ‣ 1 Introduction ‣ SequenceMatch: Imitation Learning for Autoregressive Sequence Modelling with Backtracking" class="ltx_ref"><span class="ltx_text ltx_ref_tag">1</span></a> that the <math id="S2.SS1.SSS1.p2.3.m3.1" class="ltx_Math" alttext="\chi^{2}" display="inline"><semantics id="S2.SS1.SSS1.p2.3.m3.1a"><msup id="S2.SS1.SSS1.p2.3.m3.1.1" xref="S2.SS1.SSS1.p2.3.m3.1.1.cmml"><mi id="S2.SS1.SSS1.p2.3.m3.1.1.2" xref="S2.SS1.SSS1.p2.3.m3.1.1.2.cmml">χ</mi><mn id="S2.SS1.SSS1.p2.3.m3.1.1.3" xref="S2.SS1.SSS1.p2.3.m3.1.1.3.cmml">2</mn></msup><annotation-xml encoding="MathML-Content" id="S2.SS1.SSS1.p2.3.m3.1b"><apply id="S2.SS1.SSS1.p2.3.m3.1.1.cmml" xref="S2.SS1.SSS1.p2.3.m3.1.1"><csymbol cd="ambiguous" id="S2.SS1.SSS1.p2.3.m3.1.1.1.cmml" xref="S2.SS1.SSS1.p2.3.m3.1.1">superscript</csymbol><ci id="S2.SS1.SSS1.p2.3.m3.1.1.2.cmml" xref="S2.SS1.SSS1.p2.3.m3.1.1.2">𝜒</ci><cn type="integer" id="S2.SS1.SSS1.p2.3.m3.1.1.3.cmml" xref="S2.SS1.SSS1.p2.3.m3.1.1.3">2</cn></apply></annotation-xml><annotation encoding="application/x-tex" id="S2.SS1.SSS1.p2.3.m3.1c">\chi^{2}</annotation></semantics></math>-divergence in this case is equal to the squared probability of staying in the data distribution of sequences. We can further penalize out-of-distribution behavior by considering the divergence between mixtures <math id="S2.SS1.SSS1.p2.4.m4.2" class="ltx_Math" alttext="D_{\chi^{2}}(P_{\theta},(P_{\text{data}}+P_{\theta})/2)" display="inline"><semantics id="S2.SS1.SSS1.p2.4.m4.2a"><mrow id="S2.SS1.SSS1.p2.4.m4.2.2" xref="S2.SS1.SSS1.p2.4.m4.2.2.cmml"><msub id="S2.SS1.SSS1.p2.4.m4.2.2.4" xref="S2.SS1.SSS1.p2.4.m4.2.2.4.cmml"><mi id="S2.SS1.SSS1.p2.4.m4.2.2.4.2" xref="S2.SS1.SSS1.p2.4.m4.2.2.4.2.cmml">D</mi><msup id="S2.SS1.SSS1.p2.4.m4.2.2.4.3" xref="S2.SS1.SSS1.p2.4.m4.2.2.4.3.cmml"><mi id="S2.SS1.SSS1.p2.4.m4.2.2.4.3.2" xref="S2.SS1.SSS1.p2.4.m4.2.2.4.3.2.cmml">χ</mi><mn id="S2.SS1.SSS1.p2.4.m4.2.2.4.3.3" xref="S2.SS1.SSS1.p2.4.m4.2.2.4.3.3.cmml">2</mn></msup></msub><mo lspace="0em" rspace="0em" id="S2.SS1.SSS1.p2.4.m4.2.2.3" xref="S2.SS1.SSS1.p2.4.m4.2.2.3.cmml">​</mo><mrow id="S2.SS1.SSS1.p2.4.m4.2.2.2.2" xref="S2.SS1.SSS1.p2.4.m4.2.2.2.3.cmml"><mo stretchy="false" id="S2.SS1.SSS1.p2.4.m4.2.2.2.2.3" xref="S2.SS1.SSS1.p2.4.m4.2.2.2.3.cmml">(</mo><msub id="S2.SS1.SSS1.p2.4.m4.1.1.1.1.1" xref="S2.SS1.SSS1.p2.4.m4.1.1.1.1.1.cmml"><mi id="S2.SS1.SSS1.p2.4.m4.1.1.1.1.1.2" xref="S2.SS1.SSS1.p2.4.m4.1.1.1.1.1.2.cmml">P</mi><mi id="S2.SS1.SSS1.p2.4.m4.1.1.1.1.1.3" xref="S2.SS1.SSS1.p2.4.m4.1.1.1.1.1.3.cmml">θ</mi></msub><mo id="S2.SS1.SSS1.p2.4.m4.2.2.2.2.4" xref="S2.SS1.SSS1.p2.4.m4.2.2.2.3.cmml">,</mo><mrow id="S2.SS1.SSS1.p2.4.m4.2.2.2.2.2" xref="S2.SS1.SSS1.p2.4.m4.2.2.2.2.2.cmml"><mrow id="S2.SS1.SSS1.p2.4.m4.2.2.2.2.2.1.1" xref="S2.SS1.SSS1.p2.4.m4.2.2.2.2.2.1.1.1.cmml"><mo stretchy="false" id="S2.SS1.SSS1.p2.4.m4.2.2.2.2.2.1.1.2" xref="S2.SS1.SSS1.p2.4.m4.2.2.2.2.2.1.1.1.cmml">(</mo><mrow id="S2.SS1.SSS1.p2.4.m4.2.2.2.2.2.1.1.1" xref="S2.SS1.SSS1.p2.4.m4.2.2.2.2.2.1.1.1.cmml"><msub id="S2.SS1.SSS1.p2.4.m4.2.2.2.2.2.1.1.1.2" xref="S2.SS1.SSS1.p2.4.m4.2.2.2.2.2.1.1.1.2.cmml"><mi id="S2.SS1.SSS1.p2.4.m4.2.2.2.2.2.1.1.1.2.2" xref="S2.SS1.SSS1.p2.4.m4.2.2.2.2.2.1.1.1.2.2.cmml">P</mi><mtext id="S2.SS1.SSS1.p2.4.m4.2.2.2.2.2.1.1.1.2.3" xref="S2.SS1.SSS1.p2.4.m4.2.2.2.2.2.1.1.1.2.3a.cmml">data</mtext></msub><mo id="S2.SS1.SSS1.p2.4.m4.2.2.2.2.2.1.1.1.1" xref="S2.SS1.SSS1.p2.4.m4.2.2.2.2.2.1.1.1.1.cmml">+</mo><msub id="S2.SS1.SSS1.p2.4.m4.2.2.2.2.2.1.1.1.3" xref="S2.SS1.SSS1.p2.4.m4.2.2.2.2.2.1.1.1.3.cmml"><mi id="S2.SS1.SSS1.p2.4.m4.2.2.2.2.2.1.1.1.3.2" xref="S2.SS1.SSS1.p2.4.m4.2.2.2.2.2.1.1.1.3.2.cmml">P</mi><mi id="S2.SS1.SSS1.p2.4.m4.2.2.2.2.2.1.1.1.3.3" xref="S2.SS1.SSS1.p2.4.m4.2.2.2.2.2.1.1.1.3.3.cmml">θ</mi></msub></mrow><mo stretchy="false" id="S2.SS1.SSS1.p2.4.m4.2.2.2.2.2.1.1.3" xref="S2.SS1.SSS1.p2.4.m4.2.2.2.2.2.1.1.1.cmml">)</mo></mrow><mo id="S2.SS1.SSS1.p2.4.m4.2.2.2.2.2.2" xref="S2.SS1.SSS1.p2.4.m4.2.2.2.2.2.2.cmml">/</mo><mn id="S2.SS1.SSS1.p2.4.m4.2.2.2.2.2.3" xref="S2.SS1.SSS1.p2.4.m4.2.2.2.2.2.3.cmml">2</mn></mrow><mo stretchy="false" id="S2.SS1.SSS1.p2.4.m4.2.2.2.2.5" xref="S2.SS1.SSS1.p2.4.m4.2.2.2.3.cmml">)</mo></mrow></mrow><annotation-xml encoding="MathML-Content" id="S2.SS1.SSS1.p2.4.m4.2b"><apply id="S2.SS1.SSS1.p2.4.m4.2.2.cmml" xref="S2.SS1.SSS1.p2.4.m4.2.2"><times id="S2.SS1.SSS1.p2.4.m4.2.2.3.cmml" xref="S2.SS1.SSS1.p2.4.m4.2.2.3"></times><apply id="S2.SS1.SSS1.p2.4.m4.2.2.4.cmml" xref="S2.SS1.SSS1.p2.4.m4.2.2.4"><csymbol cd="ambiguous" id="S2.SS1.SSS1.p2.4.m4.2.2.4.1.cmml" xref="S2.SS1.SSS1.p2.4.m4.2.2.4">subscript</csymbol><ci id="S2.SS1.SSS1.p2.4.m4.2.2.4.2.cmml" xref="S2.SS1.SSS1.p2.4.m4.2.2.4.2">𝐷</ci><apply id="S2.SS1.SSS1.p2.4.m4.2.2.4.3.cmml" xref="S2.SS1.SSS1.p2.4.m4.2.2.4.3"><csymbol cd="ambiguous" id="S2.SS1.SSS1.p2.4.m4.2.2.4.3.1.cmml" xref="S2.SS1.SSS1.p2.4.m4.2.2.4.3">superscript</csymbol><ci id="S2.SS1.SSS1.p2.4.m4.2.2.4.3.2.cmml" xref="S2.SS1.SSS1.p2.4.m4.2.2.4.3.2">𝜒</ci><cn type="integer" id="S2.SS1.SSS1.p2.4.m4.2.2.4.3.3.cmml" xref="S2.SS1.SSS1.p2.4.m4.2.2.4.3.3">2</cn></apply></apply><interval closure="open" id="S2.SS1.SSS1.p2.4.m4.2.2.2.3.cmml" xref="S2.SS1.SSS1.p2.4.m4.2.2.2.2"><apply id="S2.SS1.SSS1.p2.4.m4.1.1.1.1.1.cmml" xref="S2.SS1.SSS1.p2.4.m4.1.1.1.1.1"><csymbol cd="ambiguous" id="S2.SS1.SSS1.p2.4.m4.1.1.1.1.1.1.cmml" xref="S2.SS1.SSS1.p2.4.m4.1.1.1.1.1">subscript</csymbol><ci id="S2.SS1.SSS1.p2.4.m4.1.1.1.1.1.2.cmml" xref="S2.SS1.SSS1.p2.4.m4.1.1.1.1.1.2">𝑃</ci><ci id="S2.SS1.SSS1.p2.4.m4.1.1.1.1.1.3.cmml" xref="S2.SS1.SSS1.p2.4.m4.1.1.1.1.1.3">𝜃</ci></apply><apply id="S2.SS1.SSS1.p2.4.m4.2.2.2.2.2.cmml" xref="S2.SS1.SSS1.p2.4.m4.2.2.2.2.2"><divide id="S2.SS1.SSS1.p2.4.m4.2.2.2.2.2.2.cmml" xref="S2.SS1.SSS1.p2.4.m4.2.2.2.2.2.2"></divide><apply id="S2.SS1.SSS1.p2.4.m4.2.2.2.2.2.1.1.1.cmml" xref="S2.SS1.SSS1.p2.4.m4.2.2.2.2.2.1.1"><plus id="S2.SS1.SSS1.p2.4.m4.2.2.2.2.2.1.1.1.1.cmml" xref="S2.SS1.SSS1.p2.4.m4.2.2.2.2.2.1.1.1.1"></plus><apply id="S2.SS1.SSS1.p2.4.m4.2.2.2.2.2.1.1.1.2.cmml" xref="S2.SS1.SSS1.p2.4.m4.2.2.2.2.2.1.1.1.2"><csymbol cd="ambiguous" id="S2.SS1.SSS1.p2.4.m4.2.2.2.2.2.1.1.1.2.1.cmml" xref="S2.SS1.SSS1.p2.4.m4.2.2.2.2.2.1.1.1.2">subscript</csymbol><ci id="S2.SS1.SSS1.p2.4.m4.2.2.2.2.2.1.1.1.2.2.cmml" xref="S2.SS1.SSS1.p2.4.m4.2.2.2.2.2.1.1.1.2.2">𝑃</ci><ci id="S2.SS1.SSS1.p2.4.m4.2.2.2.2.2.1.1.1.2.3a.cmml" xref="S2.SS1.SSS1.p2.4.m4.2.2.2.2.2.1.1.1.2.3"><mtext mathsize="70%" id="S2.SS1.SSS1.p2.4.m4.2.2.2.2.2.1.1.1.2.3.cmml" xref="S2.SS1.SSS1.p2.4.m4.2.2.2.2.2.1.1.1.2.3">data</mtext></ci></apply><apply id="S2.SS1.SSS1.p2.4.m4.2.2.2.2.2.1.1.1.3.cmml" xref="S2.SS1.SSS1.p2.4.m4.2.2.2.2.2.1.1.1.3"><csymbol cd="ambiguous" id="S2.SS1.SSS1.p2.4.m4.2.2.2.2.2.1.1.1.3.1.cmml" xref="S2.SS1.SSS1.p2.4.m4.2.2.2.2.2.1.1.1.3">subscript</csymbol><ci id="S2.SS1.SSS1.p2.4.m4.2.2.2.2.2.1.1.1.3.2.cmml" xref="S2.SS1.SSS1.p2.4.m4.2.2.2.2.2.1.1.1.3.2">𝑃</ci><ci id="S2.SS1.SSS1.p2.4.m4.2.2.2.2.2.1.1.1.3.3.cmml" xref="S2.SS1.SSS1.p2.4.m4.2.2.2.2.2.1.1.1.3.3">𝜃</ci></apply></apply><cn type="integer" id="S2.SS1.SSS1.p2.4.m4.2.2.2.2.2.3.cmml" xref="S2.SS1.SSS1.p2.4.m4.2.2.2.2.2.3">2</cn></apply></interval></apply></annotation-xml><annotation encoding="application/x-tex" id="S2.SS1.SSS1.p2.4.m4.2c">D_{\chi^{2}}(P_{\theta},(P_{\text{data}}+P_{\theta})/2)</annotation></semantics></math>, as we do in our practical algorithm.
However, it is generally difficult in practice to compute any divergence involving the density of the data, which must be substituted for with an approximation from a discriminator.</p>
</div>
<div id="S2.SS1.SSS1.p3" class="ltx_para">
<p id="S2.SS1.SSS1.p3.1" class="ltx_p">In the field of reinforcement learning, several methods have been discovered which can minimize divergences such as Wasserstein and JS between the distribution of trajectories from an expert and a learned policy.
The approaches are non-adversarial, even though the expert density is not known <cite class="ltx_cite ltx_citemacro_cite">[<a href="#bib.bib11" title="" class="ltx_ref">11</a>, <a href="#bib.bib32" title="" class="ltx_ref">32</a>, <a href="#bib.bib4" title="" class="ltx_ref">4</a>, <a href="#bib.bib1" title="" class="ltx_ref">1</a>]</cite>. A key feature of these methods is that they operate on <em id="S2.SS1.SSS1.p3.1.1" class="ltx_emph ltx_font_italic">occupancy measures</em> instead of joint distributions, a concept which we introduce in the next section <a href="#S3" title="3 Method ‣ SequenceMatch: Imitation Learning for Autoregressive Sequence Modelling with Backtracking" class="ltx_ref"><span class="ltx_text ltx_ref_tag">3</span></a>.</p>
</div>
</section>
</section>
</section>
<section id="S3" class="ltx_section">
<h2 class="ltx_title ltx_title_section">
<span class="ltx_tag ltx_tag_section">3 </span>Method</h2>

<section id="S3.SS1" class="ltx_subsection">
<h3 class="ltx_title ltx_title_subsection">
<span class="ltx_tag ltx_tag_subsection">3.1 </span>Sequence Modelling as a Markov Decision Process</h3>

<div id="S3.SS1.p1" class="ltx_para">
<p id="S3.SS1.p1.12" class="ltx_p">We consider a sequence model represented as a Markov decision process (MDP), defined by a tuple (<math id="S3.SS1.p1.1.m1.5" class="ltx_math_unparsed" alttext="\mathcal{S},\mathcal{A},\mathcal{P},r,\gamma)" display="inline"><semantics id="S3.SS1.p1.1.m1.5a"><mrow id="S3.SS1.p1.1.m1.5b"><mi class="ltx_font_mathcaligraphic" id="S3.SS1.p1.1.m1.1.1">𝒮</mi><mo id="S3.SS1.p1.1.m1.5.6">,</mo><mi class="ltx_font_mathcaligraphic" id="S3.SS1.p1.1.m1.2.2">𝒜</mi><mo id="S3.SS1.p1.1.m1.5.7">,</mo><mi class="ltx_font_mathcaligraphic" id="S3.SS1.p1.1.m1.3.3">𝒫</mi><mo id="S3.SS1.p1.1.m1.5.8">,</mo><mi id="S3.SS1.p1.1.m1.4.4">r</mi><mo id="S3.SS1.p1.1.m1.5.9">,</mo><mi id="S3.SS1.p1.1.m1.5.5">γ</mi><mo stretchy="false" id="S3.SS1.p1.1.m1.5.10">)</mo></mrow><annotation encoding="application/x-tex" id="S3.SS1.p1.1.m1.5c">\mathcal{S},\mathcal{A},\mathcal{P},r,\gamma)</annotation></semantics></math>. <math id="S3.SS1.p1.2.m2.2" class="ltx_Math" alttext="\mathcal{S},\mathcal{A}" display="inline"><semantics id="S3.SS1.p1.2.m2.2a"><mrow id="S3.SS1.p1.2.m2.2.3.2" xref="S3.SS1.p1.2.m2.2.3.1.cmml"><mi class="ltx_font_mathcaligraphic" id="S3.SS1.p1.2.m2.1.1" xref="S3.SS1.p1.2.m2.1.1.cmml">𝒮</mi><mo id="S3.SS1.p1.2.m2.2.3.2.1" xref="S3.SS1.p1.2.m2.2.3.1.cmml">,</mo><mi class="ltx_font_mathcaligraphic" id="S3.SS1.p1.2.m2.2.2" xref="S3.SS1.p1.2.m2.2.2.cmml">𝒜</mi></mrow><annotation-xml encoding="MathML-Content" id="S3.SS1.p1.2.m2.2b"><list id="S3.SS1.p1.2.m2.2.3.1.cmml" xref="S3.SS1.p1.2.m2.2.3.2"><ci id="S3.SS1.p1.2.m2.1.1.cmml" xref="S3.SS1.p1.2.m2.1.1">𝒮</ci><ci id="S3.SS1.p1.2.m2.2.2.cmml" xref="S3.SS1.p1.2.m2.2.2">𝒜</ci></list></annotation-xml><annotation encoding="application/x-tex" id="S3.SS1.p1.2.m2.2c">\mathcal{S},\mathcal{A}</annotation></semantics></math> represent state and action spaces, <math id="S3.SS1.p1.3.m3.3" class="ltx_Math" alttext="\mathcal{P}(s^{\prime}|s,a)" display="inline"><semantics id="S3.SS1.p1.3.m3.3a"><mrow id="S3.SS1.p1.3.m3.3.3" xref="S3.SS1.p1.3.m3.3.3.cmml"><mi class="ltx_font_mathcaligraphic" id="S3.SS1.p1.3.m3.3.3.3" xref="S3.SS1.p1.3.m3.3.3.3.cmml">𝒫</mi><mo lspace="0em" rspace="0em" id="S3.SS1.p1.3.m3.3.3.2" xref="S3.SS1.p1.3.m3.3.3.2.cmml">​</mo><mrow id="S3.SS1.p1.3.m3.3.3.1.1" xref="S3.SS1.p1.3.m3.3.3.1.1.1.cmml"><mo stretchy="false" id="S3.SS1.p1.3.m3.3.3.1.1.2" xref="S3.SS1.p1.3.m3.3.3.1.1.1.cmml">(</mo><mrow id="S3.SS1.p1.3.m3.3.3.1.1.1" xref="S3.SS1.p1.3.m3.3.3.1.1.1.cmml"><msup id="S3.SS1.p1.3.m3.3.3.1.1.1.2" xref="S3.SS1.p1.3.m3.3.3.1.1.1.2.cmml"><mi id="S3.SS1.p1.3.m3.3.3.1.1.1.2.2" xref="S3.SS1.p1.3.m3.3.3.1.1.1.2.2.cmml">s</mi><mo id="S3.SS1.p1.3.m3.3.3.1.1.1.2.3" xref="S3.SS1.p1.3.m3.3.3.1.1.1.2.3.cmml">′</mo></msup><mo fence="false" id="S3.SS1.p1.3.m3.3.3.1.1.1.1" xref="S3.SS1.p1.3.m3.3.3.1.1.1.1.cmml">|</mo><mrow id="S3.SS1.p1.3.m3.3.3.1.1.1.3.2" xref="S3.SS1.p1.3.m3.3.3.1.1.1.3.1.cmml"><mi id="S3.SS1.p1.3.m3.1.1" xref="S3.SS1.p1.3.m3.1.1.cmml">s</mi><mo id="S3.SS1.p1.3.m3.3.3.1.1.1.3.2.1" xref="S3.SS1.p1.3.m3.3.3.1.1.1.3.1.cmml">,</mo><mi id="S3.SS1.p1.3.m3.2.2" xref="S3.SS1.p1.3.m3.2.2.cmml">a</mi></mrow></mrow><mo stretchy="false" id="S3.SS1.p1.3.m3.3.3.1.1.3" xref="S3.SS1.p1.3.m3.3.3.1.1.1.cmml">)</mo></mrow></mrow><annotation-xml encoding="MathML-Content" id="S3.SS1.p1.3.m3.3b"><apply id="S3.SS1.p1.3.m3.3.3.cmml" xref="S3.SS1.p1.3.m3.3.3"><times id="S3.SS1.p1.3.m3.3.3.2.cmml" xref="S3.SS1.p1.3.m3.3.3.2"></times><ci id="S3.SS1.p1.3.m3.3.3.3.cmml" xref="S3.SS1.p1.3.m3.3.3.3">𝒫</ci><apply id="S3.SS1.p1.3.m3.3.3.1.1.1.cmml" xref="S3.SS1.p1.3.m3.3.3.1.1"><csymbol cd="latexml" id="S3.SS1.p1.3.m3.3.3.1.1.1.1.cmml" xref="S3.SS1.p1.3.m3.3.3.1.1.1.1">conditional</csymbol><apply id="S3.SS1.p1.3.m3.3.3.1.1.1.2.cmml" xref="S3.SS1.p1.3.m3.3.3.1.1.1.2"><csymbol cd="ambiguous" id="S3.SS1.p1.3.m3.3.3.1.1.1.2.1.cmml" xref="S3.SS1.p1.3.m3.3.3.1.1.1.2">superscript</csymbol><ci id="S3.SS1.p1.3.m3.3.3.1.1.1.2.2.cmml" xref="S3.SS1.p1.3.m3.3.3.1.1.1.2.2">𝑠</ci><ci id="S3.SS1.p1.3.m3.3.3.1.1.1.2.3.cmml" xref="S3.SS1.p1.3.m3.3.3.1.1.1.2.3">′</ci></apply><list id="S3.SS1.p1.3.m3.3.3.1.1.1.3.1.cmml" xref="S3.SS1.p1.3.m3.3.3.1.1.1.3.2"><ci id="S3.SS1.p1.3.m3.1.1.cmml" xref="S3.SS1.p1.3.m3.1.1">𝑠</ci><ci id="S3.SS1.p1.3.m3.2.2.cmml" xref="S3.SS1.p1.3.m3.2.2">𝑎</ci></list></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="S3.SS1.p1.3.m3.3c">\mathcal{P}(s^{\prime}|s,a)</annotation></semantics></math> represents the dynamics, <math id="S3.SS1.p1.4.m4.2" class="ltx_Math" alttext="r(s,a)" display="inline"><semantics id="S3.SS1.p1.4.m4.2a"><mrow id="S3.SS1.p1.4.m4.2.3" xref="S3.SS1.p1.4.m4.2.3.cmml"><mi id="S3.SS1.p1.4.m4.2.3.2" xref="S3.SS1.p1.4.m4.2.3.2.cmml">r</mi><mo lspace="0em" rspace="0em" id="S3.SS1.p1.4.m4.2.3.1" xref="S3.SS1.p1.4.m4.2.3.1.cmml">​</mo><mrow id="S3.SS1.p1.4.m4.2.3.3.2" xref="S3.SS1.p1.4.m4.2.3.3.1.cmml"><mo stretchy="false" id="S3.SS1.p1.4.m4.2.3.3.2.1" xref="S3.SS1.p1.4.m4.2.3.3.1.cmml">(</mo><mi id="S3.SS1.p1.4.m4.1.1" xref="S3.SS1.p1.4.m4.1.1.cmml">s</mi><mo id="S3.SS1.p1.4.m4.2.3.3.2.2" xref="S3.SS1.p1.4.m4.2.3.3.1.cmml">,</mo><mi id="S3.SS1.p1.4.m4.2.2" xref="S3.SS1.p1.4.m4.2.2.cmml">a</mi><mo stretchy="false" id="S3.SS1.p1.4.m4.2.3.3.2.3" xref="S3.SS1.p1.4.m4.2.3.3.1.cmml">)</mo></mrow></mrow><annotation-xml encoding="MathML-Content" id="S3.SS1.p1.4.m4.2b"><apply id="S3.SS1.p1.4.m4.2.3.cmml" xref="S3.SS1.p1.4.m4.2.3"><times id="S3.SS1.p1.4.m4.2.3.1.cmml" xref="S3.SS1.p1.4.m4.2.3.1"></times><ci id="S3.SS1.p1.4.m4.2.3.2.cmml" xref="S3.SS1.p1.4.m4.2.3.2">𝑟</ci><interval closure="open" id="S3.SS1.p1.4.m4.2.3.3.1.cmml" xref="S3.SS1.p1.4.m4.2.3.3.2"><ci id="S3.SS1.p1.4.m4.1.1.cmml" xref="S3.SS1.p1.4.m4.1.1">𝑠</ci><ci id="S3.SS1.p1.4.m4.2.2.cmml" xref="S3.SS1.p1.4.m4.2.2">𝑎</ci></interval></apply></annotation-xml><annotation encoding="application/x-tex" id="S3.SS1.p1.4.m4.2c">r(s,a)</annotation></semantics></math> represents the reward function, and <math id="S3.SS1.p1.5.m5.2" class="ltx_Math" alttext="\gamma\in(0,1)" display="inline"><semantics id="S3.SS1.p1.5.m5.2a"><mrow id="S3.SS1.p1.5.m5.2.3" xref="S3.SS1.p1.5.m5.2.3.cmml"><mi id="S3.SS1.p1.5.m5.2.3.2" xref="S3.SS1.p1.5.m5.2.3.2.cmml">γ</mi><mo id="S3.SS1.p1.5.m5.2.3.1" xref="S3.SS1.p1.5.m5.2.3.1.cmml">∈</mo><mrow id="S3.SS1.p1.5.m5.2.3.3.2" xref="S3.SS1.p1.5.m5.2.3.3.1.cmml"><mo stretchy="false" id="S3.SS1.p1.5.m5.2.3.3.2.1" xref="S3.SS1.p1.5.m5.2.3.3.1.cmml">(</mo><mn id="S3.SS1.p1.5.m5.1.1" xref="S3.SS1.p1.5.m5.1.1.cmml">0</mn><mo id="S3.SS1.p1.5.m5.2.3.3.2.2" xref="S3.SS1.p1.5.m5.2.3.3.1.cmml">,</mo><mn id="S3.SS1.p1.5.m5.2.2" xref="S3.SS1.p1.5.m5.2.2.cmml">1</mn><mo stretchy="false" id="S3.SS1.p1.5.m5.2.3.3.2.3" xref="S3.SS1.p1.5.m5.2.3.3.1.cmml">)</mo></mrow></mrow><annotation-xml encoding="MathML-Content" id="S3.SS1.p1.5.m5.2b"><apply id="S3.SS1.p1.5.m5.2.3.cmml" xref="S3.SS1.p1.5.m5.2.3"><in id="S3.SS1.p1.5.m5.2.3.1.cmml" xref="S3.SS1.p1.5.m5.2.3.1"></in><ci id="S3.SS1.p1.5.m5.2.3.2.cmml" xref="S3.SS1.p1.5.m5.2.3.2">𝛾</ci><interval closure="open" id="S3.SS1.p1.5.m5.2.3.3.1.cmml" xref="S3.SS1.p1.5.m5.2.3.3.2"><cn type="integer" id="S3.SS1.p1.5.m5.1.1.cmml" xref="S3.SS1.p1.5.m5.1.1">0</cn><cn type="integer" id="S3.SS1.p1.5.m5.2.2.cmml" xref="S3.SS1.p1.5.m5.2.2">1</cn></interval></apply></annotation-xml><annotation encoding="application/x-tex" id="S3.SS1.p1.5.m5.2c">\gamma\in(0,1)</annotation></semantics></math> represents the discount factor. In our case, the state space <math id="S3.SS1.p1.6.m6.1" class="ltx_Math" alttext="\mathcal{S}" display="inline"><semantics id="S3.SS1.p1.6.m6.1a"><mi class="ltx_font_mathcaligraphic" id="S3.SS1.p1.6.m6.1.1" xref="S3.SS1.p1.6.m6.1.1.cmml">𝒮</mi><annotation-xml encoding="MathML-Content" id="S3.SS1.p1.6.m6.1b"><ci id="S3.SS1.p1.6.m6.1.1.cmml" xref="S3.SS1.p1.6.m6.1.1">𝒮</ci></annotation-xml><annotation encoding="application/x-tex" id="S3.SS1.p1.6.m6.1c">\mathcal{S}</annotation></semantics></math> is the set of all sequences (of all lengths) with elements in a finite set <math id="S3.SS1.p1.7.m7.1" class="ltx_Math" alttext="X" display="inline"><semantics id="S3.SS1.p1.7.m7.1a"><mi id="S3.SS1.p1.7.m7.1.1" xref="S3.SS1.p1.7.m7.1.1.cmml">X</mi><annotation-xml encoding="MathML-Content" id="S3.SS1.p1.7.m7.1b"><ci id="S3.SS1.p1.7.m7.1.1.cmml" xref="S3.SS1.p1.7.m7.1.1">𝑋</ci></annotation-xml><annotation encoding="application/x-tex" id="S3.SS1.p1.7.m7.1c">X</annotation></semantics></math> (the vocabulary plus a <span id="S3.SS1.p1.12.1" class="ltx_text ltx_font_typewriter">&lt;begin-sentence&gt;</span> token if not already present in the vocabulary). The set of actions <math id="S3.SS1.p1.8.m8.1" class="ltx_Math" alttext="\mathcal{A}" display="inline"><semantics id="S3.SS1.p1.8.m8.1a"><mi class="ltx_font_mathcaligraphic" id="S3.SS1.p1.8.m8.1.1" xref="S3.SS1.p1.8.m8.1.1.cmml">𝒜</mi><annotation-xml encoding="MathML-Content" id="S3.SS1.p1.8.m8.1b"><ci id="S3.SS1.p1.8.m8.1.1.cmml" xref="S3.SS1.p1.8.m8.1.1">𝒜</ci></annotation-xml><annotation encoding="application/x-tex" id="S3.SS1.p1.8.m8.1c">\mathcal{A}</annotation></semantics></math> is a finite set. For concreteness, we can assume that <math id="S3.SS1.p1.9.m9.1" class="ltx_Math" alttext="X\subseteq\mathcal{A}" display="inline"><semantics id="S3.SS1.p1.9.m9.1a"><mrow id="S3.SS1.p1.9.m9.1.1" xref="S3.SS1.p1.9.m9.1.1.cmml"><mi id="S3.SS1.p1.9.m9.1.1.2" xref="S3.SS1.p1.9.m9.1.1.2.cmml">X</mi><mo id="S3.SS1.p1.9.m9.1.1.1" xref="S3.SS1.p1.9.m9.1.1.1.cmml">⊆</mo><mi class="ltx_font_mathcaligraphic" id="S3.SS1.p1.9.m9.1.1.3" xref="S3.SS1.p1.9.m9.1.1.3.cmml">𝒜</mi></mrow><annotation-xml encoding="MathML-Content" id="S3.SS1.p1.9.m9.1b"><apply id="S3.SS1.p1.9.m9.1.1.cmml" xref="S3.SS1.p1.9.m9.1.1"><subset id="S3.SS1.p1.9.m9.1.1.1.cmml" xref="S3.SS1.p1.9.m9.1.1.1"></subset><ci id="S3.SS1.p1.9.m9.1.1.2.cmml" xref="S3.SS1.p1.9.m9.1.1.2">𝑋</ci><ci id="S3.SS1.p1.9.m9.1.1.3.cmml" xref="S3.SS1.p1.9.m9.1.1.3">𝒜</ci></apply></annotation-xml><annotation encoding="application/x-tex" id="S3.SS1.p1.9.m9.1c">X\subseteq\mathcal{A}</annotation></semantics></math> (i.e. we have an <span id="S3.SS1.p1.12.2" class="ltx_text ltx_font_typewriter">insert-token</span> action for each token), as well as additional editing actions (<span id="S3.SS1.p1.12.3" class="ltx_text ltx_font_typewriter">&lt;backspace&gt;</span>, etc). In our case, we will assume that the initial state is deterministically given by a special <span id="S3.SS1.p1.12.4" class="ltx_text ltx_font_typewriter">&lt;begin-sentence&gt;</span> token, while the dynamics for an <span id="S3.SS1.p1.12.5" class="ltx_text ltx_font_typewriter">insert-token</span> action in a state (sequence) <math id="S3.SS1.p1.10.m10.1" class="ltx_Math" alttext="s" display="inline"><semantics id="S3.SS1.p1.10.m10.1a"><mi id="S3.SS1.p1.10.m10.1.1" xref="S3.SS1.p1.10.m10.1.1.cmml">s</mi><annotation-xml encoding="MathML-Content" id="S3.SS1.p1.10.m10.1b"><ci id="S3.SS1.p1.10.m10.1.1.cmml" xref="S3.SS1.p1.10.m10.1.1">𝑠</ci></annotation-xml><annotation encoding="application/x-tex" id="S3.SS1.p1.10.m10.1c">s</annotation></semantics></math> leads deterministically to the sequence <math id="S3.SS1.p1.11.m11.1" class="ltx_Math" alttext="s^{\prime}" display="inline"><semantics id="S3.SS1.p1.11.m11.1a"><msup id="S3.SS1.p1.11.m11.1.1" xref="S3.SS1.p1.11.m11.1.1.cmml"><mi id="S3.SS1.p1.11.m11.1.1.2" xref="S3.SS1.p1.11.m11.1.1.2.cmml">s</mi><mo id="S3.SS1.p1.11.m11.1.1.3" xref="S3.SS1.p1.11.m11.1.1.3.cmml">′</mo></msup><annotation-xml encoding="MathML-Content" id="S3.SS1.p1.11.m11.1b"><apply id="S3.SS1.p1.11.m11.1.1.cmml" xref="S3.SS1.p1.11.m11.1.1"><csymbol cd="ambiguous" id="S3.SS1.p1.11.m11.1.1.1.cmml" xref="S3.SS1.p1.11.m11.1.1">superscript</csymbol><ci id="S3.SS1.p1.11.m11.1.1.2.cmml" xref="S3.SS1.p1.11.m11.1.1.2">𝑠</ci><ci id="S3.SS1.p1.11.m11.1.1.3.cmml" xref="S3.SS1.p1.11.m11.1.1.3">′</ci></apply></annotation-xml><annotation encoding="application/x-tex" id="S3.SS1.p1.11.m11.1c">s^{\prime}</annotation></semantics></math> consisting of <math id="S3.SS1.p1.12.m12.1" class="ltx_Math" alttext="s" display="inline"><semantics id="S3.SS1.p1.12.m12.1a"><mi id="S3.SS1.p1.12.m12.1.1" xref="S3.SS1.p1.12.m12.1.1.cmml">s</mi><annotation-xml encoding="MathML-Content" id="S3.SS1.p1.12.m12.1b"><ci id="S3.SS1.p1.12.m12.1.1.cmml" xref="S3.SS1.p1.12.m12.1.1">𝑠</ci></annotation-xml><annotation encoding="application/x-tex" id="S3.SS1.p1.12.m12.1c">s</annotation></semantics></math> with the given token appended to the end.</p>
</div>
<div id="S3.SS1.p2" class="ltx_para">
<p id="S3.SS1.p2.8" class="ltx_p">Combined with a policy <math id="S3.SS1.p2.1.m1.1" class="ltx_Math" alttext="p_{\theta}(a|s)" display="inline"><semantics id="S3.SS1.p2.1.m1.1a"><mrow id="S3.SS1.p2.1.m1.1.1" xref="S3.SS1.p2.1.m1.1.1.cmml"><msub id="S3.SS1.p2.1.m1.1.1.3" xref="S3.SS1.p2.1.m1.1.1.3.cmml"><mi id="S3.SS1.p2.1.m1.1.1.3.2" xref="S3.SS1.p2.1.m1.1.1.3.2.cmml">p</mi><mi id="S3.SS1.p2.1.m1.1.1.3.3" xref="S3.SS1.p2.1.m1.1.1.3.3.cmml">θ</mi></msub><mo lspace="0em" rspace="0em" id="S3.SS1.p2.1.m1.1.1.2" xref="S3.SS1.p2.1.m1.1.1.2.cmml">​</mo><mrow id="S3.SS1.p2.1.m1.1.1.1.1" xref="S3.SS1.p2.1.m1.1.1.1.1.1.cmml"><mo stretchy="false" id="S3.SS1.p2.1.m1.1.1.1.1.2" xref="S3.SS1.p2.1.m1.1.1.1.1.1.cmml">(</mo><mrow id="S3.SS1.p2.1.m1.1.1.1.1.1" xref="S3.SS1.p2.1.m1.1.1.1.1.1.cmml"><mi id="S3.SS1.p2.1.m1.1.1.1.1.1.2" xref="S3.SS1.p2.1.m1.1.1.1.1.1.2.cmml">a</mi><mo fence="false" id="S3.SS1.p2.1.m1.1.1.1.1.1.1" xref="S3.SS1.p2.1.m1.1.1.1.1.1.1.cmml">|</mo><mi id="S3.SS1.p2.1.m1.1.1.1.1.1.3" xref="S3.SS1.p2.1.m1.1.1.1.1.1.3.cmml">s</mi></mrow><mo stretchy="false" id="S3.SS1.p2.1.m1.1.1.1.1.3" xref="S3.SS1.p2.1.m1.1.1.1.1.1.cmml">)</mo></mrow></mrow><annotation-xml encoding="MathML-Content" id="S3.SS1.p2.1.m1.1b"><apply id="S3.SS1.p2.1.m1.1.1.cmml" xref="S3.SS1.p2.1.m1.1.1"><times id="S3.SS1.p2.1.m1.1.1.2.cmml" xref="S3.SS1.p2.1.m1.1.1.2"></times><apply id="S3.SS1.p2.1.m1.1.1.3.cmml" xref="S3.SS1.p2.1.m1.1.1.3"><csymbol cd="ambiguous" id="S3.SS1.p2.1.m1.1.1.3.1.cmml" xref="S3.SS1.p2.1.m1.1.1.3">subscript</csymbol><ci id="S3.SS1.p2.1.m1.1.1.3.2.cmml" xref="S3.SS1.p2.1.m1.1.1.3.2">𝑝</ci><ci id="S3.SS1.p2.1.m1.1.1.3.3.cmml" xref="S3.SS1.p2.1.m1.1.1.3.3">𝜃</ci></apply><apply id="S3.SS1.p2.1.m1.1.1.1.1.1.cmml" xref="S3.SS1.p2.1.m1.1.1.1.1"><csymbol cd="latexml" id="S3.SS1.p2.1.m1.1.1.1.1.1.1.cmml" xref="S3.SS1.p2.1.m1.1.1.1.1.1.1">conditional</csymbol><ci id="S3.SS1.p2.1.m1.1.1.1.1.1.2.cmml" xref="S3.SS1.p2.1.m1.1.1.1.1.1.2">𝑎</ci><ci id="S3.SS1.p2.1.m1.1.1.1.1.1.3.cmml" xref="S3.SS1.p2.1.m1.1.1.1.1.1.3">𝑠</ci></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="S3.SS1.p2.1.m1.1c">p_{\theta}(a|s)</annotation></semantics></math>, the MDP defines a distribution over (possibly infinite-length) sequences, following the generative process of sampling an action <math id="S3.SS1.p2.2.m2.1" class="ltx_math_unparsed" alttext="a\sim p_{\theta}(\cdot|s)" display="inline"><semantics id="S3.SS1.p2.2.m2.1a"><mrow id="S3.SS1.p2.2.m2.1b"><mi id="S3.SS1.p2.2.m2.1.1">a</mi><mo id="S3.SS1.p2.2.m2.1.2">∼</mo><msub id="S3.SS1.p2.2.m2.1.3"><mi id="S3.SS1.p2.2.m2.1.3.2">p</mi><mi id="S3.SS1.p2.2.m2.1.3.3">θ</mi></msub><mrow id="S3.SS1.p2.2.m2.1.4"><mo stretchy="false" id="S3.SS1.p2.2.m2.1.4.1">(</mo><mo lspace="0em" rspace="0em" id="S3.SS1.p2.2.m2.1.4.2">⋅</mo><mo fence="false" rspace="0.167em" stretchy="false" id="S3.SS1.p2.2.m2.1.4.3">|</mo><mi id="S3.SS1.p2.2.m2.1.4.4">s</mi><mo stretchy="false" id="S3.SS1.p2.2.m2.1.4.5">)</mo></mrow></mrow><annotation encoding="application/x-tex" id="S3.SS1.p2.2.m2.1c">a\sim p_{\theta}(\cdot|s)</annotation></semantics></math>, then sampling the next state <math id="S3.SS1.p2.3.m3.3" class="ltx_Math" alttext="s^{\prime}\sim\mathcal{P}(s^{\prime}|s,a)" display="inline"><semantics id="S3.SS1.p2.3.m3.3a"><mrow id="S3.SS1.p2.3.m3.3.3" xref="S3.SS1.p2.3.m3.3.3.cmml"><msup id="S3.SS1.p2.3.m3.3.3.3" xref="S3.SS1.p2.3.m3.3.3.3.cmml"><mi id="S3.SS1.p2.3.m3.3.3.3.2" xref="S3.SS1.p2.3.m3.3.3.3.2.cmml">s</mi><mo id="S3.SS1.p2.3.m3.3.3.3.3" xref="S3.SS1.p2.3.m3.3.3.3.3.cmml">′</mo></msup><mo id="S3.SS1.p2.3.m3.3.3.2" xref="S3.SS1.p2.3.m3.3.3.2.cmml">∼</mo><mrow id="S3.SS1.p2.3.m3.3.3.1" xref="S3.SS1.p2.3.m3.3.3.1.cmml"><mi class="ltx_font_mathcaligraphic" id="S3.SS1.p2.3.m3.3.3.1.3" xref="S3.SS1.p2.3.m3.3.3.1.3.cmml">𝒫</mi><mo lspace="0em" rspace="0em" id="S3.SS1.p2.3.m3.3.3.1.2" xref="S3.SS1.p2.3.m3.3.3.1.2.cmml">​</mo><mrow id="S3.SS1.p2.3.m3.3.3.1.1.1" xref="S3.SS1.p2.3.m3.3.3.1.1.1.1.cmml"><mo stretchy="false" id="S3.SS1.p2.3.m3.3.3.1.1.1.2" xref="S3.SS1.p2.3.m3.3.3.1.1.1.1.cmml">(</mo><mrow id="S3.SS1.p2.3.m3.3.3.1.1.1.1" xref="S3.SS1.p2.3.m3.3.3.1.1.1.1.cmml"><msup id="S3.SS1.p2.3.m3.3.3.1.1.1.1.2" xref="S3.SS1.p2.3.m3.3.3.1.1.1.1.2.cmml"><mi id="S3.SS1.p2.3.m3.3.3.1.1.1.1.2.2" xref="S3.SS1.p2.3.m3.3.3.1.1.1.1.2.2.cmml">s</mi><mo id="S3.SS1.p2.3.m3.3.3.1.1.1.1.2.3" xref="S3.SS1.p2.3.m3.3.3.1.1.1.1.2.3.cmml">′</mo></msup><mo fence="false" id="S3.SS1.p2.3.m3.3.3.1.1.1.1.1" xref="S3.SS1.p2.3.m3.3.3.1.1.1.1.1.cmml">|</mo><mrow id="S3.SS1.p2.3.m3.3.3.1.1.1.1.3.2" xref="S3.SS1.p2.3.m3.3.3.1.1.1.1.3.1.cmml"><mi id="S3.SS1.p2.3.m3.1.1" xref="S3.SS1.p2.3.m3.1.1.cmml">s</mi><mo id="S3.SS1.p2.3.m3.3.3.1.1.1.1.3.2.1" xref="S3.SS1.p2.3.m3.3.3.1.1.1.1.3.1.cmml">,</mo><mi id="S3.SS1.p2.3.m3.2.2" xref="S3.SS1.p2.3.m3.2.2.cmml">a</mi></mrow></mrow><mo stretchy="false" id="S3.SS1.p2.3.m3.3.3.1.1.1.3" xref="S3.SS1.p2.3.m3.3.3.1.1.1.1.cmml">)</mo></mrow></mrow></mrow><annotation-xml encoding="MathML-Content" id="S3.SS1.p2.3.m3.3b"><apply id="S3.SS1.p2.3.m3.3.3.cmml" xref="S3.SS1.p2.3.m3.3.3"><csymbol cd="latexml" id="S3.SS1.p2.3.m3.3.3.2.cmml" xref="S3.SS1.p2.3.m3.3.3.2">similar-to</csymbol><apply id="S3.SS1.p2.3.m3.3.3.3.cmml" xref="S3.SS1.p2.3.m3.3.3.3"><csymbol cd="ambiguous" id="S3.SS1.p2.3.m3.3.3.3.1.cmml" xref="S3.SS1.p2.3.m3.3.3.3">superscript</csymbol><ci id="S3.SS1.p2.3.m3.3.3.3.2.cmml" xref="S3.SS1.p2.3.m3.3.3.3.2">𝑠</ci><ci id="S3.SS1.p2.3.m3.3.3.3.3.cmml" xref="S3.SS1.p2.3.m3.3.3.3.3">′</ci></apply><apply id="S3.SS1.p2.3.m3.3.3.1.cmml" xref="S3.SS1.p2.3.m3.3.3.1"><times id="S3.SS1.p2.3.m3.3.3.1.2.cmml" xref="S3.SS1.p2.3.m3.3.3.1.2"></times><ci id="S3.SS1.p2.3.m3.3.3.1.3.cmml" xref="S3.SS1.p2.3.m3.3.3.1.3">𝒫</ci><apply id="S3.SS1.p2.3.m3.3.3.1.1.1.1.cmml" xref="S3.SS1.p2.3.m3.3.3.1.1.1"><csymbol cd="latexml" id="S3.SS1.p2.3.m3.3.3.1.1.1.1.1.cmml" xref="S3.SS1.p2.3.m3.3.3.1.1.1.1.1">conditional</csymbol><apply id="S3.SS1.p2.3.m3.3.3.1.1.1.1.2.cmml" xref="S3.SS1.p2.3.m3.3.3.1.1.1.1.2"><csymbol cd="ambiguous" id="S3.SS1.p2.3.m3.3.3.1.1.1.1.2.1.cmml" xref="S3.SS1.p2.3.m3.3.3.1.1.1.1.2">superscript</csymbol><ci id="S3.SS1.p2.3.m3.3.3.1.1.1.1.2.2.cmml" xref="S3.SS1.p2.3.m3.3.3.1.1.1.1.2.2">𝑠</ci><ci id="S3.SS1.p2.3.m3.3.3.1.1.1.1.2.3.cmml" xref="S3.SS1.p2.3.m3.3.3.1.1.1.1.2.3">′</ci></apply><list id="S3.SS1.p2.3.m3.3.3.1.1.1.1.3.1.cmml" xref="S3.SS1.p2.3.m3.3.3.1.1.1.1.3.2"><ci id="S3.SS1.p2.3.m3.1.1.cmml" xref="S3.SS1.p2.3.m3.1.1">𝑠</ci><ci id="S3.SS1.p2.3.m3.2.2.cmml" xref="S3.SS1.p2.3.m3.2.2">𝑎</ci></list></apply></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="S3.SS1.p2.3.m3.3c">s^{\prime}\sim\mathcal{P}(s^{\prime}|s,a)</annotation></semantics></math>, etc. Finally, we assume that a special end of sequence token <span id="S3.SS1.p2.8.1" class="ltx_text ltx_font_typewriter">&lt;end-of-sentence&gt;</span> induces a terminal state: in any state <math id="S3.SS1.p2.4.m4.1" class="ltx_Math" alttext="s" display="inline"><semantics id="S3.SS1.p2.4.m4.1a"><mi id="S3.SS1.p2.4.m4.1.1" xref="S3.SS1.p2.4.m4.1.1.cmml">s</mi><annotation-xml encoding="MathML-Content" id="S3.SS1.p2.4.m4.1b"><ci id="S3.SS1.p2.4.m4.1.1.cmml" xref="S3.SS1.p2.4.m4.1.1">𝑠</ci></annotation-xml><annotation encoding="application/x-tex" id="S3.SS1.p2.4.m4.1c">s</annotation></semantics></math> with <span id="S3.SS1.p2.8.2" class="ltx_text ltx_font_typewriter">&lt;end-of-sentence&gt;</span> as the final element, all actions cause a self-transition to <math id="S3.SS1.p2.5.m5.1" class="ltx_Math" alttext="s" display="inline"><semantics id="S3.SS1.p2.5.m5.1a"><mi id="S3.SS1.p2.5.m5.1.1" xref="S3.SS1.p2.5.m5.1.1.cmml">s</mi><annotation-xml encoding="MathML-Content" id="S3.SS1.p2.5.m5.1b"><ci id="S3.SS1.p2.5.m5.1.1.cmml" xref="S3.SS1.p2.5.m5.1.1">𝑠</ci></annotation-xml><annotation encoding="application/x-tex" id="S3.SS1.p2.5.m5.1c">s</annotation></semantics></math> with probability 1. We note that this probabilistic process reduces exactly to the autoregressive formulation of sequence modelling when the action set is the same as the vocabulary, but is different when editing actions are introduced. We incorporate a single editing action, <span id="S3.SS1.p2.8.3" class="ltx_text ltx_font_typewriter">&lt;backspace&gt;</span>. A backspace action in a state <math id="S3.SS1.p2.6.m6.1" class="ltx_Math" alttext="s" display="inline"><semantics id="S3.SS1.p2.6.m6.1a"><mi id="S3.SS1.p2.6.m6.1.1" xref="S3.SS1.p2.6.m6.1.1.cmml">s</mi><annotation-xml encoding="MathML-Content" id="S3.SS1.p2.6.m6.1b"><ci id="S3.SS1.p2.6.m6.1.1.cmml" xref="S3.SS1.p2.6.m6.1.1">𝑠</ci></annotation-xml><annotation encoding="application/x-tex" id="S3.SS1.p2.6.m6.1c">s</annotation></semantics></math> deterministically transitions to a state <math id="S3.SS1.p2.7.m7.1" class="ltx_Math" alttext="s^{\prime}" display="inline"><semantics id="S3.SS1.p2.7.m7.1a"><msup id="S3.SS1.p2.7.m7.1.1" xref="S3.SS1.p2.7.m7.1.1.cmml"><mi id="S3.SS1.p2.7.m7.1.1.2" xref="S3.SS1.p2.7.m7.1.1.2.cmml">s</mi><mo id="S3.SS1.p2.7.m7.1.1.3" xref="S3.SS1.p2.7.m7.1.1.3.cmml">′</mo></msup><annotation-xml encoding="MathML-Content" id="S3.SS1.p2.7.m7.1b"><apply id="S3.SS1.p2.7.m7.1.1.cmml" xref="S3.SS1.p2.7.m7.1.1"><csymbol cd="ambiguous" id="S3.SS1.p2.7.m7.1.1.1.cmml" xref="S3.SS1.p2.7.m7.1.1">superscript</csymbol><ci id="S3.SS1.p2.7.m7.1.1.2.cmml" xref="S3.SS1.p2.7.m7.1.1.2">𝑠</ci><ci id="S3.SS1.p2.7.m7.1.1.3.cmml" xref="S3.SS1.p2.7.m7.1.1.3">′</ci></apply></annotation-xml><annotation encoding="application/x-tex" id="S3.SS1.p2.7.m7.1c">s^{\prime}</annotation></semantics></math> with the final token in the sequence <math id="S3.SS1.p2.8.m8.1" class="ltx_Math" alttext="s" display="inline"><semantics id="S3.SS1.p2.8.m8.1a"><mi id="S3.SS1.p2.8.m8.1.1" xref="S3.SS1.p2.8.m8.1.1.cmml">s</mi><annotation-xml encoding="MathML-Content" id="S3.SS1.p2.8.m8.1b"><ci id="S3.SS1.p2.8.m8.1.1.cmml" xref="S3.SS1.p2.8.m8.1.1">𝑠</ci></annotation-xml><annotation encoding="application/x-tex" id="S3.SS1.p2.8.m8.1c">s</annotation></semantics></math> removed.<span id="footnote2" class="ltx_note ltx_role_footnote"><sup class="ltx_note_mark">2</sup><span class="ltx_note_outer"><span class="ltx_note_content"><sup class="ltx_note_mark">2</sup><span class="ltx_tag ltx_tag_note">2</span>In the case of <math id="footnote2.m1.1" class="ltx_Math" alttext="s" display="inline"><semantics id="footnote2.m1.1b"><mi id="footnote2.m1.1.1" xref="footnote2.m1.1.1.cmml">s</mi><annotation-xml encoding="MathML-Content" id="footnote2.m1.1c"><ci id="footnote2.m1.1.1.cmml" xref="footnote2.m1.1.1">𝑠</ci></annotation-xml><annotation encoding="application/x-tex" id="footnote2.m1.1d">s</annotation></semantics></math> = <span id="footnote2.1" class="ltx_text ltx_font_typewriter">&lt;begin-sentence&gt;</span> and <span id="footnote2.2" class="ltx_text ltx_font_typewriter">&lt;backspace&gt;</span> is used, <math id="footnote2.m2.1" class="ltx_Math" alttext="s^{\prime}" display="inline"><semantics id="footnote2.m2.1b"><msup id="footnote2.m2.1.1" xref="footnote2.m2.1.1.cmml"><mi id="footnote2.m2.1.1.2" xref="footnote2.m2.1.1.2.cmml">s</mi><mo id="footnote2.m2.1.1.3" xref="footnote2.m2.1.1.3.cmml">′</mo></msup><annotation-xml encoding="MathML-Content" id="footnote2.m2.1c"><apply id="footnote2.m2.1.1.cmml" xref="footnote2.m2.1.1"><csymbol cd="ambiguous" id="footnote2.m2.1.1.1.cmml" xref="footnote2.m2.1.1">superscript</csymbol><ci id="footnote2.m2.1.1.2.cmml" xref="footnote2.m2.1.1.2">𝑠</ci><ci id="footnote2.m2.1.1.3.cmml" xref="footnote2.m2.1.1.3">′</ci></apply></annotation-xml><annotation encoding="application/x-tex" id="footnote2.m2.1d">s^{\prime}</annotation></semantics></math> = <span id="footnote2.3" class="ltx_text ltx_font_typewriter">&lt;begin-sentence&gt;</span> also</span></span></span> An example of the states and actions can be seen in figure <a href="#S4.F2" title="Figure 2 ‣ 4 Practical Occupancy Matching with Autoregressive Sequence Models ‣ SequenceMatch: Imitation Learning for Autoregressive Sequence Modelling with Backtracking" class="ltx_ref"><span class="ltx_text ltx_ref_tag">2</span></a>. As an additional example, the actions <span id="S3.SS1.p2.8.4" class="ltx_text ltx_font_typewriter">[a; &lt;backspace&gt;]</span> have corresponding states <span id="S3.SS1.p2.8.5" class="ltx_text ltx_font_typewriter">[&lt;begin-sentence&gt;; &lt;begin-sentence&gt; a; &lt;begin-sentence&gt;]</span>. The MDP framework formalizes the intuitive picture in figure <a href="#S1.F1" title="Figure 1 ‣ 1 Introduction ‣ SequenceMatch: Imitation Learning for Autoregressive Sequence Modelling with Backtracking" class="ltx_ref"><span class="ltx_text ltx_ref_tag">1</span></a>: the task of language modelling can be viewed as the traversal of a tree where the nodes are (partial) sequences.</p>
</div>
<div id="S3.SS1.p3" class="ltx_para">
<p id="S3.SS1.p3.7" class="ltx_p">A central quantity of interest is the occupancy measure. We denote by <math id="S3.SS1.p3.1.m1.1" class="ltx_Math" alttext="s_{t}" display="inline"><semantics id="S3.SS1.p3.1.m1.1a"><msub id="S3.SS1.p3.1.m1.1.1" xref="S3.SS1.p3.1.m1.1.1.cmml"><mi id="S3.SS1.p3.1.m1.1.1.2" xref="S3.SS1.p3.1.m1.1.1.2.cmml">s</mi><mi id="S3.SS1.p3.1.m1.1.1.3" xref="S3.SS1.p3.1.m1.1.1.3.cmml">t</mi></msub><annotation-xml encoding="MathML-Content" id="S3.SS1.p3.1.m1.1b"><apply id="S3.SS1.p3.1.m1.1.1.cmml" xref="S3.SS1.p3.1.m1.1.1"><csymbol cd="ambiguous" id="S3.SS1.p3.1.m1.1.1.1.cmml" xref="S3.SS1.p3.1.m1.1.1">subscript</csymbol><ci id="S3.SS1.p3.1.m1.1.1.2.cmml" xref="S3.SS1.p3.1.m1.1.1.2">𝑠</ci><ci id="S3.SS1.p3.1.m1.1.1.3.cmml" xref="S3.SS1.p3.1.m1.1.1.3">𝑡</ci></apply></annotation-xml><annotation encoding="application/x-tex" id="S3.SS1.p3.1.m1.1c">s_{t}</annotation></semantics></math> the random variable consisting of the state at time <math id="S3.SS1.p3.2.m2.1" class="ltx_Math" alttext="t" display="inline"><semantics id="S3.SS1.p3.2.m2.1a"><mi id="S3.SS1.p3.2.m2.1.1" xref="S3.SS1.p3.2.m2.1.1.cmml">t</mi><annotation-xml encoding="MathML-Content" id="S3.SS1.p3.2.m2.1b"><ci id="S3.SS1.p3.2.m2.1.1.cmml" xref="S3.SS1.p3.2.m2.1.1">𝑡</ci></annotation-xml><annotation encoding="application/x-tex" id="S3.SS1.p3.2.m2.1c">t</annotation></semantics></math> under a policy <math id="S3.SS1.p3.3.m3.1" class="ltx_Math" alttext="p(a|s)" display="inline"><semantics id="S3.SS1.p3.3.m3.1a"><mrow id="S3.SS1.p3.3.m3.1.1" xref="S3.SS1.p3.3.m3.1.1.cmml"><mi id="S3.SS1.p3.3.m3.1.1.3" xref="S3.SS1.p3.3.m3.1.1.3.cmml">p</mi><mo lspace="0em" rspace="0em" id="S3.SS1.p3.3.m3.1.1.2" xref="S3.SS1.p3.3.m3.1.1.2.cmml">​</mo><mrow id="S3.SS1.p3.3.m3.1.1.1.1" xref="S3.SS1.p3.3.m3.1.1.1.1.1.cmml"><mo stretchy="false" id="S3.SS1.p3.3.m3.1.1.1.1.2" xref="S3.SS1.p3.3.m3.1.1.1.1.1.cmml">(</mo><mrow id="S3.SS1.p3.3.m3.1.1.1.1.1" xref="S3.SS1.p3.3.m3.1.1.1.1.1.cmml"><mi id="S3.SS1.p3.3.m3.1.1.1.1.1.2" xref="S3.SS1.p3.3.m3.1.1.1.1.1.2.cmml">a</mi><mo fence="false" id="S3.SS1.p3.3.m3.1.1.1.1.1.1" xref="S3.SS1.p3.3.m3.1.1.1.1.1.1.cmml">|</mo><mi id="S3.SS1.p3.3.m3.1.1.1.1.1.3" xref="S3.SS1.p3.3.m3.1.1.1.1.1.3.cmml">s</mi></mrow><mo stretchy="false" id="S3.SS1.p3.3.m3.1.1.1.1.3" xref="S3.SS1.p3.3.m3.1.1.1.1.1.cmml">)</mo></mrow></mrow><annotation-xml encoding="MathML-Content" id="S3.SS1.p3.3.m3.1b"><apply id="S3.SS1.p3.3.m3.1.1.cmml" xref="S3.SS1.p3.3.m3.1.1"><times id="S3.SS1.p3.3.m3.1.1.2.cmml" xref="S3.SS1.p3.3.m3.1.1.2"></times><ci id="S3.SS1.p3.3.m3.1.1.3.cmml" xref="S3.SS1.p3.3.m3.1.1.3">𝑝</ci><apply id="S3.SS1.p3.3.m3.1.1.1.1.1.cmml" xref="S3.SS1.p3.3.m3.1.1.1.1"><csymbol cd="latexml" id="S3.SS1.p3.3.m3.1.1.1.1.1.1.cmml" xref="S3.SS1.p3.3.m3.1.1.1.1.1.1">conditional</csymbol><ci id="S3.SS1.p3.3.m3.1.1.1.1.1.2.cmml" xref="S3.SS1.p3.3.m3.1.1.1.1.1.2">𝑎</ci><ci id="S3.SS1.p3.3.m3.1.1.1.1.1.3.cmml" xref="S3.SS1.p3.3.m3.1.1.1.1.1.3">𝑠</ci></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="S3.SS1.p3.3.m3.1c">p(a|s)</annotation></semantics></math> and the MDP defined above. Then, the occupancy measure <math id="S3.SS1.p3.4.m4.4" class="ltx_Math" alttext="\rho(s,a):\mathcal{S}\times\mathcal{A}\rightarrow[0,1]" display="inline"><semantics id="S3.SS1.p3.4.m4.4a"><mrow id="S3.SS1.p3.4.m4.4.5" xref="S3.SS1.p3.4.m4.4.5.cmml"><mrow id="S3.SS1.p3.4.m4.4.5.2" xref="S3.SS1.p3.4.m4.4.5.2.cmml"><mi id="S3.SS1.p3.4.m4.4.5.2.2" xref="S3.SS1.p3.4.m4.4.5.2.2.cmml">ρ</mi><mo lspace="0em" rspace="0em" id="S3.SS1.p3.4.m4.4.5.2.1" xref="S3.SS1.p3.4.m4.4.5.2.1.cmml">​</mo><mrow id="S3.SS1.p3.4.m4.4.5.2.3.2" xref="S3.SS1.p3.4.m4.4.5.2.3.1.cmml"><mo stretchy="false" id="S3.SS1.p3.4.m4.4.5.2.3.2.1" xref="S3.SS1.p3.4.m4.4.5.2.3.1.cmml">(</mo><mi id="S3.SS1.p3.4.m4.1.1" xref="S3.SS1.p3.4.m4.1.1.cmml">s</mi><mo id="S3.SS1.p3.4.m4.4.5.2.3.2.2" xref="S3.SS1.p3.4.m4.4.5.2.3.1.cmml">,</mo><mi id="S3.SS1.p3.4.m4.2.2" xref="S3.SS1.p3.4.m4.2.2.cmml">a</mi><mo rspace="0.278em" stretchy="false" id="S3.SS1.p3.4.m4.4.5.2.3.2.3" xref="S3.SS1.p3.4.m4.4.5.2.3.1.cmml">)</mo></mrow></mrow><mo rspace="0.278em" id="S3.SS1.p3.4.m4.4.5.1" xref="S3.SS1.p3.4.m4.4.5.1.cmml">:</mo><mrow id="S3.SS1.p3.4.m4.4.5.3" xref="S3.SS1.p3.4.m4.4.5.3.cmml"><mrow id="S3.SS1.p3.4.m4.4.5.3.2" xref="S3.SS1.p3.4.m4.4.5.3.2.cmml"><mi class="ltx_font_mathcaligraphic" id="S3.SS1.p3.4.m4.4.5.3.2.2" xref="S3.SS1.p3.4.m4.4.5.3.2.2.cmml">𝒮</mi><mo lspace="0.222em" rspace="0.222em" id="S3.SS1.p3.4.m4.4.5.3.2.1" xref="S3.SS1.p3.4.m4.4.5.3.2.1.cmml">×</mo><mi class="ltx_font_mathcaligraphic" id="S3.SS1.p3.4.m4.4.5.3.2.3" xref="S3.SS1.p3.4.m4.4.5.3.2.3.cmml">𝒜</mi></mrow><mo stretchy="false" id="S3.SS1.p3.4.m4.4.5.3.1" xref="S3.SS1.p3.4.m4.4.5.3.1.cmml">→</mo><mrow id="S3.SS1.p3.4.m4.4.5.3.3.2" xref="S3.SS1.p3.4.m4.4.5.3.3.1.cmml"><mo stretchy="false" id="S3.SS1.p3.4.m4.4.5.3.3.2.1" xref="S3.SS1.p3.4.m4.4.5.3.3.1.cmml">[</mo><mn id="S3.SS1.p3.4.m4.3.3" xref="S3.SS1.p3.4.m4.3.3.cmml">0</mn><mo id="S3.SS1.p3.4.m4.4.5.3.3.2.2" xref="S3.SS1.p3.4.m4.4.5.3.3.1.cmml">,</mo><mn id="S3.SS1.p3.4.m4.4.4" xref="S3.SS1.p3.4.m4.4.4.cmml">1</mn><mo stretchy="false" id="S3.SS1.p3.4.m4.4.5.3.3.2.3" xref="S3.SS1.p3.4.m4.4.5.3.3.1.cmml">]</mo></mrow></mrow></mrow><annotation-xml encoding="MathML-Content" id="S3.SS1.p3.4.m4.4b"><apply id="S3.SS1.p3.4.m4.4.5.cmml" xref="S3.SS1.p3.4.m4.4.5"><ci id="S3.SS1.p3.4.m4.4.5.1.cmml" xref="S3.SS1.p3.4.m4.4.5.1">:</ci><apply id="S3.SS1.p3.4.m4.4.5.2.cmml" xref="S3.SS1.p3.4.m4.4.5.2"><times id="S3.SS1.p3.4.m4.4.5.2.1.cmml" xref="S3.SS1.p3.4.m4.4.5.2.1"></times><ci id="S3.SS1.p3.4.m4.4.5.2.2.cmml" xref="S3.SS1.p3.4.m4.4.5.2.2">𝜌</ci><interval closure="open" id="S3.SS1.p3.4.m4.4.5.2.3.1.cmml" xref="S3.SS1.p3.4.m4.4.5.2.3.2"><ci id="S3.SS1.p3.4.m4.1.1.cmml" xref="S3.SS1.p3.4.m4.1.1">𝑠</ci><ci id="S3.SS1.p3.4.m4.2.2.cmml" xref="S3.SS1.p3.4.m4.2.2">𝑎</ci></interval></apply><apply id="S3.SS1.p3.4.m4.4.5.3.cmml" xref="S3.SS1.p3.4.m4.4.5.3"><ci id="S3.SS1.p3.4.m4.4.5.3.1.cmml" xref="S3.SS1.p3.4.m4.4.5.3.1">→</ci><apply id="S3.SS1.p3.4.m4.4.5.3.2.cmml" xref="S3.SS1.p3.4.m4.4.5.3.2"><times id="S3.SS1.p3.4.m4.4.5.3.2.1.cmml" xref="S3.SS1.p3.4.m4.4.5.3.2.1"></times><ci id="S3.SS1.p3.4.m4.4.5.3.2.2.cmml" xref="S3.SS1.p3.4.m4.4.5.3.2.2">𝒮</ci><ci id="S3.SS1.p3.4.m4.4.5.3.2.3.cmml" xref="S3.SS1.p3.4.m4.4.5.3.2.3">𝒜</ci></apply><interval closure="closed" id="S3.SS1.p3.4.m4.4.5.3.3.1.cmml" xref="S3.SS1.p3.4.m4.4.5.3.3.2"><cn type="integer" id="S3.SS1.p3.4.m4.3.3.cmml" xref="S3.SS1.p3.4.m4.3.3">0</cn><cn type="integer" id="S3.SS1.p3.4.m4.4.4.cmml" xref="S3.SS1.p3.4.m4.4.4">1</cn></interval></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="S3.SS1.p3.4.m4.4c">\rho(s,a):\mathcal{S}\times\mathcal{A}\rightarrow[0,1]</annotation></semantics></math> is the (discounted) probability of observing a particular sentence <math id="S3.SS1.p3.5.m5.1" class="ltx_Math" alttext="s" display="inline"><semantics id="S3.SS1.p3.5.m5.1a"><mi id="S3.SS1.p3.5.m5.1.1" xref="S3.SS1.p3.5.m5.1.1.cmml">s</mi><annotation-xml encoding="MathML-Content" id="S3.SS1.p3.5.m5.1b"><ci id="S3.SS1.p3.5.m5.1.1.cmml" xref="S3.SS1.p3.5.m5.1.1">𝑠</ci></annotation-xml><annotation encoding="application/x-tex" id="S3.SS1.p3.5.m5.1c">s</annotation></semantics></math> at time <math id="S3.SS1.p3.6.m6.1" class="ltx_Math" alttext="t" display="inline"><semantics id="S3.SS1.p3.6.m6.1a"><mi id="S3.SS1.p3.6.m6.1.1" xref="S3.SS1.p3.6.m6.1.1.cmml">t</mi><annotation-xml encoding="MathML-Content" id="S3.SS1.p3.6.m6.1b"><ci id="S3.SS1.p3.6.m6.1.1.cmml" xref="S3.SS1.p3.6.m6.1.1">𝑡</ci></annotation-xml><annotation encoding="application/x-tex" id="S3.SS1.p3.6.m6.1c">t</annotation></semantics></math> and taking action <math id="S3.SS1.p3.7.m7.1" class="ltx_Math" alttext="a" display="inline"><semantics id="S3.SS1.p3.7.m7.1a"><mi id="S3.SS1.p3.7.m7.1.1" xref="S3.SS1.p3.7.m7.1.1.cmml">a</mi><annotation-xml encoding="MathML-Content" id="S3.SS1.p3.7.m7.1b"><ci id="S3.SS1.p3.7.m7.1.1.cmml" xref="S3.SS1.p3.7.m7.1.1">𝑎</ci></annotation-xml><annotation encoding="application/x-tex" id="S3.SS1.p3.7.m7.1c">a</annotation></semantics></math> given that sentence:</p>
<table id="A9.EGx2" class="ltx_equationgroup ltx_eqn_align ltx_eqn_table">

<tbody id="S3.E3"><tr class="ltx_equation ltx_eqn_row ltx_align_baseline">
<td class="ltx_eqn_cell ltx_eqn_center_padleft"></td>
<td class="ltx_td ltx_align_right ltx_eqn_cell"><math id="S3.E3.m1.5" class="ltx_Math" alttext="\displaystyle\rho(s,a)=(1-\gamma)p(a|s)\sum_{t}\gamma^{t}P(s_{t}=s)" display="inline"><semantics id="S3.E3.m1.5a"><mrow id="S3.E3.m1.5.5" xref="S3.E3.m1.5.5.cmml"><mrow id="S3.E3.m1.5.5.5" xref="S3.E3.m1.5.5.5.cmml"><mi id="S3.E3.m1.5.5.5.2" xref="S3.E3.m1.5.5.5.2.cmml">ρ</mi><mo lspace="0em" rspace="0em" id="S3.E3.m1.5.5.5.1" xref="S3.E3.m1.5.5.5.1.cmml">​</mo><mrow id="S3.E3.m1.5.5.5.3.2" xref="S3.E3.m1.5.5.5.3.1.cmml"><mo stretchy="false" id="S3.E3.m1.5.5.5.3.2.1" xref="S3.E3.m1.5.5.5.3.1.cmml">(</mo><mi id="S3.E3.m1.1.1" xref="S3.E3.m1.1.1.cmml">s</mi><mo id="S3.E3.m1.5.5.5.3.2.2" xref="S3.E3.m1.5.5.5.3.1.cmml">,</mo><mi id="S3.E3.m1.2.2" xref="S3.E3.m1.2.2.cmml">a</mi><mo stretchy="false" id="S3.E3.m1.5.5.5.3.2.3" xref="S3.E3.m1.5.5.5.3.1.cmml">)</mo></mrow></mrow><mo id="S3.E3.m1.5.5.4" xref="S3.E3.m1.5.5.4.cmml">=</mo><mrow id="S3.E3.m1.5.5.3" xref="S3.E3.m1.5.5.3.cmml"><mrow id="S3.E3.m1.3.3.1.1.1" xref="S3.E3.m1.3.3.1.1.1.1.cmml"><mo stretchy="false" id="S3.E3.m1.3.3.1.1.1.2" xref="S3.E3.m1.3.3.1.1.1.1.cmml">(</mo><mrow id="S3.E3.m1.3.3.1.1.1.1" xref="S3.E3.m1.3.3.1.1.1.1.cmml"><mn id="S3.E3.m1.3.3.1.1.1.1.2" xref="S3.E3.m1.3.3.1.1.1.1.2.cmml">1</mn><mo id="S3.E3.m1.3.3.1.1.1.1.1" xref="S3.E3.m1.3.3.1.1.1.1.1.cmml">−</mo><mi id="S3.E3.m1.3.3.1.1.1.1.3" xref="S3.E3.m1.3.3.1.1.1.1.3.cmml">γ</mi></mrow><mo stretchy="false" id="S3.E3.m1.3.3.1.1.1.3" xref="S3.E3.m1.3.3.1.1.1.1.cmml">)</mo></mrow><mo lspace="0em" rspace="0em" id="S3.E3.m1.5.5.3.4" xref="S3.E3.m1.5.5.3.4.cmml">​</mo><mi id="S3.E3.m1.5.5.3.5" xref="S3.E3.m1.5.5.3.5.cmml">p</mi><mo lspace="0em" rspace="0em" id="S3.E3.m1.5.5.3.4a" xref="S3.E3.m1.5.5.3.4.cmml">​</mo><mrow id="S3.E3.m1.4.4.2.2.1" xref="S3.E3.m1.4.4.2.2.1.1.cmml"><mo stretchy="false" id="S3.E3.m1.4.4.2.2.1.2" xref="S3.E3.m1.4.4.2.2.1.1.cmml">(</mo><mrow id="S3.E3.m1.4.4.2.2.1.1" xref="S3.E3.m1.4.4.2.2.1.1.cmml"><mi id="S3.E3.m1.4.4.2.2.1.1.2" xref="S3.E3.m1.4.4.2.2.1.1.2.cmml">a</mi><mo fence="false" id="S3.E3.m1.4.4.2.2.1.1.1" xref="S3.E3.m1.4.4.2.2.1.1.1.cmml">|</mo><mi id="S3.E3.m1.4.4.2.2.1.1.3" xref="S3.E3.m1.4.4.2.2.1.1.3.cmml">s</mi></mrow><mo stretchy="false" id="S3.E3.m1.4.4.2.2.1.3" xref="S3.E3.m1.4.4.2.2.1.1.cmml">)</mo></mrow><mo lspace="0em" rspace="0em" id="S3.E3.m1.5.5.3.4b" xref="S3.E3.m1.5.5.3.4.cmml">​</mo><mrow id="S3.E3.m1.5.5.3.3" xref="S3.E3.m1.5.5.3.3.cmml"><mstyle displaystyle="true" id="S3.E3.m1.5.5.3.3.2" xref="S3.E3.m1.5.5.3.3.2.cmml"><munder id="S3.E3.m1.5.5.3.3.2a" xref="S3.E3.m1.5.5.3.3.2.cmml"><mo movablelimits="false" id="S3.E3.m1.5.5.3.3.2.2" xref="S3.E3.m1.5.5.3.3.2.2.cmml">∑</mo><mi id="S3.E3.m1.5.5.3.3.2.3" xref="S3.E3.m1.5.5.3.3.2.3.cmml">t</mi></munder></mstyle><mrow id="S3.E3.m1.5.5.3.3.1" xref="S3.E3.m1.5.5.3.3.1.cmml"><msup id="S3.E3.m1.5.5.3.3.1.3" xref="S3.E3.m1.5.5.3.3.1.3.cmml"><mi id="S3.E3.m1.5.5.3.3.1.3.2" xref="S3.E3.m1.5.5.3.3.1.3.2.cmml">γ</mi><mi id="S3.E3.m1.5.5.3.3.1.3.3" xref="S3.E3.m1.5.5.3.3.1.3.3.cmml">t</mi></msup><mo lspace="0em" rspace="0em" id="S3.E3.m1.5.5.3.3.1.2" xref="S3.E3.m1.5.5.3.3.1.2.cmml">​</mo><mi id="S3.E3.m1.5.5.3.3.1.4" xref="S3.E3.m1.5.5.3.3.1.4.cmml">P</mi><mo lspace="0em" rspace="0em" id="S3.E3.m1.5.5.3.3.1.2a" xref="S3.E3.m1.5.5.3.3.1.2.cmml">​</mo><mrow id="S3.E3.m1.5.5.3.3.1.1.1" xref="S3.E3.m1.5.5.3.3.1.1.1.1.cmml"><mo stretchy="false" id="S3.E3.m1.5.5.3.3.1.1.1.2" xref="S3.E3.m1.5.5.3.3.1.1.1.1.cmml">(</mo><mrow id="S3.E3.m1.5.5.3.3.1.1.1.1" xref="S3.E3.m1.5.5.3.3.1.1.1.1.cmml"><msub id="S3.E3.m1.5.5.3.3.1.1.1.1.2" xref="S3.E3.m1.5.5.3.3.1.1.1.1.2.cmml"><mi id="S3.E3.m1.5.5.3.3.1.1.1.1.2.2" xref="S3.E3.m1.5.5.3.3.1.1.1.1.2.2.cmml">s</mi><mi id="S3.E3.m1.5.5.3.3.1.1.1.1.2.3" xref="S3.E3.m1.5.5.3.3.1.1.1.1.2.3.cmml">t</mi></msub><mo id="S3.E3.m1.5.5.3.3.1.1.1.1.1" xref="S3.E3.m1.5.5.3.3.1.1.1.1.1.cmml">=</mo><mi id="S3.E3.m1.5.5.3.3.1.1.1.1.3" xref="S3.E3.m1.5.5.3.3.1.1.1.1.3.cmml">s</mi></mrow><mo stretchy="false" id="S3.E3.m1.5.5.3.3.1.1.1.3" xref="S3.E3.m1.5.5.3.3.1.1.1.1.cmml">)</mo></mrow></mrow></mrow></mrow></mrow><annotation-xml encoding="MathML-Content" id="S3.E3.m1.5b"><apply id="S3.E3.m1.5.5.cmml" xref="S3.E3.m1.5.5"><eq id="S3.E3.m1.5.5.4.cmml" xref="S3.E3.m1.5.5.4"></eq><apply id="S3.E3.m1.5.5.5.cmml" xref="S3.E3.m1.5.5.5"><times id="S3.E3.m1.5.5.5.1.cmml" xref="S3.E3.m1.5.5.5.1"></times><ci id="S3.E3.m1.5.5.5.2.cmml" xref="S3.E3.m1.5.5.5.2">𝜌</ci><interval closure="open" id="S3.E3.m1.5.5.5.3.1.cmml" xref="S3.E3.m1.5.5.5.3.2"><ci id="S3.E3.m1.1.1.cmml" xref="S3.E3.m1.1.1">𝑠</ci><ci id="S3.E3.m1.2.2.cmml" xref="S3.E3.m1.2.2">𝑎</ci></interval></apply><apply id="S3.E3.m1.5.5.3.cmml" xref="S3.E3.m1.5.5.3"><times id="S3.E3.m1.5.5.3.4.cmml" xref="S3.E3.m1.5.5.3.4"></times><apply id="S3.E3.m1.3.3.1.1.1.1.cmml" xref="S3.E3.m1.3.3.1.1.1"><minus id="S3.E3.m1.3.3.1.1.1.1.1.cmml" xref="S3.E3.m1.3.3.1.1.1.1.1"></minus><cn type="integer" id="S3.E3.m1.3.3.1.1.1.1.2.cmml" xref="S3.E3.m1.3.3.1.1.1.1.2">1</cn><ci id="S3.E3.m1.3.3.1.1.1.1.3.cmml" xref="S3.E3.m1.3.3.1.1.1.1.3">𝛾</ci></apply><ci id="S3.E3.m1.5.5.3.5.cmml" xref="S3.E3.m1.5.5.3.5">𝑝</ci><apply id="S3.E3.m1.4.4.2.2.1.1.cmml" xref="S3.E3.m1.4.4.2.2.1"><csymbol cd="latexml" id="S3.E3.m1.4.4.2.2.1.1.1.cmml" xref="S3.E3.m1.4.4.2.2.1.1.1">conditional</csymbol><ci id="S3.E3.m1.4.4.2.2.1.1.2.cmml" xref="S3.E3.m1.4.4.2.2.1.1.2">𝑎</ci><ci id="S3.E3.m1.4.4.2.2.1.1.3.cmml" xref="S3.E3.m1.4.4.2.2.1.1.3">𝑠</ci></apply><apply id="S3.E3.m1.5.5.3.3.cmml" xref="S3.E3.m1.5.5.3.3"><apply id="S3.E3.m1.5.5.3.3.2.cmml" xref="S3.E3.m1.5.5.3.3.2"><csymbol cd="ambiguous" id="S3.E3.m1.5.5.3.3.2.1.cmml" xref="S3.E3.m1.5.5.3.3.2">subscript</csymbol><sum id="S3.E3.m1.5.5.3.3.2.2.cmml" xref="S3.E3.m1.5.5.3.3.2.2"></sum><ci id="S3.E3.m1.5.5.3.3.2.3.cmml" xref="S3.E3.m1.5.5.3.3.2.3">𝑡</ci></apply><apply id="S3.E3.m1.5.5.3.3.1.cmml" xref="S3.E3.m1.5.5.3.3.1"><times id="S3.E3.m1.5.5.3.3.1.2.cmml" xref="S3.E3.m1.5.5.3.3.1.2"></times><apply id="S3.E3.m1.5.5.3.3.1.3.cmml" xref="S3.E3.m1.5.5.3.3.1.3"><csymbol cd="ambiguous" id="S3.E3.m1.5.5.3.3.1.3.1.cmml" xref="S3.E3.m1.5.5.3.3.1.3">superscript</csymbol><ci id="S3.E3.m1.5.5.3.3.1.3.2.cmml" xref="S3.E3.m1.5.5.3.3.1.3.2">𝛾</ci><ci id="S3.E3.m1.5.5.3.3.1.3.3.cmml" xref="S3.E3.m1.5.5.3.3.1.3.3">𝑡</ci></apply><ci id="S3.E3.m1.5.5.3.3.1.4.cmml" xref="S3.E3.m1.5.5.3.3.1.4">𝑃</ci><apply id="S3.E3.m1.5.5.3.3.1.1.1.1.cmml" xref="S3.E3.m1.5.5.3.3.1.1.1"><eq id="S3.E3.m1.5.5.3.3.1.1.1.1.1.cmml" xref="S3.E3.m1.5.5.3.3.1.1.1.1.1"></eq><apply id="S3.E3.m1.5.5.3.3.1.1.1.1.2.cmml" xref="S3.E3.m1.5.5.3.3.1.1.1.1.2"><csymbol cd="ambiguous" id="S3.E3.m1.5.5.3.3.1.1.1.1.2.1.cmml" xref="S3.E3.m1.5.5.3.3.1.1.1.1.2">subscript</csymbol><ci id="S3.E3.m1.5.5.3.3.1.1.1.1.2.2.cmml" xref="S3.E3.m1.5.5.3.3.1.1.1.1.2.2">𝑠</ci><ci id="S3.E3.m1.5.5.3.3.1.1.1.1.2.3.cmml" xref="S3.E3.m1.5.5.3.3.1.1.1.1.2.3">𝑡</ci></apply><ci id="S3.E3.m1.5.5.3.3.1.1.1.1.3.cmml" xref="S3.E3.m1.5.5.3.3.1.1.1.1.3">𝑠</ci></apply></apply></apply></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="S3.E3.m1.5c">\displaystyle\rho(s,a)=(1-\gamma)p(a|s)\sum_{t}\gamma^{t}P(s_{t}=s)</annotation></semantics></math></td>
<td class="ltx_eqn_cell ltx_eqn_center_padright"></td>
<td rowspan="1" class="ltx_eqn_cell ltx_eqn_eqno ltx_align_middle ltx_align_right"><span class="ltx_tag ltx_tag_equation ltx_align_right">(3)</span></td>
</tr></tbody>
</table>
<p id="S3.SS1.p3.22" class="ltx_p">In other words, the occupancy measure is proportional to the observed frequency of a particular (sentence, next-action) pair occurring, with occurrances discounted in time by a factor of <math id="S3.SS1.p3.8.m1.1" class="ltx_Math" alttext="\gamma" display="inline"><semantics id="S3.SS1.p3.8.m1.1a"><mi id="S3.SS1.p3.8.m1.1.1" xref="S3.SS1.p3.8.m1.1.1.cmml">γ</mi><annotation-xml encoding="MathML-Content" id="S3.SS1.p3.8.m1.1b"><ci id="S3.SS1.p3.8.m1.1.1.cmml" xref="S3.SS1.p3.8.m1.1.1">𝛾</ci></annotation-xml><annotation encoding="application/x-tex" id="S3.SS1.p3.8.m1.1c">\gamma</annotation></semantics></math>. In the absence of editing actions, <math id="S3.SS1.p3.9.m2.1" class="ltx_Math" alttext="\mathcal{A}=X" display="inline"><semantics id="S3.SS1.p3.9.m2.1a"><mrow id="S3.SS1.p3.9.m2.1.1" xref="S3.SS1.p3.9.m2.1.1.cmml"><mi class="ltx_font_mathcaligraphic" id="S3.SS1.p3.9.m2.1.1.2" xref="S3.SS1.p3.9.m2.1.1.2.cmml">𝒜</mi><mo id="S3.SS1.p3.9.m2.1.1.1" xref="S3.SS1.p3.9.m2.1.1.1.cmml">=</mo><mi id="S3.SS1.p3.9.m2.1.1.3" xref="S3.SS1.p3.9.m2.1.1.3.cmml">X</mi></mrow><annotation-xml encoding="MathML-Content" id="S3.SS1.p3.9.m2.1b"><apply id="S3.SS1.p3.9.m2.1.1.cmml" xref="S3.SS1.p3.9.m2.1.1"><eq id="S3.SS1.p3.9.m2.1.1.1.cmml" xref="S3.SS1.p3.9.m2.1.1.1"></eq><ci id="S3.SS1.p3.9.m2.1.1.2.cmml" xref="S3.SS1.p3.9.m2.1.1.2">𝒜</ci><ci id="S3.SS1.p3.9.m2.1.1.3.cmml" xref="S3.SS1.p3.9.m2.1.1.3">𝑋</ci></apply></annotation-xml><annotation encoding="application/x-tex" id="S3.SS1.p3.9.m2.1c">\mathcal{A}=X</annotation></semantics></math> and the occupancy measure is a discounted probability over (partial) sequences: for a sequence <math id="S3.SS1.p3.10.m3.1" class="ltx_Math" alttext="s_{n}" display="inline"><semantics id="S3.SS1.p3.10.m3.1a"><msub id="S3.SS1.p3.10.m3.1.1" xref="S3.SS1.p3.10.m3.1.1.cmml"><mi id="S3.SS1.p3.10.m3.1.1.2" xref="S3.SS1.p3.10.m3.1.1.2.cmml">s</mi><mi id="S3.SS1.p3.10.m3.1.1.3" xref="S3.SS1.p3.10.m3.1.1.3.cmml">n</mi></msub><annotation-xml encoding="MathML-Content" id="S3.SS1.p3.10.m3.1b"><apply id="S3.SS1.p3.10.m3.1.1.cmml" xref="S3.SS1.p3.10.m3.1.1"><csymbol cd="ambiguous" id="S3.SS1.p3.10.m3.1.1.1.cmml" xref="S3.SS1.p3.10.m3.1.1">subscript</csymbol><ci id="S3.SS1.p3.10.m3.1.1.2.cmml" xref="S3.SS1.p3.10.m3.1.1.2">𝑠</ci><ci id="S3.SS1.p3.10.m3.1.1.3.cmml" xref="S3.SS1.p3.10.m3.1.1.3">𝑛</ci></apply></annotation-xml><annotation encoding="application/x-tex" id="S3.SS1.p3.10.m3.1c">s_{n}</annotation></semantics></math> of length <math id="S3.SS1.p3.11.m4.1" class="ltx_Math" alttext="n" display="inline"><semantics id="S3.SS1.p3.11.m4.1a"><mi id="S3.SS1.p3.11.m4.1.1" xref="S3.SS1.p3.11.m4.1.1.cmml">n</mi><annotation-xml encoding="MathML-Content" id="S3.SS1.p3.11.m4.1b"><ci id="S3.SS1.p3.11.m4.1.1.cmml" xref="S3.SS1.p3.11.m4.1.1">𝑛</ci></annotation-xml><annotation encoding="application/x-tex" id="S3.SS1.p3.11.m4.1c">n</annotation></semantics></math>, <math id="S3.SS1.p3.12.m5.4" class="ltx_Math" alttext="\rho_{\text{data}}(s_{n},x)=(1-\gamma)\gamma^{n}P_{\text{data}}(s^{\prime})" display="inline"><semantics id="S3.SS1.p3.12.m5.4a"><mrow id="S3.SS1.p3.12.m5.4.4" xref="S3.SS1.p3.12.m5.4.4.cmml"><mrow id="S3.SS1.p3.12.m5.2.2.1" xref="S3.SS1.p3.12.m5.2.2.1.cmml"><msub id="S3.SS1.p3.12.m5.2.2.1.3" xref="S3.SS1.p3.12.m5.2.2.1.3.cmml"><mi id="S3.SS1.p3.12.m5.2.2.1.3.2" xref="S3.SS1.p3.12.m5.2.2.1.3.2.cmml">ρ</mi><mtext id="S3.SS1.p3.12.m5.2.2.1.3.3" xref="S3.SS1.p3.12.m5.2.2.1.3.3a.cmml">data</mtext></msub><mo lspace="0em" rspace="0em" id="S3.SS1.p3.12.m5.2.2.1.2" xref="S3.SS1.p3.12.m5.2.2.1.2.cmml">​</mo><mrow id="S3.SS1.p3.12.m5.2.2.1.1.1" xref="S3.SS1.p3.12.m5.2.2.1.1.2.cmml"><mo stretchy="false" id="S3.SS1.p3.12.m5.2.2.1.1.1.2" xref="S3.SS1.p3.12.m5.2.2.1.1.2.cmml">(</mo><msub id="S3.SS1.p3.12.m5.2.2.1.1.1.1" xref="S3.SS1.p3.12.m5.2.2.1.1.1.1.cmml"><mi id="S3.SS1.p3.12.m5.2.2.1.1.1.1.2" xref="S3.SS1.p3.12.m5.2.2.1.1.1.1.2.cmml">s</mi><mi id="S3.SS1.p3.12.m5.2.2.1.1.1.1.3" xref="S3.SS1.p3.12.m5.2.2.1.1.1.1.3.cmml">n</mi></msub><mo id="S3.SS1.p3.12.m5.2.2.1.1.1.3" xref="S3.SS1.p3.12.m5.2.2.1.1.2.cmml">,</mo><mi id="S3.SS1.p3.12.m5.1.1" xref="S3.SS1.p3.12.m5.1.1.cmml">x</mi><mo stretchy="false" id="S3.SS1.p3.12.m5.2.2.1.1.1.4" xref="S3.SS1.p3.12.m5.2.2.1.1.2.cmml">)</mo></mrow></mrow><mo id="S3.SS1.p3.12.m5.4.4.4" xref="S3.SS1.p3.12.m5.4.4.4.cmml">=</mo><mrow id="S3.SS1.p3.12.m5.4.4.3" xref="S3.SS1.p3.12.m5.4.4.3.cmml"><mrow id="S3.SS1.p3.12.m5.3.3.2.1.1" xref="S3.SS1.p3.12.m5.3.3.2.1.1.1.cmml"><mo stretchy="false" id="S3.SS1.p3.12.m5.3.3.2.1.1.2" xref="S3.SS1.p3.12.m5.3.3.2.1.1.1.cmml">(</mo><mrow id="S3.SS1.p3.12.m5.3.3.2.1.1.1" xref="S3.SS1.p3.12.m5.3.3.2.1.1.1.cmml"><mn id="S3.SS1.p3.12.m5.3.3.2.1.1.1.2" xref="S3.SS1.p3.12.m5.3.3.2.1.1.1.2.cmml">1</mn><mo id="S3.SS1.p3.12.m5.3.3.2.1.1.1.1" xref="S3.SS1.p3.12.m5.3.3.2.1.1.1.1.cmml">−</mo><mi id="S3.SS1.p3.12.m5.3.3.2.1.1.1.3" xref="S3.SS1.p3.12.m5.3.3.2.1.1.1.3.cmml">γ</mi></mrow><mo stretchy="false" id="S3.SS1.p3.12.m5.3.3.2.1.1.3" xref="S3.SS1.p3.12.m5.3.3.2.1.1.1.cmml">)</mo></mrow><mo lspace="0em" rspace="0em" id="S3.SS1.p3.12.m5.4.4.3.3" xref="S3.SS1.p3.12.m5.4.4.3.3.cmml">​</mo><msup id="S3.SS1.p3.12.m5.4.4.3.4" xref="S3.SS1.p3.12.m5.4.4.3.4.cmml"><mi id="S3.SS1.p3.12.m5.4.4.3.4.2" xref="S3.SS1.p3.12.m5.4.4.3.4.2.cmml">γ</mi><mi id="S3.SS1.p3.12.m5.4.4.3.4.3" xref="S3.SS1.p3.12.m5.4.4.3.4.3.cmml">n</mi></msup><mo lspace="0em" rspace="0em" id="S3.SS1.p3.12.m5.4.4.3.3a" xref="S3.SS1.p3.12.m5.4.4.3.3.cmml">​</mo><msub id="S3.SS1.p3.12.m5.4.4.3.5" xref="S3.SS1.p3.12.m5.4.4.3.5.cmml"><mi id="S3.SS1.p3.12.m5.4.4.3.5.2" xref="S3.SS1.p3.12.m5.4.4.3.5.2.cmml">P</mi><mtext id="S3.SS1.p3.12.m5.4.4.3.5.3" xref="S3.SS1.p3.12.m5.4.4.3.5.3a.cmml">data</mtext></msub><mo lspace="0em" rspace="0em" id="S3.SS1.p3.12.m5.4.4.3.3b" xref="S3.SS1.p3.12.m5.4.4.3.3.cmml">​</mo><mrow id="S3.SS1.p3.12.m5.4.4.3.2.1" xref="S3.SS1.p3.12.m5.4.4.3.2.1.1.cmml"><mo stretchy="false" id="S3.SS1.p3.12.m5.4.4.3.2.1.2" xref="S3.SS1.p3.12.m5.4.4.3.2.1.1.cmml">(</mo><msup id="S3.SS1.p3.12.m5.4.4.3.2.1.1" xref="S3.SS1.p3.12.m5.4.4.3.2.1.1.cmml"><mi id="S3.SS1.p3.12.m5.4.4.3.2.1.1.2" xref="S3.SS1.p3.12.m5.4.4.3.2.1.1.2.cmml">s</mi><mo id="S3.SS1.p3.12.m5.4.4.3.2.1.1.3" xref="S3.SS1.p3.12.m5.4.4.3.2.1.1.3.cmml">′</mo></msup><mo stretchy="false" id="S3.SS1.p3.12.m5.4.4.3.2.1.3" xref="S3.SS1.p3.12.m5.4.4.3.2.1.1.cmml">)</mo></mrow></mrow></mrow><annotation-xml encoding="MathML-Content" id="S3.SS1.p3.12.m5.4b"><apply id="S3.SS1.p3.12.m5.4.4.cmml" xref="S3.SS1.p3.12.m5.4.4"><eq id="S3.SS1.p3.12.m5.4.4.4.cmml" xref="S3.SS1.p3.12.m5.4.4.4"></eq><apply id="S3.SS1.p3.12.m5.2.2.1.cmml" xref="S3.SS1.p3.12.m5.2.2.1"><times id="S3.SS1.p3.12.m5.2.2.1.2.cmml" xref="S3.SS1.p3.12.m5.2.2.1.2"></times><apply id="S3.SS1.p3.12.m5.2.2.1.3.cmml" xref="S3.SS1.p3.12.m5.2.2.1.3"><csymbol cd="ambiguous" id="S3.SS1.p3.12.m5.2.2.1.3.1.cmml" xref="S3.SS1.p3.12.m5.2.2.1.3">subscript</csymbol><ci id="S3.SS1.p3.12.m5.2.2.1.3.2.cmml" xref="S3.SS1.p3.12.m5.2.2.1.3.2">𝜌</ci><ci id="S3.SS1.p3.12.m5.2.2.1.3.3a.cmml" xref="S3.SS1.p3.12.m5.2.2.1.3.3"><mtext mathsize="70%" id="S3.SS1.p3.12.m5.2.2.1.3.3.cmml" xref="S3.SS1.p3.12.m5.2.2.1.3.3">data</mtext></ci></apply><interval closure="open" id="S3.SS1.p3.12.m5.2.2.1.1.2.cmml" xref="S3.SS1.p3.12.m5.2.2.1.1.1"><apply id="S3.SS1.p3.12.m5.2.2.1.1.1.1.cmml" xref="S3.SS1.p3.12.m5.2.2.1.1.1.1"><csymbol cd="ambiguous" id="S3.SS1.p3.12.m5.2.2.1.1.1.1.1.cmml" xref="S3.SS1.p3.12.m5.2.2.1.1.1.1">subscript</csymbol><ci id="S3.SS1.p3.12.m5.2.2.1.1.1.1.2.cmml" xref="S3.SS1.p3.12.m5.2.2.1.1.1.1.2">𝑠</ci><ci id="S3.SS1.p3.12.m5.2.2.1.1.1.1.3.cmml" xref="S3.SS1.p3.12.m5.2.2.1.1.1.1.3">𝑛</ci></apply><ci id="S3.SS1.p3.12.m5.1.1.cmml" xref="S3.SS1.p3.12.m5.1.1">𝑥</ci></interval></apply><apply id="S3.SS1.p3.12.m5.4.4.3.cmml" xref="S3.SS1.p3.12.m5.4.4.3"><times id="S3.SS1.p3.12.m5.4.4.3.3.cmml" xref="S3.SS1.p3.12.m5.4.4.3.3"></times><apply id="S3.SS1.p3.12.m5.3.3.2.1.1.1.cmml" xref="S3.SS1.p3.12.m5.3.3.2.1.1"><minus id="S3.SS1.p3.12.m5.3.3.2.1.1.1.1.cmml" xref="S3.SS1.p3.12.m5.3.3.2.1.1.1.1"></minus><cn type="integer" id="S3.SS1.p3.12.m5.3.3.2.1.1.1.2.cmml" xref="S3.SS1.p3.12.m5.3.3.2.1.1.1.2">1</cn><ci id="S3.SS1.p3.12.m5.3.3.2.1.1.1.3.cmml" xref="S3.SS1.p3.12.m5.3.3.2.1.1.1.3">𝛾</ci></apply><apply id="S3.SS1.p3.12.m5.4.4.3.4.cmml" xref="S3.SS1.p3.12.m5.4.4.3.4"><csymbol cd="ambiguous" id="S3.SS1.p3.12.m5.4.4.3.4.1.cmml" xref="S3.SS1.p3.12.m5.4.4.3.4">superscript</csymbol><ci id="S3.SS1.p3.12.m5.4.4.3.4.2.cmml" xref="S3.SS1.p3.12.m5.4.4.3.4.2">𝛾</ci><ci id="S3.SS1.p3.12.m5.4.4.3.4.3.cmml" xref="S3.SS1.p3.12.m5.4.4.3.4.3">𝑛</ci></apply><apply id="S3.SS1.p3.12.m5.4.4.3.5.cmml" xref="S3.SS1.p3.12.m5.4.4.3.5"><csymbol cd="ambiguous" id="S3.SS1.p3.12.m5.4.4.3.5.1.cmml" xref="S3.SS1.p3.12.m5.4.4.3.5">subscript</csymbol><ci id="S3.SS1.p3.12.m5.4.4.3.5.2.cmml" xref="S3.SS1.p3.12.m5.4.4.3.5.2">𝑃</ci><ci id="S3.SS1.p3.12.m5.4.4.3.5.3a.cmml" xref="S3.SS1.p3.12.m5.4.4.3.5.3"><mtext mathsize="70%" id="S3.SS1.p3.12.m5.4.4.3.5.3.cmml" xref="S3.SS1.p3.12.m5.4.4.3.5.3">data</mtext></ci></apply><apply id="S3.SS1.p3.12.m5.4.4.3.2.1.1.cmml" xref="S3.SS1.p3.12.m5.4.4.3.2.1"><csymbol cd="ambiguous" id="S3.SS1.p3.12.m5.4.4.3.2.1.1.1.cmml" xref="S3.SS1.p3.12.m5.4.4.3.2.1">superscript</csymbol><ci id="S3.SS1.p3.12.m5.4.4.3.2.1.1.2.cmml" xref="S3.SS1.p3.12.m5.4.4.3.2.1.1.2">𝑠</ci><ci id="S3.SS1.p3.12.m5.4.4.3.2.1.1.3.cmml" xref="S3.SS1.p3.12.m5.4.4.3.2.1.1.3">′</ci></apply></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="S3.SS1.p3.12.m5.4c">\rho_{\text{data}}(s_{n},x)=(1-\gamma)\gamma^{n}P_{\text{data}}(s^{\prime})</annotation></semantics></math>, where <math id="S3.SS1.p3.13.m6.1" class="ltx_Math" alttext="s^{\prime}" display="inline"><semantics id="S3.SS1.p3.13.m6.1a"><msup id="S3.SS1.p3.13.m6.1.1" xref="S3.SS1.p3.13.m6.1.1.cmml"><mi id="S3.SS1.p3.13.m6.1.1.2" xref="S3.SS1.p3.13.m6.1.1.2.cmml">s</mi><mo id="S3.SS1.p3.13.m6.1.1.3" xref="S3.SS1.p3.13.m6.1.1.3.cmml">′</mo></msup><annotation-xml encoding="MathML-Content" id="S3.SS1.p3.13.m6.1b"><apply id="S3.SS1.p3.13.m6.1.1.cmml" xref="S3.SS1.p3.13.m6.1.1"><csymbol cd="ambiguous" id="S3.SS1.p3.13.m6.1.1.1.cmml" xref="S3.SS1.p3.13.m6.1.1">superscript</csymbol><ci id="S3.SS1.p3.13.m6.1.1.2.cmml" xref="S3.SS1.p3.13.m6.1.1.2">𝑠</ci><ci id="S3.SS1.p3.13.m6.1.1.3.cmml" xref="S3.SS1.p3.13.m6.1.1.3">′</ci></apply></annotation-xml><annotation encoding="application/x-tex" id="S3.SS1.p3.13.m6.1c">s^{\prime}</annotation></semantics></math> is the sequence obtained by appending <math id="S3.SS1.p3.14.m7.1" class="ltx_Math" alttext="x" display="inline"><semantics id="S3.SS1.p3.14.m7.1a"><mi id="S3.SS1.p3.14.m7.1.1" xref="S3.SS1.p3.14.m7.1.1.cmml">x</mi><annotation-xml encoding="MathML-Content" id="S3.SS1.p3.14.m7.1b"><ci id="S3.SS1.p3.14.m7.1.1.cmml" xref="S3.SS1.p3.14.m7.1.1">𝑥</ci></annotation-xml><annotation encoding="application/x-tex" id="S3.SS1.p3.14.m7.1c">x</annotation></semantics></math> to <math id="S3.SS1.p3.15.m8.1" class="ltx_Math" alttext="s" display="inline"><semantics id="S3.SS1.p3.15.m8.1a"><mi id="S3.SS1.p3.15.m8.1.1" xref="S3.SS1.p3.15.m8.1.1.cmml">s</mi><annotation-xml encoding="MathML-Content" id="S3.SS1.p3.15.m8.1b"><ci id="S3.SS1.p3.15.m8.1.1.cmml" xref="S3.SS1.p3.15.m8.1.1">𝑠</ci></annotation-xml><annotation encoding="application/x-tex" id="S3.SS1.p3.15.m8.1c">s</annotation></semantics></math>.
Given editing actions which can reduce the length of a sequence, the occupancy measure becomes more complicated, as the same sequence can occur at multiple times.
For instance, if a sequence has length <math id="S3.SS1.p3.16.m9.1" class="ltx_Math" alttext="n" display="inline"><semantics id="S3.SS1.p3.16.m9.1a"><mi id="S3.SS1.p3.16.m9.1.1" xref="S3.SS1.p3.16.m9.1.1.cmml">n</mi><annotation-xml encoding="MathML-Content" id="S3.SS1.p3.16.m9.1b"><ci id="S3.SS1.p3.16.m9.1.1.cmml" xref="S3.SS1.p3.16.m9.1.1">𝑛</ci></annotation-xml><annotation encoding="application/x-tex" id="S3.SS1.p3.16.m9.1c">n</annotation></semantics></math> at time <math id="S3.SS1.p3.17.m10.1" class="ltx_Math" alttext="n" display="inline"><semantics id="S3.SS1.p3.17.m10.1a"><mi id="S3.SS1.p3.17.m10.1.1" xref="S3.SS1.p3.17.m10.1.1.cmml">n</mi><annotation-xml encoding="MathML-Content" id="S3.SS1.p3.17.m10.1b"><ci id="S3.SS1.p3.17.m10.1.1.cmml" xref="S3.SS1.p3.17.m10.1.1">𝑛</ci></annotation-xml><annotation encoding="application/x-tex" id="S3.SS1.p3.17.m10.1c">n</annotation></semantics></math> and the <span id="S3.SS1.p3.22.1" class="ltx_text ltx_font_typewriter">&lt;backspace&gt;</span> action is used, the sequence at time <math id="S3.SS1.p3.18.m11.1" class="ltx_Math" alttext="n+1" display="inline"><semantics id="S3.SS1.p3.18.m11.1a"><mrow id="S3.SS1.p3.18.m11.1.1" xref="S3.SS1.p3.18.m11.1.1.cmml"><mi id="S3.SS1.p3.18.m11.1.1.2" xref="S3.SS1.p3.18.m11.1.1.2.cmml">n</mi><mo id="S3.SS1.p3.18.m11.1.1.1" xref="S3.SS1.p3.18.m11.1.1.1.cmml">+</mo><mn id="S3.SS1.p3.18.m11.1.1.3" xref="S3.SS1.p3.18.m11.1.1.3.cmml">1</mn></mrow><annotation-xml encoding="MathML-Content" id="S3.SS1.p3.18.m11.1b"><apply id="S3.SS1.p3.18.m11.1.1.cmml" xref="S3.SS1.p3.18.m11.1.1"><plus id="S3.SS1.p3.18.m11.1.1.1.cmml" xref="S3.SS1.p3.18.m11.1.1.1"></plus><ci id="S3.SS1.p3.18.m11.1.1.2.cmml" xref="S3.SS1.p3.18.m11.1.1.2">𝑛</ci><cn type="integer" id="S3.SS1.p3.18.m11.1.1.3.cmml" xref="S3.SS1.p3.18.m11.1.1.3">1</cn></apply></annotation-xml><annotation encoding="application/x-tex" id="S3.SS1.p3.18.m11.1c">n+1</annotation></semantics></math> will have length <math id="S3.SS1.p3.19.m12.1" class="ltx_Math" alttext="n-1" display="inline"><semantics id="S3.SS1.p3.19.m12.1a"><mrow id="S3.SS1.p3.19.m12.1.1" xref="S3.SS1.p3.19.m12.1.1.cmml"><mi id="S3.SS1.p3.19.m12.1.1.2" xref="S3.SS1.p3.19.m12.1.1.2.cmml">n</mi><mo id="S3.SS1.p3.19.m12.1.1.1" xref="S3.SS1.p3.19.m12.1.1.1.cmml">−</mo><mn id="S3.SS1.p3.19.m12.1.1.3" xref="S3.SS1.p3.19.m12.1.1.3.cmml">1</mn></mrow><annotation-xml encoding="MathML-Content" id="S3.SS1.p3.19.m12.1b"><apply id="S3.SS1.p3.19.m12.1.1.cmml" xref="S3.SS1.p3.19.m12.1.1"><minus id="S3.SS1.p3.19.m12.1.1.1.cmml" xref="S3.SS1.p3.19.m12.1.1.1"></minus><ci id="S3.SS1.p3.19.m12.1.1.2.cmml" xref="S3.SS1.p3.19.m12.1.1.2">𝑛</ci><cn type="integer" id="S3.SS1.p3.19.m12.1.1.3.cmml" xref="S3.SS1.p3.19.m12.1.1.3">1</cn></apply></annotation-xml><annotation encoding="application/x-tex" id="S3.SS1.p3.19.m12.1c">n-1</annotation></semantics></math>.
We note that the occupancy measure is a normalized probability distribution, even if editing actions are included. For a function <math id="S3.SS1.p3.20.m13.1" class="ltx_Math" alttext="r" display="inline"><semantics id="S3.SS1.p3.20.m13.1a"><mi id="S3.SS1.p3.20.m13.1.1" xref="S3.SS1.p3.20.m13.1.1.cmml">r</mi><annotation-xml encoding="MathML-Content" id="S3.SS1.p3.20.m13.1b"><ci id="S3.SS1.p3.20.m13.1.1.cmml" xref="S3.SS1.p3.20.m13.1.1">𝑟</ci></annotation-xml><annotation encoding="application/x-tex" id="S3.SS1.p3.20.m13.1c">r</annotation></semantics></math>, the expectation with respect to <math id="S3.SS1.p3.21.m14.1" class="ltx_Math" alttext="\rho" display="inline"><semantics id="S3.SS1.p3.21.m14.1a"><mi id="S3.SS1.p3.21.m14.1.1" xref="S3.SS1.p3.21.m14.1.1.cmml">ρ</mi><annotation-xml encoding="MathML-Content" id="S3.SS1.p3.21.m14.1b"><ci id="S3.SS1.p3.21.m14.1.1.cmml" xref="S3.SS1.p3.21.m14.1.1">𝜌</ci></annotation-xml><annotation encoding="application/x-tex" id="S3.SS1.p3.21.m14.1c">\rho</annotation></semantics></math> has the usual meaning: <math id="S3.SS1.p3.22.m15.11" class="ltx_Math" alttext="\mathbb{E}_{(s,a)\sim\rho}\left[r(s,a)=\sum_{\mathcal{S},\mathcal{A}}\rho(s,a)r(s,a)\right]" display="inline"><semantics id="S3.SS1.p3.22.m15.11a"><mrow id="S3.SS1.p3.22.m15.11.11" xref="S3.SS1.p3.22.m15.11.11.cmml"><msub id="S3.SS1.p3.22.m15.11.11.3" xref="S3.SS1.p3.22.m15.11.11.3.cmml"><mi id="S3.SS1.p3.22.m15.11.11.3.2" xref="S3.SS1.p3.22.m15.11.11.3.2.cmml">𝔼</mi><mrow id="S3.SS1.p3.22.m15.2.2.2" xref="S3.SS1.p3.22.m15.2.2.2.cmml"><mrow id="S3.SS1.p3.22.m15.2.2.2.4.2" xref="S3.SS1.p3.22.m15.2.2.2.4.1.cmml"><mo stretchy="false" id="S3.SS1.p3.22.m15.2.2.2.4.2.1" xref="S3.SS1.p3.22.m15.2.2.2.4.1.cmml">(</mo><mi id="S3.SS1.p3.22.m15.1.1.1.1" xref="S3.SS1.p3.22.m15.1.1.1.1.cmml">s</mi><mo id="S3.SS1.p3.22.m15.2.2.2.4.2.2" xref="S3.SS1.p3.22.m15.2.2.2.4.1.cmml">,</mo><mi id="S3.SS1.p3.22.m15.2.2.2.2" xref="S3.SS1.p3.22.m15.2.2.2.2.cmml">a</mi><mo stretchy="false" id="S3.SS1.p3.22.m15.2.2.2.4.2.3" xref="S3.SS1.p3.22.m15.2.2.2.4.1.cmml">)</mo></mrow><mo id="S3.SS1.p3.22.m15.2.2.2.3" xref="S3.SS1.p3.22.m15.2.2.2.3.cmml">∼</mo><mi id="S3.SS1.p3.22.m15.2.2.2.5" xref="S3.SS1.p3.22.m15.2.2.2.5.cmml">ρ</mi></mrow></msub><mo lspace="0em" rspace="0em" id="S3.SS1.p3.22.m15.11.11.2" xref="S3.SS1.p3.22.m15.11.11.2.cmml">​</mo><mrow id="S3.SS1.p3.22.m15.11.11.1.1" xref="S3.SS1.p3.22.m15.11.11.1.2.cmml"><mo id="S3.SS1.p3.22.m15.11.11.1.1.2" xref="S3.SS1.p3.22.m15.11.11.1.2.1.cmml">[</mo><mrow id="S3.SS1.p3.22.m15.11.11.1.1.1" xref="S3.SS1.p3.22.m15.11.11.1.1.1.cmml"><mrow id="S3.SS1.p3.22.m15.11.11.1.1.1.2" xref="S3.SS1.p3.22.m15.11.11.1.1.1.2.cmml"><mi id="S3.SS1.p3.22.m15.11.11.1.1.1.2.2" xref="S3.SS1.p3.22.m15.11.11.1.1.1.2.2.cmml">r</mi><mo lspace="0em" rspace="0em" id="S3.SS1.p3.22.m15.11.11.1.1.1.2.1" xref="S3.SS1.p3.22.m15.11.11.1.1.1.2.1.cmml">​</mo><mrow id="S3.SS1.p3.22.m15.11.11.1.1.1.2.3.2" xref="S3.SS1.p3.22.m15.11.11.1.1.1.2.3.1.cmml"><mo stretchy="false" id="S3.SS1.p3.22.m15.11.11.1.1.1.2.3.2.1" xref="S3.SS1.p3.22.m15.11.11.1.1.1.2.3.1.cmml">(</mo><mi id="S3.SS1.p3.22.m15.5.5" xref="S3.SS1.p3.22.m15.5.5.cmml">s</mi><mo id="S3.SS1.p3.22.m15.11.11.1.1.1.2.3.2.2" xref="S3.SS1.p3.22.m15.11.11.1.1.1.2.3.1.cmml">,</mo><mi id="S3.SS1.p3.22.m15.6.6" xref="S3.SS1.p3.22.m15.6.6.cmml">a</mi><mo stretchy="false" id="S3.SS1.p3.22.m15.11.11.1.1.1.2.3.2.3" xref="S3.SS1.p3.22.m15.11.11.1.1.1.2.3.1.cmml">)</mo></mrow></mrow><mo rspace="0.111em" id="S3.SS1.p3.22.m15.11.11.1.1.1.1" xref="S3.SS1.p3.22.m15.11.11.1.1.1.1.cmml">=</mo><mrow id="S3.SS1.p3.22.m15.11.11.1.1.1.3" xref="S3.SS1.p3.22.m15.11.11.1.1.1.3.cmml"><msub id="S3.SS1.p3.22.m15.11.11.1.1.1.3.1" xref="S3.SS1.p3.22.m15.11.11.1.1.1.3.1.cmml"><mo id="S3.SS1.p3.22.m15.11.11.1.1.1.3.1.2" xref="S3.SS1.p3.22.m15.11.11.1.1.1.3.1.2.cmml">∑</mo><mrow id="S3.SS1.p3.22.m15.4.4.2.4" xref="S3.SS1.p3.22.m15.4.4.2.3.cmml"><mi class="ltx_font_mathcaligraphic" id="S3.SS1.p3.22.m15.3.3.1.1" xref="S3.SS1.p3.22.m15.3.3.1.1.cmml">𝒮</mi><mo id="S3.SS1.p3.22.m15.4.4.2.4.1" xref="S3.SS1.p3.22.m15.4.4.2.3.cmml">,</mo><mi class="ltx_font_mathcaligraphic" id="S3.SS1.p3.22.m15.4.4.2.2" xref="S3.SS1.p3.22.m15.4.4.2.2.cmml">𝒜</mi></mrow></msub><mrow id="S3.SS1.p3.22.m15.11.11.1.1.1.3.2" xref="S3.SS1.p3.22.m15.11.11.1.1.1.3.2.cmml"><mi id="S3.SS1.p3.22.m15.11.11.1.1.1.3.2.2" xref="S3.SS1.p3.22.m15.11.11.1.1.1.3.2.2.cmml">ρ</mi><mo lspace="0em" rspace="0em" id="S3.SS1.p3.22.m15.11.11.1.1.1.3.2.1" xref="S3.SS1.p3.22.m15.11.11.1.1.1.3.2.1.cmml">​</mo><mrow id="S3.SS1.p3.22.m15.11.11.1.1.1.3.2.3.2" xref="S3.SS1.p3.22.m15.11.11.1.1.1.3.2.3.1.cmml"><mo stretchy="false" id="S3.SS1.p3.22.m15.11.11.1.1.1.3.2.3.2.1" xref="S3.SS1.p3.22.m15.11.11.1.1.1.3.2.3.1.cmml">(</mo><mi id="S3.SS1.p3.22.m15.7.7" xref="S3.SS1.p3.22.m15.7.7.cmml">s</mi><mo id="S3.SS1.p3.22.m15.11.11.1.1.1.3.2.3.2.2" xref="S3.SS1.p3.22.m15.11.11.1.1.1.3.2.3.1.cmml">,</mo><mi id="S3.SS1.p3.22.m15.8.8" xref="S3.SS1.p3.22.m15.8.8.cmml">a</mi><mo stretchy="false" id="S3.SS1.p3.22.m15.11.11.1.1.1.3.2.3.2.3" xref="S3.SS1.p3.22.m15.11.11.1.1.1.3.2.3.1.cmml">)</mo></mrow><mo lspace="0em" rspace="0em" id="S3.SS1.p3.22.m15.11.11.1.1.1.3.2.1a" xref="S3.SS1.p3.22.m15.11.11.1.1.1.3.2.1.cmml">​</mo><mi id="S3.SS1.p3.22.m15.11.11.1.1.1.3.2.4" xref="S3.SS1.p3.22.m15.11.11.1.1.1.3.2.4.cmml">r</mi><mo lspace="0em" rspace="0em" id="S3.SS1.p3.22.m15.11.11.1.1.1.3.2.1b" xref="S3.SS1.p3.22.m15.11.11.1.1.1.3.2.1.cmml">​</mo><mrow id="S3.SS1.p3.22.m15.11.11.1.1.1.3.2.5.2" xref="S3.SS1.p3.22.m15.11.11.1.1.1.3.2.5.1.cmml"><mo stretchy="false" id="S3.SS1.p3.22.m15.11.11.1.1.1.3.2.5.2.1" xref="S3.SS1.p3.22.m15.11.11.1.1.1.3.2.5.1.cmml">(</mo><mi id="S3.SS1.p3.22.m15.9.9" xref="S3.SS1.p3.22.m15.9.9.cmml">s</mi><mo id="S3.SS1.p3.22.m15.11.11.1.1.1.3.2.5.2.2" xref="S3.SS1.p3.22.m15.11.11.1.1.1.3.2.5.1.cmml">,</mo><mi id="S3.SS1.p3.22.m15.10.10" xref="S3.SS1.p3.22.m15.10.10.cmml">a</mi><mo stretchy="false" id="S3.SS1.p3.22.m15.11.11.1.1.1.3.2.5.2.3" xref="S3.SS1.p3.22.m15.11.11.1.1.1.3.2.5.1.cmml">)</mo></mrow></mrow></mrow></mrow><mo id="S3.SS1.p3.22.m15.11.11.1.1.3" xref="S3.SS1.p3.22.m15.11.11.1.2.1.cmml">]</mo></mrow></mrow><annotation-xml encoding="MathML-Content" id="S3.SS1.p3.22.m15.11b"><apply id="S3.SS1.p3.22.m15.11.11.cmml" xref="S3.SS1.p3.22.m15.11.11"><times id="S3.SS1.p3.22.m15.11.11.2.cmml" xref="S3.SS1.p3.22.m15.11.11.2"></times><apply id="S3.SS1.p3.22.m15.11.11.3.cmml" xref="S3.SS1.p3.22.m15.11.11.3"><csymbol cd="ambiguous" id="S3.SS1.p3.22.m15.11.11.3.1.cmml" xref="S3.SS1.p3.22.m15.11.11.3">subscript</csymbol><ci id="S3.SS1.p3.22.m15.11.11.3.2.cmml" xref="S3.SS1.p3.22.m15.11.11.3.2">𝔼</ci><apply id="S3.SS1.p3.22.m15.2.2.2.cmml" xref="S3.SS1.p3.22.m15.2.2.2"><csymbol cd="latexml" id="S3.SS1.p3.22.m15.2.2.2.3.cmml" xref="S3.SS1.p3.22.m15.2.2.2.3">similar-to</csymbol><interval closure="open" id="S3.SS1.p3.22.m15.2.2.2.4.1.cmml" xref="S3.SS1.p3.22.m15.2.2.2.4.2"><ci id="S3.SS1.p3.22.m15.1.1.1.1.cmml" xref="S3.SS1.p3.22.m15.1.1.1.1">𝑠</ci><ci id="S3.SS1.p3.22.m15.2.2.2.2.cmml" xref="S3.SS1.p3.22.m15.2.2.2.2">𝑎</ci></interval><ci id="S3.SS1.p3.22.m15.2.2.2.5.cmml" xref="S3.SS1.p3.22.m15.2.2.2.5">𝜌</ci></apply></apply><apply id="S3.SS1.p3.22.m15.11.11.1.2.cmml" xref="S3.SS1.p3.22.m15.11.11.1.1"><csymbol cd="latexml" id="S3.SS1.p3.22.m15.11.11.1.2.1.cmml" xref="S3.SS1.p3.22.m15.11.11.1.1.2">delimited-[]</csymbol><apply id="S3.SS1.p3.22.m15.11.11.1.1.1.cmml" xref="S3.SS1.p3.22.m15.11.11.1.1.1"><eq id="S3.SS1.p3.22.m15.11.11.1.1.1.1.cmml" xref="S3.SS1.p3.22.m15.11.11.1.1.1.1"></eq><apply id="S3.SS1.p3.22.m15.11.11.1.1.1.2.cmml" xref="S3.SS1.p3.22.m15.11.11.1.1.1.2"><times id="S3.SS1.p3.22.m15.11.11.1.1.1.2.1.cmml" xref="S3.SS1.p3.22.m15.11.11.1.1.1.2.1"></times><ci id="S3.SS1.p3.22.m15.11.11.1.1.1.2.2.cmml" xref="S3.SS1.p3.22.m15.11.11.1.1.1.2.2">𝑟</ci><interval closure="open" id="S3.SS1.p3.22.m15.11.11.1.1.1.2.3.1.cmml" xref="S3.SS1.p3.22.m15.11.11.1.1.1.2.3.2"><ci id="S3.SS1.p3.22.m15.5.5.cmml" xref="S3.SS1.p3.22.m15.5.5">𝑠</ci><ci id="S3.SS1.p3.22.m15.6.6.cmml" xref="S3.SS1.p3.22.m15.6.6">𝑎</ci></interval></apply><apply id="S3.SS1.p3.22.m15.11.11.1.1.1.3.cmml" xref="S3.SS1.p3.22.m15.11.11.1.1.1.3"><apply id="S3.SS1.p3.22.m15.11.11.1.1.1.3.1.cmml" xref="S3.SS1.p3.22.m15.11.11.1.1.1.3.1"><csymbol cd="ambiguous" id="S3.SS1.p3.22.m15.11.11.1.1.1.3.1.1.cmml" xref="S3.SS1.p3.22.m15.11.11.1.1.1.3.1">subscript</csymbol><sum id="S3.SS1.p3.22.m15.11.11.1.1.1.3.1.2.cmml" xref="S3.SS1.p3.22.m15.11.11.1.1.1.3.1.2"></sum><list id="S3.SS1.p3.22.m15.4.4.2.3.cmml" xref="S3.SS1.p3.22.m15.4.4.2.4"><ci id="S3.SS1.p3.22.m15.3.3.1.1.cmml" xref="S3.SS1.p3.22.m15.3.3.1.1">𝒮</ci><ci id="S3.SS1.p3.22.m15.4.4.2.2.cmml" xref="S3.SS1.p3.22.m15.4.4.2.2">𝒜</ci></list></apply><apply id="S3.SS1.p3.22.m15.11.11.1.1.1.3.2.cmml" xref="S3.SS1.p3.22.m15.11.11.1.1.1.3.2"><times id="S3.SS1.p3.22.m15.11.11.1.1.1.3.2.1.cmml" xref="S3.SS1.p3.22.m15.11.11.1.1.1.3.2.1"></times><ci id="S3.SS1.p3.22.m15.11.11.1.1.1.3.2.2.cmml" xref="S3.SS1.p3.22.m15.11.11.1.1.1.3.2.2">𝜌</ci><interval closure="open" id="S3.SS1.p3.22.m15.11.11.1.1.1.3.2.3.1.cmml" xref="S3.SS1.p3.22.m15.11.11.1.1.1.3.2.3.2"><ci id="S3.SS1.p3.22.m15.7.7.cmml" xref="S3.SS1.p3.22.m15.7.7">𝑠</ci><ci id="S3.SS1.p3.22.m15.8.8.cmml" xref="S3.SS1.p3.22.m15.8.8">𝑎</ci></interval><ci id="S3.SS1.p3.22.m15.11.11.1.1.1.3.2.4.cmml" xref="S3.SS1.p3.22.m15.11.11.1.1.1.3.2.4">𝑟</ci><interval closure="open" id="S3.SS1.p3.22.m15.11.11.1.1.1.3.2.5.1.cmml" xref="S3.SS1.p3.22.m15.11.11.1.1.1.3.2.5.2"><ci id="S3.SS1.p3.22.m15.9.9.cmml" xref="S3.SS1.p3.22.m15.9.9">𝑠</ci><ci id="S3.SS1.p3.22.m15.10.10.cmml" xref="S3.SS1.p3.22.m15.10.10">𝑎</ci></interval></apply></apply></apply></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="S3.SS1.p3.22.m15.11c">\mathbb{E}_{(s,a)\sim\rho}\left[r(s,a)=\sum_{\mathcal{S},\mathcal{A}}\rho(s,a)r(s,a)\right]</annotation></semantics></math>, where the sum is over the discrete action space and (countably infinite) state space.
Occupancy measures provide an alternative way of modelling sequences, allowing us to impose a measure over all sequences, even in the presence of editing actions. As such, we avoid the somewhat artificial treatment with a maximum length cut-off discussed in section <a href="#S2.SS1" title="2.1 KL-Divergence ‣ 2 Preliminaries: Training Objectives for Autoregressive Models ‣ SequenceMatch: Imitation Learning for Autoregressive Sequence Modelling with Backtracking" class="ltx_ref"><span class="ltx_text ltx_ref_tag">2.1</span></a>, and can handle infinite sequences in a natural manner. Furthermore, the next section illustrates that we can non-adversarially minimize a large variety of divergences between occupancy measures, compared to only the KL divergence in the typical joint probability formulation.</p>
</div>
</section>
<section id="S3.SS2" class="ltx_subsection">
<h3 class="ltx_title ltx_title_subsection">
<span class="ltx_tag ltx_tag_subsection">3.2 </span>Minimizing Occupancy Divergences</h3>

<div id="S3.SS2.p1" class="ltx_para">
<p id="S3.SS2.p1.8" class="ltx_p">Our aim is to learn a policy <math id="S3.SS2.p1.1.m1.1" class="ltx_Math" alttext="p_{\theta}(a|s)" display="inline"><semantics id="S3.SS2.p1.1.m1.1a"><mrow id="S3.SS2.p1.1.m1.1.1" xref="S3.SS2.p1.1.m1.1.1.cmml"><msub id="S3.SS2.p1.1.m1.1.1.3" xref="S3.SS2.p1.1.m1.1.1.3.cmml"><mi id="S3.SS2.p1.1.m1.1.1.3.2" xref="S3.SS2.p1.1.m1.1.1.3.2.cmml">p</mi><mi id="S3.SS2.p1.1.m1.1.1.3.3" xref="S3.SS2.p1.1.m1.1.1.3.3.cmml">θ</mi></msub><mo lspace="0em" rspace="0em" id="S3.SS2.p1.1.m1.1.1.2" xref="S3.SS2.p1.1.m1.1.1.2.cmml">​</mo><mrow id="S3.SS2.p1.1.m1.1.1.1.1" xref="S3.SS2.p1.1.m1.1.1.1.1.1.cmml"><mo stretchy="false" id="S3.SS2.p1.1.m1.1.1.1.1.2" xref="S3.SS2.p1.1.m1.1.1.1.1.1.cmml">(</mo><mrow id="S3.SS2.p1.1.m1.1.1.1.1.1" xref="S3.SS2.p1.1.m1.1.1.1.1.1.cmml"><mi id="S3.SS2.p1.1.m1.1.1.1.1.1.2" xref="S3.SS2.p1.1.m1.1.1.1.1.1.2.cmml">a</mi><mo fence="false" id="S3.SS2.p1.1.m1.1.1.1.1.1.1" xref="S3.SS2.p1.1.m1.1.1.1.1.1.1.cmml">|</mo><mi id="S3.SS2.p1.1.m1.1.1.1.1.1.3" xref="S3.SS2.p1.1.m1.1.1.1.1.1.3.cmml">s</mi></mrow><mo stretchy="false" id="S3.SS2.p1.1.m1.1.1.1.1.3" xref="S3.SS2.p1.1.m1.1.1.1.1.1.cmml">)</mo></mrow></mrow><annotation-xml encoding="MathML-Content" id="S3.SS2.p1.1.m1.1b"><apply id="S3.SS2.p1.1.m1.1.1.cmml" xref="S3.SS2.p1.1.m1.1.1"><times id="S3.SS2.p1.1.m1.1.1.2.cmml" xref="S3.SS2.p1.1.m1.1.1.2"></times><apply id="S3.SS2.p1.1.m1.1.1.3.cmml" xref="S3.SS2.p1.1.m1.1.1.3"><csymbol cd="ambiguous" id="S3.SS2.p1.1.m1.1.1.3.1.cmml" xref="S3.SS2.p1.1.m1.1.1.3">subscript</csymbol><ci id="S3.SS2.p1.1.m1.1.1.3.2.cmml" xref="S3.SS2.p1.1.m1.1.1.3.2">𝑝</ci><ci id="S3.SS2.p1.1.m1.1.1.3.3.cmml" xref="S3.SS2.p1.1.m1.1.1.3.3">𝜃</ci></apply><apply id="S3.SS2.p1.1.m1.1.1.1.1.1.cmml" xref="S3.SS2.p1.1.m1.1.1.1.1"><csymbol cd="latexml" id="S3.SS2.p1.1.m1.1.1.1.1.1.1.cmml" xref="S3.SS2.p1.1.m1.1.1.1.1.1.1">conditional</csymbol><ci id="S3.SS2.p1.1.m1.1.1.1.1.1.2.cmml" xref="S3.SS2.p1.1.m1.1.1.1.1.1.2">𝑎</ci><ci id="S3.SS2.p1.1.m1.1.1.1.1.1.3.cmml" xref="S3.SS2.p1.1.m1.1.1.1.1.1.3">𝑠</ci></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="S3.SS2.p1.1.m1.1c">p_{\theta}(a|s)</annotation></semantics></math> which induces an occupancy measure <math id="S3.SS2.p1.2.m2.1" class="ltx_Math" alttext="p_{\theta}" display="inline"><semantics id="S3.SS2.p1.2.m2.1a"><msub id="S3.SS2.p1.2.m2.1.1" xref="S3.SS2.p1.2.m2.1.1.cmml"><mi id="S3.SS2.p1.2.m2.1.1.2" xref="S3.SS2.p1.2.m2.1.1.2.cmml">p</mi><mi id="S3.SS2.p1.2.m2.1.1.3" xref="S3.SS2.p1.2.m2.1.1.3.cmml">θ</mi></msub><annotation-xml encoding="MathML-Content" id="S3.SS2.p1.2.m2.1b"><apply id="S3.SS2.p1.2.m2.1.1.cmml" xref="S3.SS2.p1.2.m2.1.1"><csymbol cd="ambiguous" id="S3.SS2.p1.2.m2.1.1.1.cmml" xref="S3.SS2.p1.2.m2.1.1">subscript</csymbol><ci id="S3.SS2.p1.2.m2.1.1.2.cmml" xref="S3.SS2.p1.2.m2.1.1.2">𝑝</ci><ci id="S3.SS2.p1.2.m2.1.1.3.cmml" xref="S3.SS2.p1.2.m2.1.1.3">𝜃</ci></apply></annotation-xml><annotation encoding="application/x-tex" id="S3.SS2.p1.2.m2.1c">p_{\theta}</annotation></semantics></math> such that it is close to the data occupancy measure <math id="S3.SS2.p1.3.m3.1" class="ltx_Math" alttext="p_{\text{data}}" display="inline"><semantics id="S3.SS2.p1.3.m3.1a"><msub id="S3.SS2.p1.3.m3.1.1" xref="S3.SS2.p1.3.m3.1.1.cmml"><mi id="S3.SS2.p1.3.m3.1.1.2" xref="S3.SS2.p1.3.m3.1.1.2.cmml">p</mi><mtext id="S3.SS2.p1.3.m3.1.1.3" xref="S3.SS2.p1.3.m3.1.1.3a.cmml">data</mtext></msub><annotation-xml encoding="MathML-Content" id="S3.SS2.p1.3.m3.1b"><apply id="S3.SS2.p1.3.m3.1.1.cmml" xref="S3.SS2.p1.3.m3.1.1"><csymbol cd="ambiguous" id="S3.SS2.p1.3.m3.1.1.1.cmml" xref="S3.SS2.p1.3.m3.1.1">subscript</csymbol><ci id="S3.SS2.p1.3.m3.1.1.2.cmml" xref="S3.SS2.p1.3.m3.1.1.2">𝑝</ci><ci id="S3.SS2.p1.3.m3.1.1.3a.cmml" xref="S3.SS2.p1.3.m3.1.1.3"><mtext mathsize="70%" id="S3.SS2.p1.3.m3.1.1.3.cmml" xref="S3.SS2.p1.3.m3.1.1.3">data</mtext></ci></apply></annotation-xml><annotation encoding="application/x-tex" id="S3.SS2.p1.3.m3.1c">p_{\text{data}}</annotation></semantics></math>. We define the data occupancy measure by forming the data policy <math id="S3.SS2.p1.4.m4.1" class="ltx_Math" alttext="p_{\text{data}}(a|s)" display="inline"><semantics id="S3.SS2.p1.4.m4.1a"><mrow id="S3.SS2.p1.4.m4.1.1" xref="S3.SS2.p1.4.m4.1.1.cmml"><msub id="S3.SS2.p1.4.m4.1.1.3" xref="S3.SS2.p1.4.m4.1.1.3.cmml"><mi id="S3.SS2.p1.4.m4.1.1.3.2" xref="S3.SS2.p1.4.m4.1.1.3.2.cmml">p</mi><mtext id="S3.SS2.p1.4.m4.1.1.3.3" xref="S3.SS2.p1.4.m4.1.1.3.3a.cmml">data</mtext></msub><mo lspace="0em" rspace="0em" id="S3.SS2.p1.4.m4.1.1.2" xref="S3.SS2.p1.4.m4.1.1.2.cmml">​</mo><mrow id="S3.SS2.p1.4.m4.1.1.1.1" xref="S3.SS2.p1.4.m4.1.1.1.1.1.cmml"><mo stretchy="false" id="S3.SS2.p1.4.m4.1.1.1.1.2" xref="S3.SS2.p1.4.m4.1.1.1.1.1.cmml">(</mo><mrow id="S3.SS2.p1.4.m4.1.1.1.1.1" xref="S3.SS2.p1.4.m4.1.1.1.1.1.cmml"><mi id="S3.SS2.p1.4.m4.1.1.1.1.1.2" xref="S3.SS2.p1.4.m4.1.1.1.1.1.2.cmml">a</mi><mo fence="false" id="S3.SS2.p1.4.m4.1.1.1.1.1.1" xref="S3.SS2.p1.4.m4.1.1.1.1.1.1.cmml">|</mo><mi id="S3.SS2.p1.4.m4.1.1.1.1.1.3" xref="S3.SS2.p1.4.m4.1.1.1.1.1.3.cmml">s</mi></mrow><mo stretchy="false" id="S3.SS2.p1.4.m4.1.1.1.1.3" xref="S3.SS2.p1.4.m4.1.1.1.1.1.cmml">)</mo></mrow></mrow><annotation-xml encoding="MathML-Content" id="S3.SS2.p1.4.m4.1b"><apply id="S3.SS2.p1.4.m4.1.1.cmml" xref="S3.SS2.p1.4.m4.1.1"><times id="S3.SS2.p1.4.m4.1.1.2.cmml" xref="S3.SS2.p1.4.m4.1.1.2"></times><apply id="S3.SS2.p1.4.m4.1.1.3.cmml" xref="S3.SS2.p1.4.m4.1.1.3"><csymbol cd="ambiguous" id="S3.SS2.p1.4.m4.1.1.3.1.cmml" xref="S3.SS2.p1.4.m4.1.1.3">subscript</csymbol><ci id="S3.SS2.p1.4.m4.1.1.3.2.cmml" xref="S3.SS2.p1.4.m4.1.1.3.2">𝑝</ci><ci id="S3.SS2.p1.4.m4.1.1.3.3a.cmml" xref="S3.SS2.p1.4.m4.1.1.3.3"><mtext mathsize="70%" id="S3.SS2.p1.4.m4.1.1.3.3.cmml" xref="S3.SS2.p1.4.m4.1.1.3.3">data</mtext></ci></apply><apply id="S3.SS2.p1.4.m4.1.1.1.1.1.cmml" xref="S3.SS2.p1.4.m4.1.1.1.1"><csymbol cd="latexml" id="S3.SS2.p1.4.m4.1.1.1.1.1.1.cmml" xref="S3.SS2.p1.4.m4.1.1.1.1.1.1">conditional</csymbol><ci id="S3.SS2.p1.4.m4.1.1.1.1.1.2.cmml" xref="S3.SS2.p1.4.m4.1.1.1.1.1.2">𝑎</ci><ci id="S3.SS2.p1.4.m4.1.1.1.1.1.3.cmml" xref="S3.SS2.p1.4.m4.1.1.1.1.1.3">𝑠</ci></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="S3.SS2.p1.4.m4.1c">p_{\text{data}}(a|s)</annotation></semantics></math> corresponding to the conditionals <math id="S3.SS2.p1.5.m5.1" class="ltx_Math" alttext="P_{\text{data}}(x|s_{n})" display="inline"><semantics id="S3.SS2.p1.5.m5.1a"><mrow id="S3.SS2.p1.5.m5.1.1" xref="S3.SS2.p1.5.m5.1.1.cmml"><msub id="S3.SS2.p1.5.m5.1.1.3" xref="S3.SS2.p1.5.m5.1.1.3.cmml"><mi id="S3.SS2.p1.5.m5.1.1.3.2" xref="S3.SS2.p1.5.m5.1.1.3.2.cmml">P</mi><mtext id="S3.SS2.p1.5.m5.1.1.3.3" xref="S3.SS2.p1.5.m5.1.1.3.3a.cmml">data</mtext></msub><mo lspace="0em" rspace="0em" id="S3.SS2.p1.5.m5.1.1.2" xref="S3.SS2.p1.5.m5.1.1.2.cmml">​</mo><mrow id="S3.SS2.p1.5.m5.1.1.1.1" xref="S3.SS2.p1.5.m5.1.1.1.1.1.cmml"><mo stretchy="false" id="S3.SS2.p1.5.m5.1.1.1.1.2" xref="S3.SS2.p1.5.m5.1.1.1.1.1.cmml">(</mo><mrow id="S3.SS2.p1.5.m5.1.1.1.1.1" xref="S3.SS2.p1.5.m5.1.1.1.1.1.cmml"><mi id="S3.SS2.p1.5.m5.1.1.1.1.1.2" xref="S3.SS2.p1.5.m5.1.1.1.1.1.2.cmml">x</mi><mo fence="false" id="S3.SS2.p1.5.m5.1.1.1.1.1.1" xref="S3.SS2.p1.5.m5.1.1.1.1.1.1.cmml">|</mo><msub id="S3.SS2.p1.5.m5.1.1.1.1.1.3" xref="S3.SS2.p1.5.m5.1.1.1.1.1.3.cmml"><mi id="S3.SS2.p1.5.m5.1.1.1.1.1.3.2" xref="S3.SS2.p1.5.m5.1.1.1.1.1.3.2.cmml">s</mi><mi id="S3.SS2.p1.5.m5.1.1.1.1.1.3.3" xref="S3.SS2.p1.5.m5.1.1.1.1.1.3.3.cmml">n</mi></msub></mrow><mo stretchy="false" id="S3.SS2.p1.5.m5.1.1.1.1.3" xref="S3.SS2.p1.5.m5.1.1.1.1.1.cmml">)</mo></mrow></mrow><annotation-xml encoding="MathML-Content" id="S3.SS2.p1.5.m5.1b"><apply id="S3.SS2.p1.5.m5.1.1.cmml" xref="S3.SS2.p1.5.m5.1.1"><times id="S3.SS2.p1.5.m5.1.1.2.cmml" xref="S3.SS2.p1.5.m5.1.1.2"></times><apply id="S3.SS2.p1.5.m5.1.1.3.cmml" xref="S3.SS2.p1.5.m5.1.1.3"><csymbol cd="ambiguous" id="S3.SS2.p1.5.m5.1.1.3.1.cmml" xref="S3.SS2.p1.5.m5.1.1.3">subscript</csymbol><ci id="S3.SS2.p1.5.m5.1.1.3.2.cmml" xref="S3.SS2.p1.5.m5.1.1.3.2">𝑃</ci><ci id="S3.SS2.p1.5.m5.1.1.3.3a.cmml" xref="S3.SS2.p1.5.m5.1.1.3.3"><mtext mathsize="70%" id="S3.SS2.p1.5.m5.1.1.3.3.cmml" xref="S3.SS2.p1.5.m5.1.1.3.3">data</mtext></ci></apply><apply id="S3.SS2.p1.5.m5.1.1.1.1.1.cmml" xref="S3.SS2.p1.5.m5.1.1.1.1"><csymbol cd="latexml" id="S3.SS2.p1.5.m5.1.1.1.1.1.1.cmml" xref="S3.SS2.p1.5.m5.1.1.1.1.1.1">conditional</csymbol><ci id="S3.SS2.p1.5.m5.1.1.1.1.1.2.cmml" xref="S3.SS2.p1.5.m5.1.1.1.1.1.2">𝑥</ci><apply id="S3.SS2.p1.5.m5.1.1.1.1.1.3.cmml" xref="S3.SS2.p1.5.m5.1.1.1.1.1.3"><csymbol cd="ambiguous" id="S3.SS2.p1.5.m5.1.1.1.1.1.3.1.cmml" xref="S3.SS2.p1.5.m5.1.1.1.1.1.3">subscript</csymbol><ci id="S3.SS2.p1.5.m5.1.1.1.1.1.3.2.cmml" xref="S3.SS2.p1.5.m5.1.1.1.1.1.3.2">𝑠</ci><ci id="S3.SS2.p1.5.m5.1.1.1.1.1.3.3.cmml" xref="S3.SS2.p1.5.m5.1.1.1.1.1.3.3">𝑛</ci></apply></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="S3.SS2.p1.5.m5.1c">P_{\text{data}}(x|s_{n})</annotation></semantics></math> and setting the probability of editing actions to zero. It is known that matching occupancy measures implies matching policies: if <math id="S3.SS2.p1.6.m6.1" class="ltx_Math" alttext="\rho_{\theta}=\rho_{\text{data}}" display="inline"><semantics id="S3.SS2.p1.6.m6.1a"><mrow id="S3.SS2.p1.6.m6.1.1" xref="S3.SS2.p1.6.m6.1.1.cmml"><msub id="S3.SS2.p1.6.m6.1.1.2" xref="S3.SS2.p1.6.m6.1.1.2.cmml"><mi id="S3.SS2.p1.6.m6.1.1.2.2" xref="S3.SS2.p1.6.m6.1.1.2.2.cmml">ρ</mi><mi id="S3.SS2.p1.6.m6.1.1.2.3" xref="S3.SS2.p1.6.m6.1.1.2.3.cmml">θ</mi></msub><mo id="S3.SS2.p1.6.m6.1.1.1" xref="S3.SS2.p1.6.m6.1.1.1.cmml">=</mo><msub id="S3.SS2.p1.6.m6.1.1.3" xref="S3.SS2.p1.6.m6.1.1.3.cmml"><mi id="S3.SS2.p1.6.m6.1.1.3.2" xref="S3.SS2.p1.6.m6.1.1.3.2.cmml">ρ</mi><mtext id="S3.SS2.p1.6.m6.1.1.3.3" xref="S3.SS2.p1.6.m6.1.1.3.3a.cmml">data</mtext></msub></mrow><annotation-xml encoding="MathML-Content" id="S3.SS2.p1.6.m6.1b"><apply id="S3.SS2.p1.6.m6.1.1.cmml" xref="S3.SS2.p1.6.m6.1.1"><eq id="S3.SS2.p1.6.m6.1.1.1.cmml" xref="S3.SS2.p1.6.m6.1.1.1"></eq><apply id="S3.SS2.p1.6.m6.1.1.2.cmml" xref="S3.SS2.p1.6.m6.1.1.2"><csymbol cd="ambiguous" id="S3.SS2.p1.6.m6.1.1.2.1.cmml" xref="S3.SS2.p1.6.m6.1.1.2">subscript</csymbol><ci id="S3.SS2.p1.6.m6.1.1.2.2.cmml" xref="S3.SS2.p1.6.m6.1.1.2.2">𝜌</ci><ci id="S3.SS2.p1.6.m6.1.1.2.3.cmml" xref="S3.SS2.p1.6.m6.1.1.2.3">𝜃</ci></apply><apply id="S3.SS2.p1.6.m6.1.1.3.cmml" xref="S3.SS2.p1.6.m6.1.1.3"><csymbol cd="ambiguous" id="S3.SS2.p1.6.m6.1.1.3.1.cmml" xref="S3.SS2.p1.6.m6.1.1.3">subscript</csymbol><ci id="S3.SS2.p1.6.m6.1.1.3.2.cmml" xref="S3.SS2.p1.6.m6.1.1.3.2">𝜌</ci><ci id="S3.SS2.p1.6.m6.1.1.3.3a.cmml" xref="S3.SS2.p1.6.m6.1.1.3.3"><mtext mathsize="70%" id="S3.SS2.p1.6.m6.1.1.3.3.cmml" xref="S3.SS2.p1.6.m6.1.1.3.3">data</mtext></ci></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="S3.SS2.p1.6.m6.1c">\rho_{\theta}=\rho_{\text{data}}</annotation></semantics></math> for a valid occupancy <math id="S3.SS2.p1.7.m7.1" class="ltx_Math" alttext="\rho_{\theta}" display="inline"><semantics id="S3.SS2.p1.7.m7.1a"><msub id="S3.SS2.p1.7.m7.1.1" xref="S3.SS2.p1.7.m7.1.1.cmml"><mi id="S3.SS2.p1.7.m7.1.1.2" xref="S3.SS2.p1.7.m7.1.1.2.cmml">ρ</mi><mi id="S3.SS2.p1.7.m7.1.1.3" xref="S3.SS2.p1.7.m7.1.1.3.cmml">θ</mi></msub><annotation-xml encoding="MathML-Content" id="S3.SS2.p1.7.m7.1b"><apply id="S3.SS2.p1.7.m7.1.1.cmml" xref="S3.SS2.p1.7.m7.1.1"><csymbol cd="ambiguous" id="S3.SS2.p1.7.m7.1.1.1.cmml" xref="S3.SS2.p1.7.m7.1.1">subscript</csymbol><ci id="S3.SS2.p1.7.m7.1.1.2.cmml" xref="S3.SS2.p1.7.m7.1.1.2">𝜌</ci><ci id="S3.SS2.p1.7.m7.1.1.3.cmml" xref="S3.SS2.p1.7.m7.1.1.3">𝜃</ci></apply></annotation-xml><annotation encoding="application/x-tex" id="S3.SS2.p1.7.m7.1c">\rho_{\theta}</annotation></semantics></math>, then the corresponding <math id="S3.SS2.p1.8.m8.2" class="ltx_Math" alttext="p_{\theta}(a|s)=P_{\text{data}}(a|s)" display="inline"><semantics id="S3.SS2.p1.8.m8.2a"><mrow id="S3.SS2.p1.8.m8.2.2" xref="S3.SS2.p1.8.m8.2.2.cmml"><mrow id="S3.SS2.p1.8.m8.1.1.1" xref="S3.SS2.p1.8.m8.1.1.1.cmml"><msub id="S3.SS2.p1.8.m8.1.1.1.3" xref="S3.SS2.p1.8.m8.1.1.1.3.cmml"><mi id="S3.SS2.p1.8.m8.1.1.1.3.2" xref="S3.SS2.p1.8.m8.1.1.1.3.2.cmml">p</mi><mi id="S3.SS2.p1.8.m8.1.1.1.3.3" xref="S3.SS2.p1.8.m8.1.1.1.3.3.cmml">θ</mi></msub><mo lspace="0em" rspace="0em" id="S3.SS2.p1.8.m8.1.1.1.2" xref="S3.SS2.p1.8.m8.1.1.1.2.cmml">​</mo><mrow id="S3.SS2.p1.8.m8.1.1.1.1.1" xref="S3.SS2.p1.8.m8.1.1.1.1.1.1.cmml"><mo stretchy="false" id="S3.SS2.p1.8.m8.1.1.1.1.1.2" xref="S3.SS2.p1.8.m8.1.1.1.1.1.1.cmml">(</mo><mrow id="S3.SS2.p1.8.m8.1.1.1.1.1.1" xref="S3.SS2.p1.8.m8.1.1.1.1.1.1.cmml"><mi id="S3.SS2.p1.8.m8.1.1.1.1.1.1.2" xref="S3.SS2.p1.8.m8.1.1.1.1.1.1.2.cmml">a</mi><mo fence="false" id="S3.SS2.p1.8.m8.1.1.1.1.1.1.1" xref="S3.SS2.p1.8.m8.1.1.1.1.1.1.1.cmml">|</mo><mi id="S3.SS2.p1.8.m8.1.1.1.1.1.1.3" xref="S3.SS2.p1.8.m8.1.1.1.1.1.1.3.cmml">s</mi></mrow><mo stretchy="false" id="S3.SS2.p1.8.m8.1.1.1.1.1.3" xref="S3.SS2.p1.8.m8.1.1.1.1.1.1.cmml">)</mo></mrow></mrow><mo id="S3.SS2.p1.8.m8.2.2.3" xref="S3.SS2.p1.8.m8.2.2.3.cmml">=</mo><mrow id="S3.SS2.p1.8.m8.2.2.2" xref="S3.SS2.p1.8.m8.2.2.2.cmml"><msub id="S3.SS2.p1.8.m8.2.2.2.3" xref="S3.SS2.p1.8.m8.2.2.2.3.cmml"><mi id="S3.SS2.p1.8.m8.2.2.2.3.2" xref="S3.SS2.p1.8.m8.2.2.2.3.2.cmml">P</mi><mtext id="S3.SS2.p1.8.m8.2.2.2.3.3" xref="S3.SS2.p1.8.m8.2.2.2.3.3a.cmml">data</mtext></msub><mo lspace="0em" rspace="0em" id="S3.SS2.p1.8.m8.2.2.2.2" xref="S3.SS2.p1.8.m8.2.2.2.2.cmml">​</mo><mrow id="S3.SS2.p1.8.m8.2.2.2.1.1" xref="S3.SS2.p1.8.m8.2.2.2.1.1.1.cmml"><mo stretchy="false" id="S3.SS2.p1.8.m8.2.2.2.1.1.2" xref="S3.SS2.p1.8.m8.2.2.2.1.1.1.cmml">(</mo><mrow id="S3.SS2.p1.8.m8.2.2.2.1.1.1" xref="S3.SS2.p1.8.m8.2.2.2.1.1.1.cmml"><mi id="S3.SS2.p1.8.m8.2.2.2.1.1.1.2" xref="S3.SS2.p1.8.m8.2.2.2.1.1.1.2.cmml">a</mi><mo fence="false" id="S3.SS2.p1.8.m8.2.2.2.1.1.1.1" xref="S3.SS2.p1.8.m8.2.2.2.1.1.1.1.cmml">|</mo><mi id="S3.SS2.p1.8.m8.2.2.2.1.1.1.3" xref="S3.SS2.p1.8.m8.2.2.2.1.1.1.3.cmml">s</mi></mrow><mo stretchy="false" id="S3.SS2.p1.8.m8.2.2.2.1.1.3" xref="S3.SS2.p1.8.m8.2.2.2.1.1.1.cmml">)</mo></mrow></mrow></mrow><annotation-xml encoding="MathML-Content" id="S3.SS2.p1.8.m8.2b"><apply id="S3.SS2.p1.8.m8.2.2.cmml" xref="S3.SS2.p1.8.m8.2.2"><eq id="S3.SS2.p1.8.m8.2.2.3.cmml" xref="S3.SS2.p1.8.m8.2.2.3"></eq><apply id="S3.SS2.p1.8.m8.1.1.1.cmml" xref="S3.SS2.p1.8.m8.1.1.1"><times id="S3.SS2.p1.8.m8.1.1.1.2.cmml" xref="S3.SS2.p1.8.m8.1.1.1.2"></times><apply id="S3.SS2.p1.8.m8.1.1.1.3.cmml" xref="S3.SS2.p1.8.m8.1.1.1.3"><csymbol cd="ambiguous" id="S3.SS2.p1.8.m8.1.1.1.3.1.cmml" xref="S3.SS2.p1.8.m8.1.1.1.3">subscript</csymbol><ci id="S3.SS2.p1.8.m8.1.1.1.3.2.cmml" xref="S3.SS2.p1.8.m8.1.1.1.3.2">𝑝</ci><ci id="S3.SS2.p1.8.m8.1.1.1.3.3.cmml" xref="S3.SS2.p1.8.m8.1.1.1.3.3">𝜃</ci></apply><apply id="S3.SS2.p1.8.m8.1.1.1.1.1.1.cmml" xref="S3.SS2.p1.8.m8.1.1.1.1.1"><csymbol cd="latexml" id="S3.SS2.p1.8.m8.1.1.1.1.1.1.1.cmml" xref="S3.SS2.p1.8.m8.1.1.1.1.1.1.1">conditional</csymbol><ci id="S3.SS2.p1.8.m8.1.1.1.1.1.1.2.cmml" xref="S3.SS2.p1.8.m8.1.1.1.1.1.1.2">𝑎</ci><ci id="S3.SS2.p1.8.m8.1.1.1.1.1.1.3.cmml" xref="S3.SS2.p1.8.m8.1.1.1.1.1.1.3">𝑠</ci></apply></apply><apply id="S3.SS2.p1.8.m8.2.2.2.cmml" xref="S3.SS2.p1.8.m8.2.2.2"><times id="S3.SS2.p1.8.m8.2.2.2.2.cmml" xref="S3.SS2.p1.8.m8.2.2.2.2"></times><apply id="S3.SS2.p1.8.m8.2.2.2.3.cmml" xref="S3.SS2.p1.8.m8.2.2.2.3"><csymbol cd="ambiguous" id="S3.SS2.p1.8.m8.2.2.2.3.1.cmml" xref="S3.SS2.p1.8.m8.2.2.2.3">subscript</csymbol><ci id="S3.SS2.p1.8.m8.2.2.2.3.2.cmml" xref="S3.SS2.p1.8.m8.2.2.2.3.2">𝑃</ci><ci id="S3.SS2.p1.8.m8.2.2.2.3.3a.cmml" xref="S3.SS2.p1.8.m8.2.2.2.3.3"><mtext mathsize="70%" id="S3.SS2.p1.8.m8.2.2.2.3.3.cmml" xref="S3.SS2.p1.8.m8.2.2.2.3.3">data</mtext></ci></apply><apply id="S3.SS2.p1.8.m8.2.2.2.1.1.1.cmml" xref="S3.SS2.p1.8.m8.2.2.2.1.1"><csymbol cd="latexml" id="S3.SS2.p1.8.m8.2.2.2.1.1.1.1.cmml" xref="S3.SS2.p1.8.m8.2.2.2.1.1.1.1">conditional</csymbol><ci id="S3.SS2.p1.8.m8.2.2.2.1.1.1.2.cmml" xref="S3.SS2.p1.8.m8.2.2.2.1.1.1.2">𝑎</ci><ci id="S3.SS2.p1.8.m8.2.2.2.1.1.1.3.cmml" xref="S3.SS2.p1.8.m8.2.2.2.1.1.1.3">𝑠</ci></apply></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="S3.SS2.p1.8.m8.2c">p_{\theta}(a|s)=P_{\text{data}}(a|s)</annotation></semantics></math> <cite class="ltx_cite ltx_citemacro_citep">[<a href="#bib.bib33" title="" class="ltx_ref">33</a>]</cite>. Therefore, it is reasonable to minimize divergences between occupancy measures.
We extend the derivations in <cite class="ltx_cite ltx_citemacro_citet">Garg et al. [<a href="#bib.bib11" title="" class="ltx_ref">11</a>]</cite> to the case with infinite-dimensional state space.
We consider distances between occupancy divergences parameterized by the following form:</p>
<table id="A9.EGx3" class="ltx_equationgroup ltx_eqn_align ltx_eqn_table">

<tbody id="S3.Ex1"><tr class="ltx_equation ltx_eqn_row ltx_align_baseline">
<td class="ltx_eqn_cell ltx_eqn_center_padleft"></td>
<td class="ltx_td ltx_align_right ltx_eqn_cell"><math id="S3.Ex1.m1.10" class="ltx_Math" alttext="\displaystyle d_{\psi}(\rho_{\theta},\rho_{\text{data}})=\sup_{r\in\mathcal{R}}\mathbb{E}_{(s,a)\sim\rho_{\theta}}\left[r(s,a)\right]-\mathbb{E}_{(s,a)\sim\rho_{\text{data}}}\left[r(s,a)\right]-\psi(r)," display="inline"><semantics id="S3.Ex1.m1.10a"><mrow id="S3.Ex1.m1.10.10.1" xref="S3.Ex1.m1.10.10.1.1.cmml"><mrow id="S3.Ex1.m1.10.10.1.1" xref="S3.Ex1.m1.10.10.1.1.cmml"><mrow id="S3.Ex1.m1.10.10.1.1.2" xref="S3.Ex1.m1.10.10.1.1.2.cmml"><msub id="S3.Ex1.m1.10.10.1.1.2.4" xref="S3.Ex1.m1.10.10.1.1.2.4.cmml"><mi id="S3.Ex1.m1.10.10.1.1.2.4.2" xref="S3.Ex1.m1.10.10.1.1.2.4.2.cmml">d</mi><mi id="S3.Ex1.m1.10.10.1.1.2.4.3" xref="S3.Ex1.m1.10.10.1.1.2.4.3.cmml">ψ</mi></msub><mo lspace="0em" rspace="0em" id="S3.Ex1.m1.10.10.1.1.2.3" xref="S3.Ex1.m1.10.10.1.1.2.3.cmml">​</mo><mrow id="S3.Ex1.m1.10.10.1.1.2.2.2" xref="S3.Ex1.m1.10.10.1.1.2.2.3.cmml"><mo stretchy="false" id="S3.Ex1.m1.10.10.1.1.2.2.2.3" xref="S3.Ex1.m1.10.10.1.1.2.2.3.cmml">(</mo><msub id="S3.Ex1.m1.10.10.1.1.1.1.1.1" xref="S3.Ex1.m1.10.10.1.1.1.1.1.1.cmml"><mi id="S3.Ex1.m1.10.10.1.1.1.1.1.1.2" xref="S3.Ex1.m1.10.10.1.1.1.1.1.1.2.cmml">ρ</mi><mi id="S3.Ex1.m1.10.10.1.1.1.1.1.1.3" xref="S3.Ex1.m1.10.10.1.1.1.1.1.1.3.cmml">θ</mi></msub><mo id="S3.Ex1.m1.10.10.1.1.2.2.2.4" xref="S3.Ex1.m1.10.10.1.1.2.2.3.cmml">,</mo><msub id="S3.Ex1.m1.10.10.1.1.2.2.2.2" xref="S3.Ex1.m1.10.10.1.1.2.2.2.2.cmml"><mi id="S3.Ex1.m1.10.10.1.1.2.2.2.2.2" xref="S3.Ex1.m1.10.10.1.1.2.2.2.2.2.cmml">ρ</mi><mtext id="S3.Ex1.m1.10.10.1.1.2.2.2.2.3" xref="S3.Ex1.m1.10.10.1.1.2.2.2.2.3a.cmml">data</mtext></msub><mo stretchy="false" id="S3.Ex1.m1.10.10.1.1.2.2.2.5" xref="S3.Ex1.m1.10.10.1.1.2.2.3.cmml">)</mo></mrow></mrow><mo rspace="0.1389em" id="S3.Ex1.m1.10.10.1.1.5" xref="S3.Ex1.m1.10.10.1.1.5.cmml">=</mo><mrow id="S3.Ex1.m1.10.10.1.1.4" xref="S3.Ex1.m1.10.10.1.1.4.cmml"><mrow id="S3.Ex1.m1.10.10.1.1.3.1" xref="S3.Ex1.m1.10.10.1.1.3.1.cmml"><munder id="S3.Ex1.m1.10.10.1.1.3.1.2" xref="S3.Ex1.m1.10.10.1.1.3.1.2.cmml"><mo lspace="0.1389em" movablelimits="false" rspace="0.167em" id="S3.Ex1.m1.10.10.1.1.3.1.2.2" xref="S3.Ex1.m1.10.10.1.1.3.1.2.2.cmml">sup</mo><mrow id="S3.Ex1.m1.10.10.1.1.3.1.2.3" xref="S3.Ex1.m1.10.10.1.1.3.1.2.3.cmml"><mi id="S3.Ex1.m1.10.10.1.1.3.1.2.3.2" xref="S3.Ex1.m1.10.10.1.1.3.1.2.3.2.cmml">r</mi><mo id="S3.Ex1.m1.10.10.1.1.3.1.2.3.1" xref="S3.Ex1.m1.10.10.1.1.3.1.2.3.1.cmml">∈</mo><mi class="ltx_font_mathcaligraphic" id="S3.Ex1.m1.10.10.1.1.3.1.2.3.3" xref="S3.Ex1.m1.10.10.1.1.3.1.2.3.3.cmml">ℛ</mi></mrow></munder><mrow id="S3.Ex1.m1.10.10.1.1.3.1.1" xref="S3.Ex1.m1.10.10.1.1.3.1.1.cmml"><msub id="S3.Ex1.m1.10.10.1.1.3.1.1.3" xref="S3.Ex1.m1.10.10.1.1.3.1.1.3.cmml"><mi id="S3.Ex1.m1.10.10.1.1.3.1.1.3.2" xref="S3.Ex1.m1.10.10.1.1.3.1.1.3.2.cmml">𝔼</mi><mrow id="S3.Ex1.m1.2.2.2" xref="S3.Ex1.m1.2.2.2.cmml"><mrow id="S3.Ex1.m1.2.2.2.4.2" xref="S3.Ex1.m1.2.2.2.4.1.cmml"><mo stretchy="false" id="S3.Ex1.m1.2.2.2.4.2.1" xref="S3.Ex1.m1.2.2.2.4.1.cmml">(</mo><mi id="S3.Ex1.m1.1.1.1.1" xref="S3.Ex1.m1.1.1.1.1.cmml">s</mi><mo id="S3.Ex1.m1.2.2.2.4.2.2" xref="S3.Ex1.m1.2.2.2.4.1.cmml">,</mo><mi id="S3.Ex1.m1.2.2.2.2" xref="S3.Ex1.m1.2.2.2.2.cmml">a</mi><mo stretchy="false" id="S3.Ex1.m1.2.2.2.4.2.3" xref="S3.Ex1.m1.2.2.2.4.1.cmml">)</mo></mrow><mo id="S3.Ex1.m1.2.2.2.3" xref="S3.Ex1.m1.2.2.2.3.cmml">∼</mo><msub id="S3.Ex1.m1.2.2.2.5" xref="S3.Ex1.m1.2.2.2.5.cmml"><mi id="S3.Ex1.m1.2.2.2.5.2" xref="S3.Ex1.m1.2.2.2.5.2.cmml">ρ</mi><mi id="S3.Ex1.m1.2.2.2.5.3" xref="S3.Ex1.m1.2.2.2.5.3.cmml">θ</mi></msub></mrow></msub><mo lspace="0em" rspace="0em" id="S3.Ex1.m1.10.10.1.1.3.1.1.2" xref="S3.Ex1.m1.10.10.1.1.3.1.1.2.cmml">​</mo><mrow id="S3.Ex1.m1.10.10.1.1.3.1.1.1.1" xref="S3.Ex1.m1.10.10.1.1.3.1.1.1.2.cmml"><mo id="S3.Ex1.m1.10.10.1.1.3.1.1.1.1.2" xref="S3.Ex1.m1.10.10.1.1.3.1.1.1.2.1.cmml">[</mo><mrow id="S3.Ex1.m1.10.10.1.1.3.1.1.1.1.1" xref="S3.Ex1.m1.10.10.1.1.3.1.1.1.1.1.cmml"><mi id="S3.Ex1.m1.10.10.1.1.3.1.1.1.1.1.2" xref="S3.Ex1.m1.10.10.1.1.3.1.1.1.1.1.2.cmml">r</mi><mo lspace="0em" rspace="0em" id="S3.Ex1.m1.10.10.1.1.3.1.1.1.1.1.1" xref="S3.Ex1.m1.10.10.1.1.3.1.1.1.1.1.1.cmml">​</mo><mrow id="S3.Ex1.m1.10.10.1.1.3.1.1.1.1.1.3.2" xref="S3.Ex1.m1.10.10.1.1.3.1.1.1.1.1.3.1.cmml"><mo stretchy="false" id="S3.Ex1.m1.10.10.1.1.3.1.1.1.1.1.3.2.1" xref="S3.Ex1.m1.10.10.1.1.3.1.1.1.1.1.3.1.cmml">(</mo><mi id="S3.Ex1.m1.5.5" xref="S3.Ex1.m1.5.5.cmml">s</mi><mo id="S3.Ex1.m1.10.10.1.1.3.1.1.1.1.1.3.2.2" xref="S3.Ex1.m1.10.10.1.1.3.1.1.1.1.1.3.1.cmml">,</mo><mi id="S3.Ex1.m1.6.6" xref="S3.Ex1.m1.6.6.cmml">a</mi><mo stretchy="false" id="S3.Ex1.m1.10.10.1.1.3.1.1.1.1.1.3.2.3" xref="S3.Ex1.m1.10.10.1.1.3.1.1.1.1.1.3.1.cmml">)</mo></mrow></mrow><mo id="S3.Ex1.m1.10.10.1.1.3.1.1.1.1.3" xref="S3.Ex1.m1.10.10.1.1.3.1.1.1.2.1.cmml">]</mo></mrow></mrow></mrow><mo id="S3.Ex1.m1.10.10.1.1.4.3" xref="S3.Ex1.m1.10.10.1.1.4.3.cmml">−</mo><mrow id="S3.Ex1.m1.10.10.1.1.4.2" xref="S3.Ex1.m1.10.10.1.1.4.2.cmml"><msub id="S3.Ex1.m1.10.10.1.1.4.2.3" xref="S3.Ex1.m1.10.10.1.1.4.2.3.cmml"><mi id="S3.Ex1.m1.10.10.1.1.4.2.3.2" xref="S3.Ex1.m1.10.10.1.1.4.2.3.2.cmml">𝔼</mi><mrow id="S3.Ex1.m1.4.4.2" xref="S3.Ex1.m1.4.4.2.cmml"><mrow id="S3.Ex1.m1.4.4.2.4.2" xref="S3.Ex1.m1.4.4.2.4.1.cmml"><mo stretchy="false" id="S3.Ex1.m1.4.4.2.4.2.1" xref="S3.Ex1.m1.4.4.2.4.1.cmml">(</mo><mi id="S3.Ex1.m1.3.3.1.1" xref="S3.Ex1.m1.3.3.1.1.cmml">s</mi><mo id="S3.Ex1.m1.4.4.2.4.2.2" xref="S3.Ex1.m1.4.4.2.4.1.cmml">,</mo><mi id="S3.Ex1.m1.4.4.2.2" xref="S3.Ex1.m1.4.4.2.2.cmml">a</mi><mo stretchy="false" id="S3.Ex1.m1.4.4.2.4.2.3" xref="S3.Ex1.m1.4.4.2.4.1.cmml">)</mo></mrow><mo id="S3.Ex1.m1.4.4.2.3" xref="S3.Ex1.m1.4.4.2.3.cmml">∼</mo><msub id="S3.Ex1.m1.4.4.2.5" xref="S3.Ex1.m1.4.4.2.5.cmml"><mi id="S3.Ex1.m1.4.4.2.5.2" xref="S3.Ex1.m1.4.4.2.5.2.cmml">ρ</mi><mtext id="S3.Ex1.m1.4.4.2.5.3" xref="S3.Ex1.m1.4.4.2.5.3a.cmml">data</mtext></msub></mrow></msub><mo lspace="0em" rspace="0em" id="S3.Ex1.m1.10.10.1.1.4.2.2" xref="S3.Ex1.m1.10.10.1.1.4.2.2.cmml">​</mo><mrow id="S3.Ex1.m1.10.10.1.1.4.2.1.1" xref="S3.Ex1.m1.10.10.1.1.4.2.1.2.cmml"><mo id="S3.Ex1.m1.10.10.1.1.4.2.1.1.2" xref="S3.Ex1.m1.10.10.1.1.4.2.1.2.1.cmml">[</mo><mrow id="S3.Ex1.m1.10.10.1.1.4.2.1.1.1" xref="S3.Ex1.m1.10.10.1.1.4.2.1.1.1.cmml"><mi id="S3.Ex1.m1.10.10.1.1.4.2.1.1.1.2" xref="S3.Ex1.m1.10.10.1.1.4.2.1.1.1.2.cmml">r</mi><mo lspace="0em" rspace="0em" id="S3.Ex1.m1.10.10.1.1.4.2.1.1.1.1" xref="S3.Ex1.m1.10.10.1.1.4.2.1.1.1.1.cmml">​</mo><mrow id="S3.Ex1.m1.10.10.1.1.4.2.1.1.1.3.2" xref="S3.Ex1.m1.10.10.1.1.4.2.1.1.1.3.1.cmml"><mo stretchy="false" id="S3.Ex1.m1.10.10.1.1.4.2.1.1.1.3.2.1" xref="S3.Ex1.m1.10.10.1.1.4.2.1.1.1.3.1.cmml">(</mo><mi id="S3.Ex1.m1.7.7" xref="S3.Ex1.m1.7.7.cmml">s</mi><mo id="S3.Ex1.m1.10.10.1.1.4.2.1.1.1.3.2.2" xref="S3.Ex1.m1.10.10.1.1.4.2.1.1.1.3.1.cmml">,</mo><mi id="S3.Ex1.m1.8.8" xref="S3.Ex1.m1.8.8.cmml">a</mi><mo stretchy="false" id="S3.Ex1.m1.10.10.1.1.4.2.1.1.1.3.2.3" xref="S3.Ex1.m1.10.10.1.1.4.2.1.1.1.3.1.cmml">)</mo></mrow></mrow><mo id="S3.Ex1.m1.10.10.1.1.4.2.1.1.3" xref="S3.Ex1.m1.10.10.1.1.4.2.1.2.1.cmml">]</mo></mrow></mrow><mo id="S3.Ex1.m1.10.10.1.1.4.3a" xref="S3.Ex1.m1.10.10.1.1.4.3.cmml">−</mo><mrow id="S3.Ex1.m1.10.10.1.1.4.4" xref="S3.Ex1.m1.10.10.1.1.4.4.cmml"><mi id="S3.Ex1.m1.10.10.1.1.4.4.2" xref="S3.Ex1.m1.10.10.1.1.4.4.2.cmml">ψ</mi><mo lspace="0em" rspace="0em" id="S3.Ex1.m1.10.10.1.1.4.4.1" xref="S3.Ex1.m1.10.10.1.1.4.4.1.cmml">​</mo><mrow id="S3.Ex1.m1.10.10.1.1.4.4.3.2" xref="S3.Ex1.m1.10.10.1.1.4.4.cmml"><mo stretchy="false" id="S3.Ex1.m1.10.10.1.1.4.4.3.2.1" xref="S3.Ex1.m1.10.10.1.1.4.4.cmml">(</mo><mi id="S3.Ex1.m1.9.9" xref="S3.Ex1.m1.9.9.cmml">r</mi><mo stretchy="false" id="S3.Ex1.m1.10.10.1.1.4.4.3.2.2" xref="S3.Ex1.m1.10.10.1.1.4.4.cmml">)</mo></mrow></mrow></mrow></mrow><mo id="S3.Ex1.m1.10.10.1.2" xref="S3.Ex1.m1.10.10.1.1.cmml">,</mo></mrow><annotation-xml encoding="MathML-Content" id="S3.Ex1.m1.10b"><apply id="S3.Ex1.m1.10.10.1.1.cmml" xref="S3.Ex1.m1.10.10.1"><eq id="S3.Ex1.m1.10.10.1.1.5.cmml" xref="S3.Ex1.m1.10.10.1.1.5"></eq><apply id="S3.Ex1.m1.10.10.1.1.2.cmml" xref="S3.Ex1.m1.10.10.1.1.2"><times id="S3.Ex1.m1.10.10.1.1.2.3.cmml" xref="S3.Ex1.m1.10.10.1.1.2.3"></times><apply id="S3.Ex1.m1.10.10.1.1.2.4.cmml" xref="S3.Ex1.m1.10.10.1.1.2.4"><csymbol cd="ambiguous" id="S3.Ex1.m1.10.10.1.1.2.4.1.cmml" xref="S3.Ex1.m1.10.10.1.1.2.4">subscript</csymbol><ci id="S3.Ex1.m1.10.10.1.1.2.4.2.cmml" xref="S3.Ex1.m1.10.10.1.1.2.4.2">𝑑</ci><ci id="S3.Ex1.m1.10.10.1.1.2.4.3.cmml" xref="S3.Ex1.m1.10.10.1.1.2.4.3">𝜓</ci></apply><interval closure="open" id="S3.Ex1.m1.10.10.1.1.2.2.3.cmml" xref="S3.Ex1.m1.10.10.1.1.2.2.2"><apply id="S3.Ex1.m1.10.10.1.1.1.1.1.1.cmml" xref="S3.Ex1.m1.10.10.1.1.1.1.1.1"><csymbol cd="ambiguous" id="S3.Ex1.m1.10.10.1.1.1.1.1.1.1.cmml" xref="S3.Ex1.m1.10.10.1.1.1.1.1.1">subscript</csymbol><ci id="S3.Ex1.m1.10.10.1.1.1.1.1.1.2.cmml" xref="S3.Ex1.m1.10.10.1.1.1.1.1.1.2">𝜌</ci><ci id="S3.Ex1.m1.10.10.1.1.1.1.1.1.3.cmml" xref="S3.Ex1.m1.10.10.1.1.1.1.1.1.3">𝜃</ci></apply><apply id="S3.Ex1.m1.10.10.1.1.2.2.2.2.cmml" xref="S3.Ex1.m1.10.10.1.1.2.2.2.2"><csymbol cd="ambiguous" id="S3.Ex1.m1.10.10.1.1.2.2.2.2.1.cmml" xref="S3.Ex1.m1.10.10.1.1.2.2.2.2">subscript</csymbol><ci id="S3.Ex1.m1.10.10.1.1.2.2.2.2.2.cmml" xref="S3.Ex1.m1.10.10.1.1.2.2.2.2.2">𝜌</ci><ci id="S3.Ex1.m1.10.10.1.1.2.2.2.2.3a.cmml" xref="S3.Ex1.m1.10.10.1.1.2.2.2.2.3"><mtext mathsize="70%" id="S3.Ex1.m1.10.10.1.1.2.2.2.2.3.cmml" xref="S3.Ex1.m1.10.10.1.1.2.2.2.2.3">data</mtext></ci></apply></interval></apply><apply id="S3.Ex1.m1.10.10.1.1.4.cmml" xref="S3.Ex1.m1.10.10.1.1.4"><minus id="S3.Ex1.m1.10.10.1.1.4.3.cmml" xref="S3.Ex1.m1.10.10.1.1.4.3"></minus><apply id="S3.Ex1.m1.10.10.1.1.3.1.cmml" xref="S3.Ex1.m1.10.10.1.1.3.1"><apply id="S3.Ex1.m1.10.10.1.1.3.1.2.cmml" xref="S3.Ex1.m1.10.10.1.1.3.1.2"><csymbol cd="ambiguous" id="S3.Ex1.m1.10.10.1.1.3.1.2.1.cmml" xref="S3.Ex1.m1.10.10.1.1.3.1.2">subscript</csymbol><csymbol cd="latexml" id="S3.Ex1.m1.10.10.1.1.3.1.2.2.cmml" xref="S3.Ex1.m1.10.10.1.1.3.1.2.2">supremum</csymbol><apply id="S3.Ex1.m1.10.10.1.1.3.1.2.3.cmml" xref="S3.Ex1.m1.10.10.1.1.3.1.2.3"><in id="S3.Ex1.m1.10.10.1.1.3.1.2.3.1.cmml" xref="S3.Ex1.m1.10.10.1.1.3.1.2.3.1"></in><ci id="S3.Ex1.m1.10.10.1.1.3.1.2.3.2.cmml" xref="S3.Ex1.m1.10.10.1.1.3.1.2.3.2">𝑟</ci><ci id="S3.Ex1.m1.10.10.1.1.3.1.2.3.3.cmml" xref="S3.Ex1.m1.10.10.1.1.3.1.2.3.3">ℛ</ci></apply></apply><apply id="S3.Ex1.m1.10.10.1.1.3.1.1.cmml" xref="S3.Ex1.m1.10.10.1.1.3.1.1"><times id="S3.Ex1.m1.10.10.1.1.3.1.1.2.cmml" xref="S3.Ex1.m1.10.10.1.1.3.1.1.2"></times><apply id="S3.Ex1.m1.10.10.1.1.3.1.1.3.cmml" xref="S3.Ex1.m1.10.10.1.1.3.1.1.3"><csymbol cd="ambiguous" id="S3.Ex1.m1.10.10.1.1.3.1.1.3.1.cmml" xref="S3.Ex1.m1.10.10.1.1.3.1.1.3">subscript</csymbol><ci id="S3.Ex1.m1.10.10.1.1.3.1.1.3.2.cmml" xref="S3.Ex1.m1.10.10.1.1.3.1.1.3.2">𝔼</ci><apply id="S3.Ex1.m1.2.2.2.cmml" xref="S3.Ex1.m1.2.2.2"><csymbol cd="latexml" id="S3.Ex1.m1.2.2.2.3.cmml" xref="S3.Ex1.m1.2.2.2.3">similar-to</csymbol><interval closure="open" id="S3.Ex1.m1.2.2.2.4.1.cmml" xref="S3.Ex1.m1.2.2.2.4.2"><ci id="S3.Ex1.m1.1.1.1.1.cmml" xref="S3.Ex1.m1.1.1.1.1">𝑠</ci><ci id="S3.Ex1.m1.2.2.2.2.cmml" xref="S3.Ex1.m1.2.2.2.2">𝑎</ci></interval><apply id="S3.Ex1.m1.2.2.2.5.cmml" xref="S3.Ex1.m1.2.2.2.5"><csymbol cd="ambiguous" id="S3.Ex1.m1.2.2.2.5.1.cmml" xref="S3.Ex1.m1.2.2.2.5">subscript</csymbol><ci id="S3.Ex1.m1.2.2.2.5.2.cmml" xref="S3.Ex1.m1.2.2.2.5.2">𝜌</ci><ci id="S3.Ex1.m1.2.2.2.5.3.cmml" xref="S3.Ex1.m1.2.2.2.5.3">𝜃</ci></apply></apply></apply><apply id="S3.Ex1.m1.10.10.1.1.3.1.1.1.2.cmml" xref="S3.Ex1.m1.10.10.1.1.3.1.1.1.1"><csymbol cd="latexml" id="S3.Ex1.m1.10.10.1.1.3.1.1.1.2.1.cmml" xref="S3.Ex1.m1.10.10.1.1.3.1.1.1.1.2">delimited-[]</csymbol><apply id="S3.Ex1.m1.10.10.1.1.3.1.1.1.1.1.cmml" xref="S3.Ex1.m1.10.10.1.1.3.1.1.1.1.1"><times id="S3.Ex1.m1.10.10.1.1.3.1.1.1.1.1.1.cmml" xref="S3.Ex1.m1.10.10.1.1.3.1.1.1.1.1.1"></times><ci id="S3.Ex1.m1.10.10.1.1.3.1.1.1.1.1.2.cmml" xref="S3.Ex1.m1.10.10.1.1.3.1.1.1.1.1.2">𝑟</ci><interval closure="open" id="S3.Ex1.m1.10.10.1.1.3.1.1.1.1.1.3.1.cmml" xref="S3.Ex1.m1.10.10.1.1.3.1.1.1.1.1.3.2"><ci id="S3.Ex1.m1.5.5.cmml" xref="S3.Ex1.m1.5.5">𝑠</ci><ci id="S3.Ex1.m1.6.6.cmml" xref="S3.Ex1.m1.6.6">𝑎</ci></interval></apply></apply></apply></apply><apply id="S3.Ex1.m1.10.10.1.1.4.2.cmml" xref="S3.Ex1.m1.10.10.1.1.4.2"><times id="S3.Ex1.m1.10.10.1.1.4.2.2.cmml" xref="S3.Ex1.m1.10.10.1.1.4.2.2"></times><apply id="S3.Ex1.m1.10.10.1.1.4.2.3.cmml" xref="S3.Ex1.m1.10.10.1.1.4.2.3"><csymbol cd="ambiguous" id="S3.Ex1.m1.10.10.1.1.4.2.3.1.cmml" xref="S3.Ex1.m1.10.10.1.1.4.2.3">subscript</csymbol><ci id="S3.Ex1.m1.10.10.1.1.4.2.3.2.cmml" xref="S3.Ex1.m1.10.10.1.1.4.2.3.2">𝔼</ci><apply id="S3.Ex1.m1.4.4.2.cmml" xref="S3.Ex1.m1.4.4.2"><csymbol cd="latexml" id="S3.Ex1.m1.4.4.2.3.cmml" xref="S3.Ex1.m1.4.4.2.3">similar-to</csymbol><interval closure="open" id="S3.Ex1.m1.4.4.2.4.1.cmml" xref="S3.Ex1.m1.4.4.2.4.2"><ci id="S3.Ex1.m1.3.3.1.1.cmml" xref="S3.Ex1.m1.3.3.1.1">𝑠</ci><ci id="S3.Ex1.m1.4.4.2.2.cmml" xref="S3.Ex1.m1.4.4.2.2">𝑎</ci></interval><apply id="S3.Ex1.m1.4.4.2.5.cmml" xref="S3.Ex1.m1.4.4.2.5"><csymbol cd="ambiguous" id="S3.Ex1.m1.4.4.2.5.1.cmml" xref="S3.Ex1.m1.4.4.2.5">subscript</csymbol><ci id="S3.Ex1.m1.4.4.2.5.2.cmml" xref="S3.Ex1.m1.4.4.2.5.2">𝜌</ci><ci id="S3.Ex1.m1.4.4.2.5.3a.cmml" xref="S3.Ex1.m1.4.4.2.5.3"><mtext mathsize="50%" id="S3.Ex1.m1.4.4.2.5.3.cmml" xref="S3.Ex1.m1.4.4.2.5.3">data</mtext></ci></apply></apply></apply><apply id="S3.Ex1.m1.10.10.1.1.4.2.1.2.cmml" xref="S3.Ex1.m1.10.10.1.1.4.2.1.1"><csymbol cd="latexml" id="S3.Ex1.m1.10.10.1.1.4.2.1.2.1.cmml" xref="S3.Ex1.m1.10.10.1.1.4.2.1.1.2">delimited-[]</csymbol><apply id="S3.Ex1.m1.10.10.1.1.4.2.1.1.1.cmml" xref="S3.Ex1.m1.10.10.1.1.4.2.1.1.1"><times id="S3.Ex1.m1.10.10.1.1.4.2.1.1.1.1.cmml" xref="S3.Ex1.m1.10.10.1.1.4.2.1.1.1.1"></times><ci id="S3.Ex1.m1.10.10.1.1.4.2.1.1.1.2.cmml" xref="S3.Ex1.m1.10.10.1.1.4.2.1.1.1.2">𝑟</ci><interval closure="open" id="S3.Ex1.m1.10.10.1.1.4.2.1.1.1.3.1.cmml" xref="S3.Ex1.m1.10.10.1.1.4.2.1.1.1.3.2"><ci id="S3.Ex1.m1.7.7.cmml" xref="S3.Ex1.m1.7.7">𝑠</ci><ci id="S3.Ex1.m1.8.8.cmml" xref="S3.Ex1.m1.8.8">𝑎</ci></interval></apply></apply></apply><apply id="S3.Ex1.m1.10.10.1.1.4.4.cmml" xref="S3.Ex1.m1.10.10.1.1.4.4"><times id="S3.Ex1.m1.10.10.1.1.4.4.1.cmml" xref="S3.Ex1.m1.10.10.1.1.4.4.1"></times><ci id="S3.Ex1.m1.10.10.1.1.4.4.2.cmml" xref="S3.Ex1.m1.10.10.1.1.4.4.2">𝜓</ci><ci id="S3.Ex1.m1.9.9.cmml" xref="S3.Ex1.m1.9.9">𝑟</ci></apply></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="S3.Ex1.m1.10c">\displaystyle d_{\psi}(\rho_{\theta},\rho_{\text{data}})=\sup_{r\in\mathcal{R}}\mathbb{E}_{(s,a)\sim\rho_{\theta}}\left[r(s,a)\right]-\mathbb{E}_{(s,a)\sim\rho_{\text{data}}}\left[r(s,a)\right]-\psi(r),</annotation></semantics></math></td>
<td class="ltx_eqn_cell ltx_eqn_center_padright"></td>
</tr></tbody>
</table>
<p id="S3.SS2.p1.13" class="ltx_p">where <math id="S3.SS2.p1.9.m1.1" class="ltx_Math" alttext="\psi" display="inline"><semantics id="S3.SS2.p1.9.m1.1a"><mi id="S3.SS2.p1.9.m1.1.1" xref="S3.SS2.p1.9.m1.1.1.cmml">ψ</mi><annotation-xml encoding="MathML-Content" id="S3.SS2.p1.9.m1.1b"><ci id="S3.SS2.p1.9.m1.1.1.cmml" xref="S3.SS2.p1.9.m1.1.1">𝜓</ci></annotation-xml><annotation encoding="application/x-tex" id="S3.SS2.p1.9.m1.1c">\psi</annotation></semantics></math> is a convex regularizer. The critic <math id="S3.SS2.p1.10.m2.1" class="ltx_Math" alttext="r" display="inline"><semantics id="S3.SS2.p1.10.m2.1a"><mi id="S3.SS2.p1.10.m2.1.1" xref="S3.SS2.p1.10.m2.1.1.cmml">r</mi><annotation-xml encoding="MathML-Content" id="S3.SS2.p1.10.m2.1b"><ci id="S3.SS2.p1.10.m2.1.1.cmml" xref="S3.SS2.p1.10.m2.1.1">𝑟</ci></annotation-xml><annotation encoding="application/x-tex" id="S3.SS2.p1.10.m2.1c">r</annotation></semantics></math> picks out any differences between the occupancies, while if <math id="S3.SS2.p1.11.m3.1" class="ltx_Math" alttext="\rho_{\theta}=\rho_{\text{data}}" display="inline"><semantics id="S3.SS2.p1.11.m3.1a"><mrow id="S3.SS2.p1.11.m3.1.1" xref="S3.SS2.p1.11.m3.1.1.cmml"><msub id="S3.SS2.p1.11.m3.1.1.2" xref="S3.SS2.p1.11.m3.1.1.2.cmml"><mi id="S3.SS2.p1.11.m3.1.1.2.2" xref="S3.SS2.p1.11.m3.1.1.2.2.cmml">ρ</mi><mi id="S3.SS2.p1.11.m3.1.1.2.3" xref="S3.SS2.p1.11.m3.1.1.2.3.cmml">θ</mi></msub><mo id="S3.SS2.p1.11.m3.1.1.1" xref="S3.SS2.p1.11.m3.1.1.1.cmml">=</mo><msub id="S3.SS2.p1.11.m3.1.1.3" xref="S3.SS2.p1.11.m3.1.1.3.cmml"><mi id="S3.SS2.p1.11.m3.1.1.3.2" xref="S3.SS2.p1.11.m3.1.1.3.2.cmml">ρ</mi><mtext id="S3.SS2.p1.11.m3.1.1.3.3" xref="S3.SS2.p1.11.m3.1.1.3.3a.cmml">data</mtext></msub></mrow><annotation-xml encoding="MathML-Content" id="S3.SS2.p1.11.m3.1b"><apply id="S3.SS2.p1.11.m3.1.1.cmml" xref="S3.SS2.p1.11.m3.1.1"><eq id="S3.SS2.p1.11.m3.1.1.1.cmml" xref="S3.SS2.p1.11.m3.1.1.1"></eq><apply id="S3.SS2.p1.11.m3.1.1.2.cmml" xref="S3.SS2.p1.11.m3.1.1.2"><csymbol cd="ambiguous" id="S3.SS2.p1.11.m3.1.1.2.1.cmml" xref="S3.SS2.p1.11.m3.1.1.2">subscript</csymbol><ci id="S3.SS2.p1.11.m3.1.1.2.2.cmml" xref="S3.SS2.p1.11.m3.1.1.2.2">𝜌</ci><ci id="S3.SS2.p1.11.m3.1.1.2.3.cmml" xref="S3.SS2.p1.11.m3.1.1.2.3">𝜃</ci></apply><apply id="S3.SS2.p1.11.m3.1.1.3.cmml" xref="S3.SS2.p1.11.m3.1.1.3"><csymbol cd="ambiguous" id="S3.SS2.p1.11.m3.1.1.3.1.cmml" xref="S3.SS2.p1.11.m3.1.1.3">subscript</csymbol><ci id="S3.SS2.p1.11.m3.1.1.3.2.cmml" xref="S3.SS2.p1.11.m3.1.1.3.2">𝜌</ci><ci id="S3.SS2.p1.11.m3.1.1.3.3a.cmml" xref="S3.SS2.p1.11.m3.1.1.3.3"><mtext mathsize="70%" id="S3.SS2.p1.11.m3.1.1.3.3.cmml" xref="S3.SS2.p1.11.m3.1.1.3.3">data</mtext></ci></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="S3.SS2.p1.11.m3.1c">\rho_{\theta}=\rho_{\text{data}}</annotation></semantics></math>, the difference in expectations will be zero for any <math id="S3.SS2.p1.12.m4.1" class="ltx_Math" alttext="r" display="inline"><semantics id="S3.SS2.p1.12.m4.1a"><mi id="S3.SS2.p1.12.m4.1.1" xref="S3.SS2.p1.12.m4.1.1.cmml">r</mi><annotation-xml encoding="MathML-Content" id="S3.SS2.p1.12.m4.1b"><ci id="S3.SS2.p1.12.m4.1.1.cmml" xref="S3.SS2.p1.12.m4.1.1">𝑟</ci></annotation-xml><annotation encoding="application/x-tex" id="S3.SS2.p1.12.m4.1c">r</annotation></semantics></math>.
This family of divergences might seem restrictive, but show in the appendix that it includes all <math id="S3.SS2.p1.13.m5.1" class="ltx_Math" alttext="f" display="inline"><semantics id="S3.SS2.p1.13.m5.1a"><mi id="S3.SS2.p1.13.m5.1.1" xref="S3.SS2.p1.13.m5.1.1.cmml">f</mi><annotation-xml encoding="MathML-Content" id="S3.SS2.p1.13.m5.1b"><ci id="S3.SS2.p1.13.m5.1.1.cmml" xref="S3.SS2.p1.13.m5.1.1">𝑓</ci></annotation-xml><annotation encoding="application/x-tex" id="S3.SS2.p1.13.m5.1c">f</annotation></semantics></math>-divergences such as the KL and JS-divergence, as well as the Wasserstein distance and MMD.
The divergence minimization problem can be made tractable by adding an entropy term:</p>
<table id="A9.EGx4" class="ltx_equationgroup ltx_eqn_align ltx_eqn_table">

<tbody id="S3.E4"><tr class="ltx_equation ltx_eqn_row ltx_align_baseline">
<td class="ltx_eqn_cell ltx_eqn_center_padleft"></td>
<td class="ltx_td ltx_align_right ltx_eqn_cell"><math id="S3.E4.m1.1" class="ltx_Math" alttext="\displaystyle\inf_{\theta}d_{\psi}(\rho_{\theta},\rho_{\text{data}})-\alpha H[\rho_{\theta}]," display="inline"><semantics id="S3.E4.m1.1a"><mrow id="S3.E4.m1.1.1.1" xref="S3.E4.m1.1.1.1.1.cmml"><mrow id="S3.E4.m1.1.1.1.1" xref="S3.E4.m1.1.1.1.1.cmml"><mrow id="S3.E4.m1.1.1.1.1.2" xref="S3.E4.m1.1.1.1.1.2.cmml"><munder id="S3.E4.m1.1.1.1.1.2.3" xref="S3.E4.m1.1.1.1.1.2.3.cmml"><mo movablelimits="false" id="S3.E4.m1.1.1.1.1.2.3.2" xref="S3.E4.m1.1.1.1.1.2.3.2.cmml">inf</mo><mi id="S3.E4.m1.1.1.1.1.2.3.3" xref="S3.E4.m1.1.1.1.1.2.3.3.cmml">θ</mi></munder><mrow id="S3.E4.m1.1.1.1.1.2.2" xref="S3.E4.m1.1.1.1.1.2.2.cmml"><msub id="S3.E4.m1.1.1.1.1.2.2.4" xref="S3.E4.m1.1.1.1.1.2.2.4.cmml"><mi id="S3.E4.m1.1.1.1.1.2.2.4.2" xref="S3.E4.m1.1.1.1.1.2.2.4.2.cmml">d</mi><mi id="S3.E4.m1.1.1.1.1.2.2.4.3" xref="S3.E4.m1.1.1.1.1.2.2.4.3.cmml">ψ</mi></msub><mo lspace="0em" rspace="0em" id="S3.E4.m1.1.1.1.1.2.2.3" xref="S3.E4.m1.1.1.1.1.2.2.3.cmml">​</mo><mrow id="S3.E4.m1.1.1.1.1.2.2.2.2" xref="S3.E4.m1.1.1.1.1.2.2.2.3.cmml"><mo stretchy="false" id="S3.E4.m1.1.1.1.1.2.2.2.2.3" xref="S3.E4.m1.1.1.1.1.2.2.2.3.cmml">(</mo><msub id="S3.E4.m1.1.1.1.1.1.1.1.1.1" xref="S3.E4.m1.1.1.1.1.1.1.1.1.1.cmml"><mi id="S3.E4.m1.1.1.1.1.1.1.1.1.1.2" xref="S3.E4.m1.1.1.1.1.1.1.1.1.1.2.cmml">ρ</mi><mi id="S3.E4.m1.1.1.1.1.1.1.1.1.1.3" xref="S3.E4.m1.1.1.1.1.1.1.1.1.1.3.cmml">θ</mi></msub><mo id="S3.E4.m1.1.1.1.1.2.2.2.2.4" xref="S3.E4.m1.1.1.1.1.2.2.2.3.cmml">,</mo><msub id="S3.E4.m1.1.1.1.1.2.2.2.2.2" xref="S3.E4.m1.1.1.1.1.2.2.2.2.2.cmml"><mi id="S3.E4.m1.1.1.1.1.2.2.2.2.2.2" xref="S3.E4.m1.1.1.1.1.2.2.2.2.2.2.cmml">ρ</mi><mtext id="S3.E4.m1.1.1.1.1.2.2.2.2.2.3" xref="S3.E4.m1.1.1.1.1.2.2.2.2.2.3a.cmml">data</mtext></msub><mo stretchy="false" id="S3.E4.m1.1.1.1.1.2.2.2.2.5" xref="S3.E4.m1.1.1.1.1.2.2.2.3.cmml">)</mo></mrow></mrow></mrow><mo id="S3.E4.m1.1.1.1.1.4" xref="S3.E4.m1.1.1.1.1.4.cmml">−</mo><mrow id="S3.E4.m1.1.1.1.1.3" xref="S3.E4.m1.1.1.1.1.3.cmml"><mi id="S3.E4.m1.1.1.1.1.3.3" xref="S3.E4.m1.1.1.1.1.3.3.cmml">α</mi><mo lspace="0em" rspace="0em" id="S3.E4.m1.1.1.1.1.3.2" xref="S3.E4.m1.1.1.1.1.3.2.cmml">​</mo><mi id="S3.E4.m1.1.1.1.1.3.4" xref="S3.E4.m1.1.1.1.1.3.4.cmml">H</mi><mo lspace="0em" rspace="0em" id="S3.E4.m1.1.1.1.1.3.2a" xref="S3.E4.m1.1.1.1.1.3.2.cmml">​</mo><mrow id="S3.E4.m1.1.1.1.1.3.1.1" xref="S3.E4.m1.1.1.1.1.3.1.2.cmml"><mo stretchy="false" id="S3.E4.m1.1.1.1.1.3.1.1.2" xref="S3.E4.m1.1.1.1.1.3.1.2.1.cmml">[</mo><msub id="S3.E4.m1.1.1.1.1.3.1.1.1" xref="S3.E4.m1.1.1.1.1.3.1.1.1.cmml"><mi id="S3.E4.m1.1.1.1.1.3.1.1.1.2" xref="S3.E4.m1.1.1.1.1.3.1.1.1.2.cmml">ρ</mi><mi id="S3.E4.m1.1.1.1.1.3.1.1.1.3" xref="S3.E4.m1.1.1.1.1.3.1.1.1.3.cmml">θ</mi></msub><mo stretchy="false" id="S3.E4.m1.1.1.1.1.3.1.1.3" xref="S3.E4.m1.1.1.1.1.3.1.2.1.cmml">]</mo></mrow></mrow></mrow><mo id="S3.E4.m1.1.1.1.2" xref="S3.E4.m1.1.1.1.1.cmml">,</mo></mrow><annotation-xml encoding="MathML-Content" id="S3.E4.m1.1b"><apply id="S3.E4.m1.1.1.1.1.cmml" xref="S3.E4.m1.1.1.1"><minus id="S3.E4.m1.1.1.1.1.4.cmml" xref="S3.E4.m1.1.1.1.1.4"></minus><apply id="S3.E4.m1.1.1.1.1.2.cmml" xref="S3.E4.m1.1.1.1.1.2"><apply id="S3.E4.m1.1.1.1.1.2.3.cmml" xref="S3.E4.m1.1.1.1.1.2.3"><csymbol cd="ambiguous" id="S3.E4.m1.1.1.1.1.2.3.1.cmml" xref="S3.E4.m1.1.1.1.1.2.3">subscript</csymbol><csymbol cd="latexml" id="S3.E4.m1.1.1.1.1.2.3.2.cmml" xref="S3.E4.m1.1.1.1.1.2.3.2">infimum</csymbol><ci id="S3.E4.m1.1.1.1.1.2.3.3.cmml" xref="S3.E4.m1.1.1.1.1.2.3.3">𝜃</ci></apply><apply id="S3.E4.m1.1.1.1.1.2.2.cmml" xref="S3.E4.m1.1.1.1.1.2.2"><times id="S3.E4.m1.1.1.1.1.2.2.3.cmml" xref="S3.E4.m1.1.1.1.1.2.2.3"></times><apply id="S3.E4.m1.1.1.1.1.2.2.4.cmml" xref="S3.E4.m1.1.1.1.1.2.2.4"><csymbol cd="ambiguous" id="S3.E4.m1.1.1.1.1.2.2.4.1.cmml" xref="S3.E4.m1.1.1.1.1.2.2.4">subscript</csymbol><ci id="S3.E4.m1.1.1.1.1.2.2.4.2.cmml" xref="S3.E4.m1.1.1.1.1.2.2.4.2">𝑑</ci><ci id="S3.E4.m1.1.1.1.1.2.2.4.3.cmml" xref="S3.E4.m1.1.1.1.1.2.2.4.3">𝜓</ci></apply><interval closure="open" id="S3.E4.m1.1.1.1.1.2.2.2.3.cmml" xref="S3.E4.m1.1.1.1.1.2.2.2.2"><apply id="S3.E4.m1.1.1.1.1.1.1.1.1.1.cmml" xref="S3.E4.m1.1.1.1.1.1.1.1.1.1"><csymbol cd="ambiguous" id="S3.E4.m1.1.1.1.1.1.1.1.1.1.1.cmml" xref="S3.E4.m1.1.1.1.1.1.1.1.1.1">subscript</csymbol><ci id="S3.E4.m1.1.1.1.1.1.1.1.1.1.2.cmml" xref="S3.E4.m1.1.1.1.1.1.1.1.1.1.2">𝜌</ci><ci id="S3.E4.m1.1.1.1.1.1.1.1.1.1.3.cmml" xref="S3.E4.m1.1.1.1.1.1.1.1.1.1.3">𝜃</ci></apply><apply id="S3.E4.m1.1.1.1.1.2.2.2.2.2.cmml" xref="S3.E4.m1.1.1.1.1.2.2.2.2.2"><csymbol cd="ambiguous" id="S3.E4.m1.1.1.1.1.2.2.2.2.2.1.cmml" xref="S3.E4.m1.1.1.1.1.2.2.2.2.2">subscript</csymbol><ci id="S3.E4.m1.1.1.1.1.2.2.2.2.2.2.cmml" xref="S3.E4.m1.1.1.1.1.2.2.2.2.2.2">𝜌</ci><ci id="S3.E4.m1.1.1.1.1.2.2.2.2.2.3a.cmml" xref="S3.E4.m1.1.1.1.1.2.2.2.2.2.3"><mtext mathsize="70%" id="S3.E4.m1.1.1.1.1.2.2.2.2.2.3.cmml" xref="S3.E4.m1.1.1.1.1.2.2.2.2.2.3">data</mtext></ci></apply></interval></apply></apply><apply id="S3.E4.m1.1.1.1.1.3.cmml" xref="S3.E4.m1.1.1.1.1.3"><times id="S3.E4.m1.1.1.1.1.3.2.cmml" xref="S3.E4.m1.1.1.1.1.3.2"></times><ci id="S3.E4.m1.1.1.1.1.3.3.cmml" xref="S3.E4.m1.1.1.1.1.3.3">𝛼</ci><ci id="S3.E4.m1.1.1.1.1.3.4.cmml" xref="S3.E4.m1.1.1.1.1.3.4">𝐻</ci><apply id="S3.E4.m1.1.1.1.1.3.1.2.cmml" xref="S3.E4.m1.1.1.1.1.3.1.1"><csymbol cd="latexml" id="S3.E4.m1.1.1.1.1.3.1.2.1.cmml" xref="S3.E4.m1.1.1.1.1.3.1.1.2">delimited-[]</csymbol><apply id="S3.E4.m1.1.1.1.1.3.1.1.1.cmml" xref="S3.E4.m1.1.1.1.1.3.1.1.1"><csymbol cd="ambiguous" id="S3.E4.m1.1.1.1.1.3.1.1.1.1.cmml" xref="S3.E4.m1.1.1.1.1.3.1.1.1">subscript</csymbol><ci id="S3.E4.m1.1.1.1.1.3.1.1.1.2.cmml" xref="S3.E4.m1.1.1.1.1.3.1.1.1.2">𝜌</ci><ci id="S3.E4.m1.1.1.1.1.3.1.1.1.3.cmml" xref="S3.E4.m1.1.1.1.1.3.1.1.1.3">𝜃</ci></apply></apply></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="S3.E4.m1.1c">\displaystyle\inf_{\theta}d_{\psi}(\rho_{\theta},\rho_{\text{data}})-\alpha H[\rho_{\theta}],</annotation></semantics></math></td>
<td class="ltx_eqn_cell ltx_eqn_center_padright"></td>
<td rowspan="1" class="ltx_eqn_cell ltx_eqn_eqno ltx_align_middle ltx_align_right"><span class="ltx_tag ltx_tag_equation ltx_align_right">(4)</span></td>
</tr></tbody>
</table>
<p id="S3.SS2.p1.30" class="ltx_p">with the entropy <math id="S3.SS2.p1.14.m1.6" class="ltx_Math" alttext="H[\rho_{\theta}]=-\mathbb{E}_{(s,a)\sim\log\rho_{\theta}}\left[\log\rho_{\theta}(s,a)\right]" display="inline"><semantics id="S3.SS2.p1.14.m1.6a"><mrow id="S3.SS2.p1.14.m1.6.6" xref="S3.SS2.p1.14.m1.6.6.cmml"><mrow id="S3.SS2.p1.14.m1.5.5.1" xref="S3.SS2.p1.14.m1.5.5.1.cmml"><mi id="S3.SS2.p1.14.m1.5.5.1.3" xref="S3.SS2.p1.14.m1.5.5.1.3.cmml">H</mi><mo lspace="0em" rspace="0em" id="S3.SS2.p1.14.m1.5.5.1.2" xref="S3.SS2.p1.14.m1.5.5.1.2.cmml">​</mo><mrow id="S3.SS2.p1.14.m1.5.5.1.1.1" xref="S3.SS2.p1.14.m1.5.5.1.1.2.cmml"><mo stretchy="false" id="S3.SS2.p1.14.m1.5.5.1.1.1.2" xref="S3.SS2.p1.14.m1.5.5.1.1.2.1.cmml">[</mo><msub id="S3.SS2.p1.14.m1.5.5.1.1.1.1" xref="S3.SS2.p1.14.m1.5.5.1.1.1.1.cmml"><mi id="S3.SS2.p1.14.m1.5.5.1.1.1.1.2" xref="S3.SS2.p1.14.m1.5.5.1.1.1.1.2.cmml">ρ</mi><mi id="S3.SS2.p1.14.m1.5.5.1.1.1.1.3" xref="S3.SS2.p1.14.m1.5.5.1.1.1.1.3.cmml">θ</mi></msub><mo stretchy="false" id="S3.SS2.p1.14.m1.5.5.1.1.1.3" xref="S3.SS2.p1.14.m1.5.5.1.1.2.1.cmml">]</mo></mrow></mrow><mo id="S3.SS2.p1.14.m1.6.6.3" xref="S3.SS2.p1.14.m1.6.6.3.cmml">=</mo><mrow id="S3.SS2.p1.14.m1.6.6.2" xref="S3.SS2.p1.14.m1.6.6.2.cmml"><mo id="S3.SS2.p1.14.m1.6.6.2a" xref="S3.SS2.p1.14.m1.6.6.2.cmml">−</mo><mrow id="S3.SS2.p1.14.m1.6.6.2.1" xref="S3.SS2.p1.14.m1.6.6.2.1.cmml"><msub id="S3.SS2.p1.14.m1.6.6.2.1.3" xref="S3.SS2.p1.14.m1.6.6.2.1.3.cmml"><mi id="S3.SS2.p1.14.m1.6.6.2.1.3.2" xref="S3.SS2.p1.14.m1.6.6.2.1.3.2.cmml">𝔼</mi><mrow id="S3.SS2.p1.14.m1.2.2.2" xref="S3.SS2.p1.14.m1.2.2.2.cmml"><mrow id="S3.SS2.p1.14.m1.2.2.2.4.2" xref="S3.SS2.p1.14.m1.2.2.2.4.1.cmml"><mo stretchy="false" id="S3.SS2.p1.14.m1.2.2.2.4.2.1" xref="S3.SS2.p1.14.m1.2.2.2.4.1.cmml">(</mo><mi id="S3.SS2.p1.14.m1.1.1.1.1" xref="S3.SS2.p1.14.m1.1.1.1.1.cmml">s</mi><mo id="S3.SS2.p1.14.m1.2.2.2.4.2.2" xref="S3.SS2.p1.14.m1.2.2.2.4.1.cmml">,</mo><mi id="S3.SS2.p1.14.m1.2.2.2.2" xref="S3.SS2.p1.14.m1.2.2.2.2.cmml">a</mi><mo stretchy="false" id="S3.SS2.p1.14.m1.2.2.2.4.2.3" xref="S3.SS2.p1.14.m1.2.2.2.4.1.cmml">)</mo></mrow><mo id="S3.SS2.p1.14.m1.2.2.2.3" xref="S3.SS2.p1.14.m1.2.2.2.3.cmml">∼</mo><mrow id="S3.SS2.p1.14.m1.2.2.2.5" xref="S3.SS2.p1.14.m1.2.2.2.5.cmml"><mi id="S3.SS2.p1.14.m1.2.2.2.5.1" xref="S3.SS2.p1.14.m1.2.2.2.5.1.cmml">log</mi><mo lspace="0.167em" id="S3.SS2.p1.14.m1.2.2.2.5a" xref="S3.SS2.p1.14.m1.2.2.2.5.cmml">⁡</mo><msub id="S3.SS2.p1.14.m1.2.2.2.5.2" xref="S3.SS2.p1.14.m1.2.2.2.5.2.cmml"><mi id="S3.SS2.p1.14.m1.2.2.2.5.2.2" xref="S3.SS2.p1.14.m1.2.2.2.5.2.2.cmml">ρ</mi><mi id="S3.SS2.p1.14.m1.2.2.2.5.2.3" xref="S3.SS2.p1.14.m1.2.2.2.5.2.3.cmml">θ</mi></msub></mrow></mrow></msub><mo lspace="0em" rspace="0em" id="S3.SS2.p1.14.m1.6.6.2.1.2" xref="S3.SS2.p1.14.m1.6.6.2.1.2.cmml">​</mo><mrow id="S3.SS2.p1.14.m1.6.6.2.1.1.1" xref="S3.SS2.p1.14.m1.6.6.2.1.1.2.cmml"><mo id="S3.SS2.p1.14.m1.6.6.2.1.1.1.2" xref="S3.SS2.p1.14.m1.6.6.2.1.1.2.1.cmml">[</mo><mrow id="S3.SS2.p1.14.m1.6.6.2.1.1.1.1" xref="S3.SS2.p1.14.m1.6.6.2.1.1.1.1.cmml"><mrow id="S3.SS2.p1.14.m1.6.6.2.1.1.1.1.2" xref="S3.SS2.p1.14.m1.6.6.2.1.1.1.1.2.cmml"><mi id="S3.SS2.p1.14.m1.6.6.2.1.1.1.1.2.1" xref="S3.SS2.p1.14.m1.6.6.2.1.1.1.1.2.1.cmml">log</mi><mo lspace="0.167em" id="S3.SS2.p1.14.m1.6.6.2.1.1.1.1.2a" xref="S3.SS2.p1.14.m1.6.6.2.1.1.1.1.2.cmml">⁡</mo><msub id="S3.SS2.p1.14.m1.6.6.2.1.1.1.1.2.2" xref="S3.SS2.p1.14.m1.6.6.2.1.1.1.1.2.2.cmml"><mi id="S3.SS2.p1.14.m1.6.6.2.1.1.1.1.2.2.2" xref="S3.SS2.p1.14.m1.6.6.2.1.1.1.1.2.2.2.cmml">ρ</mi><mi id="S3.SS2.p1.14.m1.6.6.2.1.1.1.1.2.2.3" xref="S3.SS2.p1.14.m1.6.6.2.1.1.1.1.2.2.3.cmml">θ</mi></msub></mrow><mo lspace="0em" rspace="0em" id="S3.SS2.p1.14.m1.6.6.2.1.1.1.1.1" xref="S3.SS2.p1.14.m1.6.6.2.1.1.1.1.1.cmml">​</mo><mrow id="S3.SS2.p1.14.m1.6.6.2.1.1.1.1.3.2" xref="S3.SS2.p1.14.m1.6.6.2.1.1.1.1.3.1.cmml"><mo stretchy="false" id="S3.SS2.p1.14.m1.6.6.2.1.1.1.1.3.2.1" xref="S3.SS2.p1.14.m1.6.6.2.1.1.1.1.3.1.cmml">(</mo><mi id="S3.SS2.p1.14.m1.3.3" xref="S3.SS2.p1.14.m1.3.3.cmml">s</mi><mo id="S3.SS2.p1.14.m1.6.6.2.1.1.1.1.3.2.2" xref="S3.SS2.p1.14.m1.6.6.2.1.1.1.1.3.1.cmml">,</mo><mi id="S3.SS2.p1.14.m1.4.4" xref="S3.SS2.p1.14.m1.4.4.cmml">a</mi><mo stretchy="false" id="S3.SS2.p1.14.m1.6.6.2.1.1.1.1.3.2.3" xref="S3.SS2.p1.14.m1.6.6.2.1.1.1.1.3.1.cmml">)</mo></mrow></mrow><mo id="S3.SS2.p1.14.m1.6.6.2.1.1.1.3" xref="S3.SS2.p1.14.m1.6.6.2.1.1.2.1.cmml">]</mo></mrow></mrow></mrow></mrow><annotation-xml encoding="MathML-Content" id="S3.SS2.p1.14.m1.6b"><apply id="S3.SS2.p1.14.m1.6.6.cmml" xref="S3.SS2.p1.14.m1.6.6"><eq id="S3.SS2.p1.14.m1.6.6.3.cmml" xref="S3.SS2.p1.14.m1.6.6.3"></eq><apply id="S3.SS2.p1.14.m1.5.5.1.cmml" xref="S3.SS2.p1.14.m1.5.5.1"><times id="S3.SS2.p1.14.m1.5.5.1.2.cmml" xref="S3.SS2.p1.14.m1.5.5.1.2"></times><ci id="S3.SS2.p1.14.m1.5.5.1.3.cmml" xref="S3.SS2.p1.14.m1.5.5.1.3">𝐻</ci><apply id="S3.SS2.p1.14.m1.5.5.1.1.2.cmml" xref="S3.SS2.p1.14.m1.5.5.1.1.1"><csymbol cd="latexml" id="S3.SS2.p1.14.m1.5.5.1.1.2.1.cmml" xref="S3.SS2.p1.14.m1.5.5.1.1.1.2">delimited-[]</csymbol><apply id="S3.SS2.p1.14.m1.5.5.1.1.1.1.cmml" xref="S3.SS2.p1.14.m1.5.5.1.1.1.1"><csymbol cd="ambiguous" id="S3.SS2.p1.14.m1.5.5.1.1.1.1.1.cmml" xref="S3.SS2.p1.14.m1.5.5.1.1.1.1">subscript</csymbol><ci id="S3.SS2.p1.14.m1.5.5.1.1.1.1.2.cmml" xref="S3.SS2.p1.14.m1.5.5.1.1.1.1.2">𝜌</ci><ci id="S3.SS2.p1.14.m1.5.5.1.1.1.1.3.cmml" xref="S3.SS2.p1.14.m1.5.5.1.1.1.1.3">𝜃</ci></apply></apply></apply><apply id="S3.SS2.p1.14.m1.6.6.2.cmml" xref="S3.SS2.p1.14.m1.6.6.2"><minus id="S3.SS2.p1.14.m1.6.6.2.2.cmml" xref="S3.SS2.p1.14.m1.6.6.2"></minus><apply id="S3.SS2.p1.14.m1.6.6.2.1.cmml" xref="S3.SS2.p1.14.m1.6.6.2.1"><times id="S3.SS2.p1.14.m1.6.6.2.1.2.cmml" xref="S3.SS2.p1.14.m1.6.6.2.1.2"></times><apply id="S3.SS2.p1.14.m1.6.6.2.1.3.cmml" xref="S3.SS2.p1.14.m1.6.6.2.1.3"><csymbol cd="ambiguous" id="S3.SS2.p1.14.m1.6.6.2.1.3.1.cmml" xref="S3.SS2.p1.14.m1.6.6.2.1.3">subscript</csymbol><ci id="S3.SS2.p1.14.m1.6.6.2.1.3.2.cmml" xref="S3.SS2.p1.14.m1.6.6.2.1.3.2">𝔼</ci><apply id="S3.SS2.p1.14.m1.2.2.2.cmml" xref="S3.SS2.p1.14.m1.2.2.2"><csymbol cd="latexml" id="S3.SS2.p1.14.m1.2.2.2.3.cmml" xref="S3.SS2.p1.14.m1.2.2.2.3">similar-to</csymbol><interval closure="open" id="S3.SS2.p1.14.m1.2.2.2.4.1.cmml" xref="S3.SS2.p1.14.m1.2.2.2.4.2"><ci id="S3.SS2.p1.14.m1.1.1.1.1.cmml" xref="S3.SS2.p1.14.m1.1.1.1.1">𝑠</ci><ci id="S3.SS2.p1.14.m1.2.2.2.2.cmml" xref="S3.SS2.p1.14.m1.2.2.2.2">𝑎</ci></interval><apply id="S3.SS2.p1.14.m1.2.2.2.5.cmml" xref="S3.SS2.p1.14.m1.2.2.2.5"><log id="S3.SS2.p1.14.m1.2.2.2.5.1.cmml" xref="S3.SS2.p1.14.m1.2.2.2.5.1"></log><apply id="S3.SS2.p1.14.m1.2.2.2.5.2.cmml" xref="S3.SS2.p1.14.m1.2.2.2.5.2"><csymbol cd="ambiguous" id="S3.SS2.p1.14.m1.2.2.2.5.2.1.cmml" xref="S3.SS2.p1.14.m1.2.2.2.5.2">subscript</csymbol><ci id="S3.SS2.p1.14.m1.2.2.2.5.2.2.cmml" xref="S3.SS2.p1.14.m1.2.2.2.5.2.2">𝜌</ci><ci id="S3.SS2.p1.14.m1.2.2.2.5.2.3.cmml" xref="S3.SS2.p1.14.m1.2.2.2.5.2.3">𝜃</ci></apply></apply></apply></apply><apply id="S3.SS2.p1.14.m1.6.6.2.1.1.2.cmml" xref="S3.SS2.p1.14.m1.6.6.2.1.1.1"><csymbol cd="latexml" id="S3.SS2.p1.14.m1.6.6.2.1.1.2.1.cmml" xref="S3.SS2.p1.14.m1.6.6.2.1.1.1.2">delimited-[]</csymbol><apply id="S3.SS2.p1.14.m1.6.6.2.1.1.1.1.cmml" xref="S3.SS2.p1.14.m1.6.6.2.1.1.1.1"><times id="S3.SS2.p1.14.m1.6.6.2.1.1.1.1.1.cmml" xref="S3.SS2.p1.14.m1.6.6.2.1.1.1.1.1"></times><apply id="S3.SS2.p1.14.m1.6.6.2.1.1.1.1.2.cmml" xref="S3.SS2.p1.14.m1.6.6.2.1.1.1.1.2"><log id="S3.SS2.p1.14.m1.6.6.2.1.1.1.1.2.1.cmml" xref="S3.SS2.p1.14.m1.6.6.2.1.1.1.1.2.1"></log><apply id="S3.SS2.p1.14.m1.6.6.2.1.1.1.1.2.2.cmml" xref="S3.SS2.p1.14.m1.6.6.2.1.1.1.1.2.2"><csymbol cd="ambiguous" id="S3.SS2.p1.14.m1.6.6.2.1.1.1.1.2.2.1.cmml" xref="S3.SS2.p1.14.m1.6.6.2.1.1.1.1.2.2">subscript</csymbol><ci id="S3.SS2.p1.14.m1.6.6.2.1.1.1.1.2.2.2.cmml" xref="S3.SS2.p1.14.m1.6.6.2.1.1.1.1.2.2.2">𝜌</ci><ci id="S3.SS2.p1.14.m1.6.6.2.1.1.1.1.2.2.3.cmml" xref="S3.SS2.p1.14.m1.6.6.2.1.1.1.1.2.2.3">𝜃</ci></apply></apply><interval closure="open" id="S3.SS2.p1.14.m1.6.6.2.1.1.1.1.3.1.cmml" xref="S3.SS2.p1.14.m1.6.6.2.1.1.1.1.3.2"><ci id="S3.SS2.p1.14.m1.3.3.cmml" xref="S3.SS2.p1.14.m1.3.3">𝑠</ci><ci id="S3.SS2.p1.14.m1.4.4.cmml" xref="S3.SS2.p1.14.m1.4.4">𝑎</ci></interval></apply></apply></apply></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="S3.SS2.p1.14.m1.6c">H[\rho_{\theta}]=-\mathbb{E}_{(s,a)\sim\log\rho_{\theta}}\left[\log\rho_{\theta}(s,a)\right]</annotation></semantics></math>, and <math id="S3.SS2.p1.15.m2.1" class="ltx_Math" alttext="\alpha" display="inline"><semantics id="S3.SS2.p1.15.m2.1a"><mi id="S3.SS2.p1.15.m2.1.1" xref="S3.SS2.p1.15.m2.1.1.cmml">α</mi><annotation-xml encoding="MathML-Content" id="S3.SS2.p1.15.m2.1b"><ci id="S3.SS2.p1.15.m2.1.1.cmml" xref="S3.SS2.p1.15.m2.1.1">𝛼</ci></annotation-xml><annotation encoding="application/x-tex" id="S3.SS2.p1.15.m2.1c">\alpha</annotation></semantics></math> a chosen regularization strength.
Substituting in the definition of <math id="S3.SS2.p1.16.m3.1" class="ltx_Math" alttext="d_{\psi}" display="inline"><semantics id="S3.SS2.p1.16.m3.1a"><msub id="S3.SS2.p1.16.m3.1.1" xref="S3.SS2.p1.16.m3.1.1.cmml"><mi id="S3.SS2.p1.16.m3.1.1.2" xref="S3.SS2.p1.16.m3.1.1.2.cmml">d</mi><mi id="S3.SS2.p1.16.m3.1.1.3" xref="S3.SS2.p1.16.m3.1.1.3.cmml">ψ</mi></msub><annotation-xml encoding="MathML-Content" id="S3.SS2.p1.16.m3.1b"><apply id="S3.SS2.p1.16.m3.1.1.cmml" xref="S3.SS2.p1.16.m3.1.1"><csymbol cd="ambiguous" id="S3.SS2.p1.16.m3.1.1.1.cmml" xref="S3.SS2.p1.16.m3.1.1">subscript</csymbol><ci id="S3.SS2.p1.16.m3.1.1.2.cmml" xref="S3.SS2.p1.16.m3.1.1.2">𝑑</ci><ci id="S3.SS2.p1.16.m3.1.1.3.cmml" xref="S3.SS2.p1.16.m3.1.1.3">𝜓</ci></apply></annotation-xml><annotation encoding="application/x-tex" id="S3.SS2.p1.16.m3.1c">d_{\psi}</annotation></semantics></math>, we obtain the min-max problem <math id="S3.SS2.p1.17.m4.5" class="ltx_Math" alttext="\inf_{\rho_{\theta}}\sup_{r}L(\theta,r)=\inf_{\rho_{\theta}}\sup_{r}r\cdot(\rho_{\theta}-\rho_{\text{data}})-\psi(r)-\alpha H\left[\rho_{\theta}\right]" display="inline"><semantics id="S3.SS2.p1.17.m4.5a"><mrow id="S3.SS2.p1.17.m4.5.5" xref="S3.SS2.p1.17.m4.5.5.cmml"><mrow id="S3.SS2.p1.17.m4.5.5.4" xref="S3.SS2.p1.17.m4.5.5.4.cmml"><msub id="S3.SS2.p1.17.m4.5.5.4.1" xref="S3.SS2.p1.17.m4.5.5.4.1.cmml"><mo id="S3.SS2.p1.17.m4.5.5.4.1.2" xref="S3.SS2.p1.17.m4.5.5.4.1.2.cmml">inf</mo><msub id="S3.SS2.p1.17.m4.5.5.4.1.3" xref="S3.SS2.p1.17.m4.5.5.4.1.3.cmml"><mi id="S3.SS2.p1.17.m4.5.5.4.1.3.2" xref="S3.SS2.p1.17.m4.5.5.4.1.3.2.cmml">ρ</mi><mi id="S3.SS2.p1.17.m4.5.5.4.1.3.3" xref="S3.SS2.p1.17.m4.5.5.4.1.3.3.cmml">θ</mi></msub></msub><mrow id="S3.SS2.p1.17.m4.5.5.4.2" xref="S3.SS2.p1.17.m4.5.5.4.2.cmml"><msub id="S3.SS2.p1.17.m4.5.5.4.2.1" xref="S3.SS2.p1.17.m4.5.5.4.2.1.cmml"><mo lspace="0.167em" rspace="0.167em" id="S3.SS2.p1.17.m4.5.5.4.2.1.2" xref="S3.SS2.p1.17.m4.5.5.4.2.1.2.cmml">sup</mo><mi id="S3.SS2.p1.17.m4.5.5.4.2.1.3" xref="S3.SS2.p1.17.m4.5.5.4.2.1.3.cmml">r</mi></msub><mrow id="S3.SS2.p1.17.m4.5.5.4.2.2" xref="S3.SS2.p1.17.m4.5.5.4.2.2.cmml"><mi id="S3.SS2.p1.17.m4.5.5.4.2.2.2" xref="S3.SS2.p1.17.m4.5.5.4.2.2.2.cmml">L</mi><mo lspace="0em" rspace="0em" id="S3.SS2.p1.17.m4.5.5.4.2.2.1" xref="S3.SS2.p1.17.m4.5.5.4.2.2.1.cmml">​</mo><mrow id="S3.SS2.p1.17.m4.5.5.4.2.2.3.2" xref="S3.SS2.p1.17.m4.5.5.4.2.2.3.1.cmml"><mo stretchy="false" id="S3.SS2.p1.17.m4.5.5.4.2.2.3.2.1" xref="S3.SS2.p1.17.m4.5.5.4.2.2.3.1.cmml">(</mo><mi id="S3.SS2.p1.17.m4.1.1" xref="S3.SS2.p1.17.m4.1.1.cmml">θ</mi><mo id="S3.SS2.p1.17.m4.5.5.4.2.2.3.2.2" xref="S3.SS2.p1.17.m4.5.5.4.2.2.3.1.cmml">,</mo><mi id="S3.SS2.p1.17.m4.2.2" xref="S3.SS2.p1.17.m4.2.2.cmml">r</mi><mo stretchy="false" id="S3.SS2.p1.17.m4.5.5.4.2.2.3.2.3" xref="S3.SS2.p1.17.m4.5.5.4.2.2.3.1.cmml">)</mo></mrow></mrow></mrow></mrow><mo rspace="0.1389em" id="S3.SS2.p1.17.m4.5.5.3" xref="S3.SS2.p1.17.m4.5.5.3.cmml">=</mo><mrow id="S3.SS2.p1.17.m4.5.5.2" xref="S3.SS2.p1.17.m4.5.5.2.cmml"><mrow id="S3.SS2.p1.17.m4.4.4.1.1" xref="S3.SS2.p1.17.m4.4.4.1.1.cmml"><msub id="S3.SS2.p1.17.m4.4.4.1.1.2" xref="S3.SS2.p1.17.m4.4.4.1.1.2.cmml"><mo lspace="0.1389em" rspace="0.0835em" id="S3.SS2.p1.17.m4.4.4.1.1.2.2" xref="S3.SS2.p1.17.m4.4.4.1.1.2.2.cmml">inf</mo><msub id="S3.SS2.p1.17.m4.4.4.1.1.2.3" xref="S3.SS2.p1.17.m4.4.4.1.1.2.3.cmml"><mi id="S3.SS2.p1.17.m4.4.4.1.1.2.3.2" xref="S3.SS2.p1.17.m4.4.4.1.1.2.3.2.cmml">ρ</mi><mi id="S3.SS2.p1.17.m4.4.4.1.1.2.3.3" xref="S3.SS2.p1.17.m4.4.4.1.1.2.3.3.cmml">θ</mi></msub></msub><mrow id="S3.SS2.p1.17.m4.4.4.1.1.1" xref="S3.SS2.p1.17.m4.4.4.1.1.1.cmml"><msub id="S3.SS2.p1.17.m4.4.4.1.1.1.2" xref="S3.SS2.p1.17.m4.4.4.1.1.1.2.cmml"><mo lspace="0.0835em" rspace="0.167em" id="S3.SS2.p1.17.m4.4.4.1.1.1.2.2" xref="S3.SS2.p1.17.m4.4.4.1.1.1.2.2.cmml">sup</mo><mi id="S3.SS2.p1.17.m4.4.4.1.1.1.2.3" xref="S3.SS2.p1.17.m4.4.4.1.1.1.2.3.cmml">r</mi></msub><mrow id="S3.SS2.p1.17.m4.4.4.1.1.1.1" xref="S3.SS2.p1.17.m4.4.4.1.1.1.1.cmml"><mi id="S3.SS2.p1.17.m4.4.4.1.1.1.1.3" xref="S3.SS2.p1.17.m4.4.4.1.1.1.1.3.cmml">r</mi><mo lspace="0.222em" rspace="0.222em" id="S3.SS2.p1.17.m4.4.4.1.1.1.1.2" xref="S3.SS2.p1.17.m4.4.4.1.1.1.1.2.cmml">⋅</mo><mrow id="S3.SS2.p1.17.m4.4.4.1.1.1.1.1.1" xref="S3.SS2.p1.17.m4.4.4.1.1.1.1.1.1.1.cmml"><mo stretchy="false" id="S3.SS2.p1.17.m4.4.4.1.1.1.1.1.1.2" xref="S3.SS2.p1.17.m4.4.4.1.1.1.1.1.1.1.cmml">(</mo><mrow id="S3.SS2.p1.17.m4.4.4.1.1.1.1.1.1.1" xref="S3.SS2.p1.17.m4.4.4.1.1.1.1.1.1.1.cmml"><msub id="S3.SS2.p1.17.m4.4.4.1.1.1.1.1.1.1.2" xref="S3.SS2.p1.17.m4.4.4.1.1.1.1.1.1.1.2.cmml"><mi id="S3.SS2.p1.17.m4.4.4.1.1.1.1.1.1.1.2.2" xref="S3.SS2.p1.17.m4.4.4.1.1.1.1.1.1.1.2.2.cmml">ρ</mi><mi id="S3.SS2.p1.17.m4.4.4.1.1.1.1.1.1.1.2.3" xref="S3.SS2.p1.17.m4.4.4.1.1.1.1.1.1.1.2.3.cmml">θ</mi></msub><mo id="S3.SS2.p1.17.m4.4.4.1.1.1.1.1.1.1.1" xref="S3.SS2.p1.17.m4.4.4.1.1.1.1.1.1.1.1.cmml">−</mo><msub id="S3.SS2.p1.17.m4.4.4.1.1.1.1.1.1.1.3" xref="S3.SS2.p1.17.m4.4.4.1.1.1.1.1.1.1.3.cmml"><mi id="S3.SS2.p1.17.m4.4.4.1.1.1.1.1.1.1.3.2" xref="S3.SS2.p1.17.m4.4.4.1.1.1.1.1.1.1.3.2.cmml">ρ</mi><mtext id="S3.SS2.p1.17.m4.4.4.1.1.1.1.1.1.1.3.3" xref="S3.SS2.p1.17.m4.4.4.1.1.1.1.1.1.1.3.3a.cmml">data</mtext></msub></mrow><mo stretchy="false" id="S3.SS2.p1.17.m4.4.4.1.1.1.1.1.1.3" xref="S3.SS2.p1.17.m4.4.4.1.1.1.1.1.1.1.cmml">)</mo></mrow></mrow></mrow></mrow><mo id="S3.SS2.p1.17.m4.5.5.2.3" xref="S3.SS2.p1.17.m4.5.5.2.3.cmml">−</mo><mrow id="S3.SS2.p1.17.m4.5.5.2.4" xref="S3.SS2.p1.17.m4.5.5.2.4.cmml"><mi id="S3.SS2.p1.17.m4.5.5.2.4.2" xref="S3.SS2.p1.17.m4.5.5.2.4.2.cmml">ψ</mi><mo lspace="0em" rspace="0em" id="S3.SS2.p1.17.m4.5.5.2.4.1" xref="S3.SS2.p1.17.m4.5.5.2.4.1.cmml">​</mo><mrow id="S3.SS2.p1.17.m4.5.5.2.4.3.2" xref="S3.SS2.p1.17.m4.5.5.2.4.cmml"><mo stretchy="false" id="S3.SS2.p1.17.m4.5.5.2.4.3.2.1" xref="S3.SS2.p1.17.m4.5.5.2.4.cmml">(</mo><mi id="S3.SS2.p1.17.m4.3.3" xref="S3.SS2.p1.17.m4.3.3.cmml">r</mi><mo stretchy="false" id="S3.SS2.p1.17.m4.5.5.2.4.3.2.2" xref="S3.SS2.p1.17.m4.5.5.2.4.cmml">)</mo></mrow></mrow><mo id="S3.SS2.p1.17.m4.5.5.2.3a" xref="S3.SS2.p1.17.m4.5.5.2.3.cmml">−</mo><mrow id="S3.SS2.p1.17.m4.5.5.2.2" xref="S3.SS2.p1.17.m4.5.5.2.2.cmml"><mi id="S3.SS2.p1.17.m4.5.5.2.2.3" xref="S3.SS2.p1.17.m4.5.5.2.2.3.cmml">α</mi><mo lspace="0em" rspace="0em" id="S3.SS2.p1.17.m4.5.5.2.2.2" xref="S3.SS2.p1.17.m4.5.5.2.2.2.cmml">​</mo><mi id="S3.SS2.p1.17.m4.5.5.2.2.4" xref="S3.SS2.p1.17.m4.5.5.2.2.4.cmml">H</mi><mo lspace="0em" rspace="0em" id="S3.SS2.p1.17.m4.5.5.2.2.2a" xref="S3.SS2.p1.17.m4.5.5.2.2.2.cmml">​</mo><mrow id="S3.SS2.p1.17.m4.5.5.2.2.1.1" xref="S3.SS2.p1.17.m4.5.5.2.2.1.2.cmml"><mo id="S3.SS2.p1.17.m4.5.5.2.2.1.1.2" xref="S3.SS2.p1.17.m4.5.5.2.2.1.2.1.cmml">[</mo><msub id="S3.SS2.p1.17.m4.5.5.2.2.1.1.1" xref="S3.SS2.p1.17.m4.5.5.2.2.1.1.1.cmml"><mi id="S3.SS2.p1.17.m4.5.5.2.2.1.1.1.2" xref="S3.SS2.p1.17.m4.5.5.2.2.1.1.1.2.cmml">ρ</mi><mi id="S3.SS2.p1.17.m4.5.5.2.2.1.1.1.3" xref="S3.SS2.p1.17.m4.5.5.2.2.1.1.1.3.cmml">θ</mi></msub><mo id="S3.SS2.p1.17.m4.5.5.2.2.1.1.3" xref="S3.SS2.p1.17.m4.5.5.2.2.1.2.1.cmml">]</mo></mrow></mrow></mrow></mrow><annotation-xml encoding="MathML-Content" id="S3.SS2.p1.17.m4.5b"><apply id="S3.SS2.p1.17.m4.5.5.cmml" xref="S3.SS2.p1.17.m4.5.5"><eq id="S3.SS2.p1.17.m4.5.5.3.cmml" xref="S3.SS2.p1.17.m4.5.5.3"></eq><apply id="S3.SS2.p1.17.m4.5.5.4.cmml" xref="S3.SS2.p1.17.m4.5.5.4"><apply id="S3.SS2.p1.17.m4.5.5.4.1.cmml" xref="S3.SS2.p1.17.m4.5.5.4.1"><csymbol cd="ambiguous" id="S3.SS2.p1.17.m4.5.5.4.1.1.cmml" xref="S3.SS2.p1.17.m4.5.5.4.1">subscript</csymbol><csymbol cd="latexml" id="S3.SS2.p1.17.m4.5.5.4.1.2.cmml" xref="S3.SS2.p1.17.m4.5.5.4.1.2">infimum</csymbol><apply id="S3.SS2.p1.17.m4.5.5.4.1.3.cmml" xref="S3.SS2.p1.17.m4.5.5.4.1.3"><csymbol cd="ambiguous" id="S3.SS2.p1.17.m4.5.5.4.1.3.1.cmml" xref="S3.SS2.p1.17.m4.5.5.4.1.3">subscript</csymbol><ci id="S3.SS2.p1.17.m4.5.5.4.1.3.2.cmml" xref="S3.SS2.p1.17.m4.5.5.4.1.3.2">𝜌</ci><ci id="S3.SS2.p1.17.m4.5.5.4.1.3.3.cmml" xref="S3.SS2.p1.17.m4.5.5.4.1.3.3">𝜃</ci></apply></apply><apply id="S3.SS2.p1.17.m4.5.5.4.2.cmml" xref="S3.SS2.p1.17.m4.5.5.4.2"><apply id="S3.SS2.p1.17.m4.5.5.4.2.1.cmml" xref="S3.SS2.p1.17.m4.5.5.4.2.1"><csymbol cd="ambiguous" id="S3.SS2.p1.17.m4.5.5.4.2.1.1.cmml" xref="S3.SS2.p1.17.m4.5.5.4.2.1">subscript</csymbol><csymbol cd="latexml" id="S3.SS2.p1.17.m4.5.5.4.2.1.2.cmml" xref="S3.SS2.p1.17.m4.5.5.4.2.1.2">supremum</csymbol><ci id="S3.SS2.p1.17.m4.5.5.4.2.1.3.cmml" xref="S3.SS2.p1.17.m4.5.5.4.2.1.3">𝑟</ci></apply><apply id="S3.SS2.p1.17.m4.5.5.4.2.2.cmml" xref="S3.SS2.p1.17.m4.5.5.4.2.2"><times id="S3.SS2.p1.17.m4.5.5.4.2.2.1.cmml" xref="S3.SS2.p1.17.m4.5.5.4.2.2.1"></times><ci id="S3.SS2.p1.17.m4.5.5.4.2.2.2.cmml" xref="S3.SS2.p1.17.m4.5.5.4.2.2.2">𝐿</ci><interval closure="open" id="S3.SS2.p1.17.m4.5.5.4.2.2.3.1.cmml" xref="S3.SS2.p1.17.m4.5.5.4.2.2.3.2"><ci id="S3.SS2.p1.17.m4.1.1.cmml" xref="S3.SS2.p1.17.m4.1.1">𝜃</ci><ci id="S3.SS2.p1.17.m4.2.2.cmml" xref="S3.SS2.p1.17.m4.2.2">𝑟</ci></interval></apply></apply></apply><apply id="S3.SS2.p1.17.m4.5.5.2.cmml" xref="S3.SS2.p1.17.m4.5.5.2"><minus id="S3.SS2.p1.17.m4.5.5.2.3.cmml" xref="S3.SS2.p1.17.m4.5.5.2.3"></minus><apply id="S3.SS2.p1.17.m4.4.4.1.1.cmml" xref="S3.SS2.p1.17.m4.4.4.1.1"><apply id="S3.SS2.p1.17.m4.4.4.1.1.2.cmml" xref="S3.SS2.p1.17.m4.4.4.1.1.2"><csymbol cd="ambiguous" id="S3.SS2.p1.17.m4.4.4.1.1.2.1.cmml" xref="S3.SS2.p1.17.m4.4.4.1.1.2">subscript</csymbol><csymbol cd="latexml" id="S3.SS2.p1.17.m4.4.4.1.1.2.2.cmml" xref="S3.SS2.p1.17.m4.4.4.1.1.2.2">infimum</csymbol><apply id="S3.SS2.p1.17.m4.4.4.1.1.2.3.cmml" xref="S3.SS2.p1.17.m4.4.4.1.1.2.3"><csymbol cd="ambiguous" id="S3.SS2.p1.17.m4.4.4.1.1.2.3.1.cmml" xref="S3.SS2.p1.17.m4.4.4.1.1.2.3">subscript</csymbol><ci id="S3.SS2.p1.17.m4.4.4.1.1.2.3.2.cmml" xref="S3.SS2.p1.17.m4.4.4.1.1.2.3.2">𝜌</ci><ci id="S3.SS2.p1.17.m4.4.4.1.1.2.3.3.cmml" xref="S3.SS2.p1.17.m4.4.4.1.1.2.3.3">𝜃</ci></apply></apply><apply id="S3.SS2.p1.17.m4.4.4.1.1.1.cmml" xref="S3.SS2.p1.17.m4.4.4.1.1.1"><apply id="S3.SS2.p1.17.m4.4.4.1.1.1.2.cmml" xref="S3.SS2.p1.17.m4.4.4.1.1.1.2"><csymbol cd="ambiguous" id="S3.SS2.p1.17.m4.4.4.1.1.1.2.1.cmml" xref="S3.SS2.p1.17.m4.4.4.1.1.1.2">subscript</csymbol><csymbol cd="latexml" id="S3.SS2.p1.17.m4.4.4.1.1.1.2.2.cmml" xref="S3.SS2.p1.17.m4.4.4.1.1.1.2.2">supremum</csymbol><ci id="S3.SS2.p1.17.m4.4.4.1.1.1.2.3.cmml" xref="S3.SS2.p1.17.m4.4.4.1.1.1.2.3">𝑟</ci></apply><apply id="S3.SS2.p1.17.m4.4.4.1.1.1.1.cmml" xref="S3.SS2.p1.17.m4.4.4.1.1.1.1"><ci id="S3.SS2.p1.17.m4.4.4.1.1.1.1.2.cmml" xref="S3.SS2.p1.17.m4.4.4.1.1.1.1.2">⋅</ci><ci id="S3.SS2.p1.17.m4.4.4.1.1.1.1.3.cmml" xref="S3.SS2.p1.17.m4.4.4.1.1.1.1.3">𝑟</ci><apply id="S3.SS2.p1.17.m4.4.4.1.1.1.1.1.1.1.cmml" xref="S3.SS2.p1.17.m4.4.4.1.1.1.1.1.1"><minus id="S3.SS2.p1.17.m4.4.4.1.1.1.1.1.1.1.1.cmml" xref="S3.SS2.p1.17.m4.4.4.1.1.1.1.1.1.1.1"></minus><apply id="S3.SS2.p1.17.m4.4.4.1.1.1.1.1.1.1.2.cmml" xref="S3.SS2.p1.17.m4.4.4.1.1.1.1.1.1.1.2"><csymbol cd="ambiguous" id="S3.SS2.p1.17.m4.4.4.1.1.1.1.1.1.1.2.1.cmml" xref="S3.SS2.p1.17.m4.4.4.1.1.1.1.1.1.1.2">subscript</csymbol><ci id="S3.SS2.p1.17.m4.4.4.1.1.1.1.1.1.1.2.2.cmml" xref="S3.SS2.p1.17.m4.4.4.1.1.1.1.1.1.1.2.2">𝜌</ci><ci id="S3.SS2.p1.17.m4.4.4.1.1.1.1.1.1.1.2.3.cmml" xref="S3.SS2.p1.17.m4.4.4.1.1.1.1.1.1.1.2.3">𝜃</ci></apply><apply id="S3.SS2.p1.17.m4.4.4.1.1.1.1.1.1.1.3.cmml" xref="S3.SS2.p1.17.m4.4.4.1.1.1.1.1.1.1.3"><csymbol cd="ambiguous" id="S3.SS2.p1.17.m4.4.4.1.1.1.1.1.1.1.3.1.cmml" xref="S3.SS2.p1.17.m4.4.4.1.1.1.1.1.1.1.3">subscript</csymbol><ci id="S3.SS2.p1.17.m4.4.4.1.1.1.1.1.1.1.3.2.cmml" xref="S3.SS2.p1.17.m4.4.4.1.1.1.1.1.1.1.3.2">𝜌</ci><ci id="S3.SS2.p1.17.m4.4.4.1.1.1.1.1.1.1.3.3a.cmml" xref="S3.SS2.p1.17.m4.4.4.1.1.1.1.1.1.1.3.3"><mtext mathsize="70%" id="S3.SS2.p1.17.m4.4.4.1.1.1.1.1.1.1.3.3.cmml" xref="S3.SS2.p1.17.m4.4.4.1.1.1.1.1.1.1.3.3">data</mtext></ci></apply></apply></apply></apply></apply><apply id="S3.SS2.p1.17.m4.5.5.2.4.cmml" xref="S3.SS2.p1.17.m4.5.5.2.4"><times id="S3.SS2.p1.17.m4.5.5.2.4.1.cmml" xref="S3.SS2.p1.17.m4.5.5.2.4.1"></times><ci id="S3.SS2.p1.17.m4.5.5.2.4.2.cmml" xref="S3.SS2.p1.17.m4.5.5.2.4.2">𝜓</ci><ci id="S3.SS2.p1.17.m4.3.3.cmml" xref="S3.SS2.p1.17.m4.3.3">𝑟</ci></apply><apply id="S3.SS2.p1.17.m4.5.5.2.2.cmml" xref="S3.SS2.p1.17.m4.5.5.2.2"><times id="S3.SS2.p1.17.m4.5.5.2.2.2.cmml" xref="S3.SS2.p1.17.m4.5.5.2.2.2"></times><ci id="S3.SS2.p1.17.m4.5.5.2.2.3.cmml" xref="S3.SS2.p1.17.m4.5.5.2.2.3">𝛼</ci><ci id="S3.SS2.p1.17.m4.5.5.2.2.4.cmml" xref="S3.SS2.p1.17.m4.5.5.2.2.4">𝐻</ci><apply id="S3.SS2.p1.17.m4.5.5.2.2.1.2.cmml" xref="S3.SS2.p1.17.m4.5.5.2.2.1.1"><csymbol cd="latexml" id="S3.SS2.p1.17.m4.5.5.2.2.1.2.1.cmml" xref="S3.SS2.p1.17.m4.5.5.2.2.1.1.2">delimited-[]</csymbol><apply id="S3.SS2.p1.17.m4.5.5.2.2.1.1.1.cmml" xref="S3.SS2.p1.17.m4.5.5.2.2.1.1.1"><csymbol cd="ambiguous" id="S3.SS2.p1.17.m4.5.5.2.2.1.1.1.1.cmml" xref="S3.SS2.p1.17.m4.5.5.2.2.1.1.1">subscript</csymbol><ci id="S3.SS2.p1.17.m4.5.5.2.2.1.1.1.2.cmml" xref="S3.SS2.p1.17.m4.5.5.2.2.1.1.1.2">𝜌</ci><ci id="S3.SS2.p1.17.m4.5.5.2.2.1.1.1.3.cmml" xref="S3.SS2.p1.17.m4.5.5.2.2.1.1.1.3">𝜃</ci></apply></apply></apply></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="S3.SS2.p1.17.m4.5c">\inf_{\rho_{\theta}}\sup_{r}L(\theta,r)=\inf_{\rho_{\theta}}\sup_{r}r\cdot(\rho_{\theta}-\rho_{\text{data}})-\psi(r)-\alpha H\left[\rho_{\theta}\right]</annotation></semantics></math>.
We prove in the appendix that the saddle-point property in <cite class="ltx_cite ltx_citemacro_cite">[<a href="#bib.bib14" title="" class="ltx_ref">14</a>]</cite> extends to our infinite-dimensional case, so <math id="S3.SS2.p1.18.m5.4" class="ltx_Math" alttext="\inf_{\rho_{\theta}}\sup_{r}L(\theta,r)=\sup_{r}\inf_{\rho_{\theta}}L(\theta,r)" display="inline"><semantics id="S3.SS2.p1.18.m5.4a"><mrow id="S3.SS2.p1.18.m5.4.5" xref="S3.SS2.p1.18.m5.4.5.cmml"><mrow id="S3.SS2.p1.18.m5.4.5.2" xref="S3.SS2.p1.18.m5.4.5.2.cmml"><msub id="S3.SS2.p1.18.m5.4.5.2.1" xref="S3.SS2.p1.18.m5.4.5.2.1.cmml"><mo id="S3.SS2.p1.18.m5.4.5.2.1.2" xref="S3.SS2.p1.18.m5.4.5.2.1.2.cmml">inf</mo><msub id="S3.SS2.p1.18.m5.4.5.2.1.3" xref="S3.SS2.p1.18.m5.4.5.2.1.3.cmml"><mi id="S3.SS2.p1.18.m5.4.5.2.1.3.2" xref="S3.SS2.p1.18.m5.4.5.2.1.3.2.cmml">ρ</mi><mi id="S3.SS2.p1.18.m5.4.5.2.1.3.3" xref="S3.SS2.p1.18.m5.4.5.2.1.3.3.cmml">θ</mi></msub></msub><mrow id="S3.SS2.p1.18.m5.4.5.2.2" xref="S3.SS2.p1.18.m5.4.5.2.2.cmml"><msub id="S3.SS2.p1.18.m5.4.5.2.2.1" xref="S3.SS2.p1.18.m5.4.5.2.2.1.cmml"><mo lspace="0.167em" rspace="0.167em" id="S3.SS2.p1.18.m5.4.5.2.2.1.2" xref="S3.SS2.p1.18.m5.4.5.2.2.1.2.cmml">sup</mo><mi id="S3.SS2.p1.18.m5.4.5.2.2.1.3" xref="S3.SS2.p1.18.m5.4.5.2.2.1.3.cmml">r</mi></msub><mrow id="S3.SS2.p1.18.m5.4.5.2.2.2" xref="S3.SS2.p1.18.m5.4.5.2.2.2.cmml"><mi id="S3.SS2.p1.18.m5.4.5.2.2.2.2" xref="S3.SS2.p1.18.m5.4.5.2.2.2.2.cmml">L</mi><mo lspace="0em" rspace="0em" id="S3.SS2.p1.18.m5.4.5.2.2.2.1" xref="S3.SS2.p1.18.m5.4.5.2.2.2.1.cmml">​</mo><mrow id="S3.SS2.p1.18.m5.4.5.2.2.2.3.2" xref="S3.SS2.p1.18.m5.4.5.2.2.2.3.1.cmml"><mo stretchy="false" id="S3.SS2.p1.18.m5.4.5.2.2.2.3.2.1" xref="S3.SS2.p1.18.m5.4.5.2.2.2.3.1.cmml">(</mo><mi id="S3.SS2.p1.18.m5.1.1" xref="S3.SS2.p1.18.m5.1.1.cmml">θ</mi><mo id="S3.SS2.p1.18.m5.4.5.2.2.2.3.2.2" xref="S3.SS2.p1.18.m5.4.5.2.2.2.3.1.cmml">,</mo><mi id="S3.SS2.p1.18.m5.2.2" xref="S3.SS2.p1.18.m5.2.2.cmml">r</mi><mo stretchy="false" id="S3.SS2.p1.18.m5.4.5.2.2.2.3.2.3" xref="S3.SS2.p1.18.m5.4.5.2.2.2.3.1.cmml">)</mo></mrow></mrow></mrow></mrow><mo rspace="0.1389em" id="S3.SS2.p1.18.m5.4.5.1" xref="S3.SS2.p1.18.m5.4.5.1.cmml">=</mo><mrow id="S3.SS2.p1.18.m5.4.5.3" xref="S3.SS2.p1.18.m5.4.5.3.cmml"><msub id="S3.SS2.p1.18.m5.4.5.3.1" xref="S3.SS2.p1.18.m5.4.5.3.1.cmml"><mo lspace="0.1389em" rspace="0.0835em" id="S3.SS2.p1.18.m5.4.5.3.1.2" xref="S3.SS2.p1.18.m5.4.5.3.1.2.cmml">sup</mo><mi id="S3.SS2.p1.18.m5.4.5.3.1.3" xref="S3.SS2.p1.18.m5.4.5.3.1.3.cmml">r</mi></msub><mrow id="S3.SS2.p1.18.m5.4.5.3.2" xref="S3.SS2.p1.18.m5.4.5.3.2.cmml"><msub id="S3.SS2.p1.18.m5.4.5.3.2.1" xref="S3.SS2.p1.18.m5.4.5.3.2.1.cmml"><mo lspace="0.0835em" rspace="0.167em" id="S3.SS2.p1.18.m5.4.5.3.2.1.2" xref="S3.SS2.p1.18.m5.4.5.3.2.1.2.cmml">inf</mo><msub id="S3.SS2.p1.18.m5.4.5.3.2.1.3" xref="S3.SS2.p1.18.m5.4.5.3.2.1.3.cmml"><mi id="S3.SS2.p1.18.m5.4.5.3.2.1.3.2" xref="S3.SS2.p1.18.m5.4.5.3.2.1.3.2.cmml">ρ</mi><mi id="S3.SS2.p1.18.m5.4.5.3.2.1.3.3" xref="S3.SS2.p1.18.m5.4.5.3.2.1.3.3.cmml">θ</mi></msub></msub><mrow id="S3.SS2.p1.18.m5.4.5.3.2.2" xref="S3.SS2.p1.18.m5.4.5.3.2.2.cmml"><mi id="S3.SS2.p1.18.m5.4.5.3.2.2.2" xref="S3.SS2.p1.18.m5.4.5.3.2.2.2.cmml">L</mi><mo lspace="0em" rspace="0em" id="S3.SS2.p1.18.m5.4.5.3.2.2.1" xref="S3.SS2.p1.18.m5.4.5.3.2.2.1.cmml">​</mo><mrow id="S3.SS2.p1.18.m5.4.5.3.2.2.3.2" xref="S3.SS2.p1.18.m5.4.5.3.2.2.3.1.cmml"><mo stretchy="false" id="S3.SS2.p1.18.m5.4.5.3.2.2.3.2.1" xref="S3.SS2.p1.18.m5.4.5.3.2.2.3.1.cmml">(</mo><mi id="S3.SS2.p1.18.m5.3.3" xref="S3.SS2.p1.18.m5.3.3.cmml">θ</mi><mo id="S3.SS2.p1.18.m5.4.5.3.2.2.3.2.2" xref="S3.SS2.p1.18.m5.4.5.3.2.2.3.1.cmml">,</mo><mi id="S3.SS2.p1.18.m5.4.4" xref="S3.SS2.p1.18.m5.4.4.cmml">r</mi><mo stretchy="false" id="S3.SS2.p1.18.m5.4.5.3.2.2.3.2.3" xref="S3.SS2.p1.18.m5.4.5.3.2.2.3.1.cmml">)</mo></mrow></mrow></mrow></mrow></mrow><annotation-xml encoding="MathML-Content" id="S3.SS2.p1.18.m5.4b"><apply id="S3.SS2.p1.18.m5.4.5.cmml" xref="S3.SS2.p1.18.m5.4.5"><eq id="S3.SS2.p1.18.m5.4.5.1.cmml" xref="S3.SS2.p1.18.m5.4.5.1"></eq><apply id="S3.SS2.p1.18.m5.4.5.2.cmml" xref="S3.SS2.p1.18.m5.4.5.2"><apply id="S3.SS2.p1.18.m5.4.5.2.1.cmml" xref="S3.SS2.p1.18.m5.4.5.2.1"><csymbol cd="ambiguous" id="S3.SS2.p1.18.m5.4.5.2.1.1.cmml" xref="S3.SS2.p1.18.m5.4.5.2.1">subscript</csymbol><csymbol cd="latexml" id="S3.SS2.p1.18.m5.4.5.2.1.2.cmml" xref="S3.SS2.p1.18.m5.4.5.2.1.2">infimum</csymbol><apply id="S3.SS2.p1.18.m5.4.5.2.1.3.cmml" xref="S3.SS2.p1.18.m5.4.5.2.1.3"><csymbol cd="ambiguous" id="S3.SS2.p1.18.m5.4.5.2.1.3.1.cmml" xref="S3.SS2.p1.18.m5.4.5.2.1.3">subscript</csymbol><ci id="S3.SS2.p1.18.m5.4.5.2.1.3.2.cmml" xref="S3.SS2.p1.18.m5.4.5.2.1.3.2">𝜌</ci><ci id="S3.SS2.p1.18.m5.4.5.2.1.3.3.cmml" xref="S3.SS2.p1.18.m5.4.5.2.1.3.3">𝜃</ci></apply></apply><apply id="S3.SS2.p1.18.m5.4.5.2.2.cmml" xref="S3.SS2.p1.18.m5.4.5.2.2"><apply id="S3.SS2.p1.18.m5.4.5.2.2.1.cmml" xref="S3.SS2.p1.18.m5.4.5.2.2.1"><csymbol cd="ambiguous" id="S3.SS2.p1.18.m5.4.5.2.2.1.1.cmml" xref="S3.SS2.p1.18.m5.4.5.2.2.1">subscript</csymbol><csymbol cd="latexml" id="S3.SS2.p1.18.m5.4.5.2.2.1.2.cmml" xref="S3.SS2.p1.18.m5.4.5.2.2.1.2">supremum</csymbol><ci id="S3.SS2.p1.18.m5.4.5.2.2.1.3.cmml" xref="S3.SS2.p1.18.m5.4.5.2.2.1.3">𝑟</ci></apply><apply id="S3.SS2.p1.18.m5.4.5.2.2.2.cmml" xref="S3.SS2.p1.18.m5.4.5.2.2.2"><times id="S3.SS2.p1.18.m5.4.5.2.2.2.1.cmml" xref="S3.SS2.p1.18.m5.4.5.2.2.2.1"></times><ci id="S3.SS2.p1.18.m5.4.5.2.2.2.2.cmml" xref="S3.SS2.p1.18.m5.4.5.2.2.2.2">𝐿</ci><interval closure="open" id="S3.SS2.p1.18.m5.4.5.2.2.2.3.1.cmml" xref="S3.SS2.p1.18.m5.4.5.2.2.2.3.2"><ci id="S3.SS2.p1.18.m5.1.1.cmml" xref="S3.SS2.p1.18.m5.1.1">𝜃</ci><ci id="S3.SS2.p1.18.m5.2.2.cmml" xref="S3.SS2.p1.18.m5.2.2">𝑟</ci></interval></apply></apply></apply><apply id="S3.SS2.p1.18.m5.4.5.3.cmml" xref="S3.SS2.p1.18.m5.4.5.3"><apply id="S3.SS2.p1.18.m5.4.5.3.1.cmml" xref="S3.SS2.p1.18.m5.4.5.3.1"><csymbol cd="ambiguous" id="S3.SS2.p1.18.m5.4.5.3.1.1.cmml" xref="S3.SS2.p1.18.m5.4.5.3.1">subscript</csymbol><csymbol cd="latexml" id="S3.SS2.p1.18.m5.4.5.3.1.2.cmml" xref="S3.SS2.p1.18.m5.4.5.3.1.2">supremum</csymbol><ci id="S3.SS2.p1.18.m5.4.5.3.1.3.cmml" xref="S3.SS2.p1.18.m5.4.5.3.1.3">𝑟</ci></apply><apply id="S3.SS2.p1.18.m5.4.5.3.2.cmml" xref="S3.SS2.p1.18.m5.4.5.3.2"><apply id="S3.SS2.p1.18.m5.4.5.3.2.1.cmml" xref="S3.SS2.p1.18.m5.4.5.3.2.1"><csymbol cd="ambiguous" id="S3.SS2.p1.18.m5.4.5.3.2.1.1.cmml" xref="S3.SS2.p1.18.m5.4.5.3.2.1">subscript</csymbol><csymbol cd="latexml" id="S3.SS2.p1.18.m5.4.5.3.2.1.2.cmml" xref="S3.SS2.p1.18.m5.4.5.3.2.1.2">infimum</csymbol><apply id="S3.SS2.p1.18.m5.4.5.3.2.1.3.cmml" xref="S3.SS2.p1.18.m5.4.5.3.2.1.3"><csymbol cd="ambiguous" id="S3.SS2.p1.18.m5.4.5.3.2.1.3.1.cmml" xref="S3.SS2.p1.18.m5.4.5.3.2.1.3">subscript</csymbol><ci id="S3.SS2.p1.18.m5.4.5.3.2.1.3.2.cmml" xref="S3.SS2.p1.18.m5.4.5.3.2.1.3.2">𝜌</ci><ci id="S3.SS2.p1.18.m5.4.5.3.2.1.3.3.cmml" xref="S3.SS2.p1.18.m5.4.5.3.2.1.3.3">𝜃</ci></apply></apply><apply id="S3.SS2.p1.18.m5.4.5.3.2.2.cmml" xref="S3.SS2.p1.18.m5.4.5.3.2.2"><times id="S3.SS2.p1.18.m5.4.5.3.2.2.1.cmml" xref="S3.SS2.p1.18.m5.4.5.3.2.2.1"></times><ci id="S3.SS2.p1.18.m5.4.5.3.2.2.2.cmml" xref="S3.SS2.p1.18.m5.4.5.3.2.2.2">𝐿</ci><interval closure="open" id="S3.SS2.p1.18.m5.4.5.3.2.2.3.1.cmml" xref="S3.SS2.p1.18.m5.4.5.3.2.2.3.2"><ci id="S3.SS2.p1.18.m5.3.3.cmml" xref="S3.SS2.p1.18.m5.3.3">𝜃</ci><ci id="S3.SS2.p1.18.m5.4.4.cmml" xref="S3.SS2.p1.18.m5.4.4">𝑟</ci></interval></apply></apply></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="S3.SS2.p1.18.m5.4c">\inf_{\rho_{\theta}}\sup_{r}L(\theta,r)=\sup_{r}\inf_{\rho_{\theta}}L(\theta,r)</annotation></semantics></math>.
We can interpret the outer maximization as finding a critic <cite class="ltx_cite ltx_citemacro_citep">[<a href="#bib.bib20" title="" class="ltx_ref">20</a>]</cite> <math id="S3.SS2.p1.19.m6.1" class="ltx_Math" alttext="r" display="inline"><semantics id="S3.SS2.p1.19.m6.1a"><mi id="S3.SS2.p1.19.m6.1.1" xref="S3.SS2.p1.19.m6.1.1.cmml">r</mi><annotation-xml encoding="MathML-Content" id="S3.SS2.p1.19.m6.1b"><ci id="S3.SS2.p1.19.m6.1.1.cmml" xref="S3.SS2.p1.19.m6.1.1">𝑟</ci></annotation-xml><annotation encoding="application/x-tex" id="S3.SS2.p1.19.m6.1c">r</annotation></semantics></math> for sequences and actions <math id="S3.SS2.p1.20.m7.2" class="ltx_Math" alttext="s,a" display="inline"><semantics id="S3.SS2.p1.20.m7.2a"><mrow id="S3.SS2.p1.20.m7.2.3.2" xref="S3.SS2.p1.20.m7.2.3.1.cmml"><mi id="S3.SS2.p1.20.m7.1.1" xref="S3.SS2.p1.20.m7.1.1.cmml">s</mi><mo id="S3.SS2.p1.20.m7.2.3.2.1" xref="S3.SS2.p1.20.m7.2.3.1.cmml">,</mo><mi id="S3.SS2.p1.20.m7.2.2" xref="S3.SS2.p1.20.m7.2.2.cmml">a</mi></mrow><annotation-xml encoding="MathML-Content" id="S3.SS2.p1.20.m7.2b"><list id="S3.SS2.p1.20.m7.2.3.1.cmml" xref="S3.SS2.p1.20.m7.2.3.2"><ci id="S3.SS2.p1.20.m7.1.1.cmml" xref="S3.SS2.p1.20.m7.1.1">𝑠</ci><ci id="S3.SS2.p1.20.m7.2.2.cmml" xref="S3.SS2.p1.20.m7.2.2">𝑎</ci></list></annotation-xml><annotation encoding="application/x-tex" id="S3.SS2.p1.20.m7.2c">s,a</annotation></semantics></math> such that the model has high values on examples from the dataset and low values on the examples from the learned model: i.e. it is a discriminator.
The inner minimization over <math id="S3.SS2.p1.21.m8.1" class="ltx_Math" alttext="\theta" display="inline"><semantics id="S3.SS2.p1.21.m8.1a"><mi id="S3.SS2.p1.21.m8.1.1" xref="S3.SS2.p1.21.m8.1.1.cmml">θ</mi><annotation-xml encoding="MathML-Content" id="S3.SS2.p1.21.m8.1b"><ci id="S3.SS2.p1.21.m8.1.1.cmml" xref="S3.SS2.p1.21.m8.1.1">𝜃</ci></annotation-xml><annotation encoding="application/x-tex" id="S3.SS2.p1.21.m8.1c">\theta</annotation></semantics></math> is an entropy-regularized minimization of the KL-divergence between <math id="S3.SS2.p1.22.m9.1" class="ltx_Math" alttext="\rho_{\theta}" display="inline"><semantics id="S3.SS2.p1.22.m9.1a"><msub id="S3.SS2.p1.22.m9.1.1" xref="S3.SS2.p1.22.m9.1.1.cmml"><mi id="S3.SS2.p1.22.m9.1.1.2" xref="S3.SS2.p1.22.m9.1.1.2.cmml">ρ</mi><mi id="S3.SS2.p1.22.m9.1.1.3" xref="S3.SS2.p1.22.m9.1.1.3.cmml">θ</mi></msub><annotation-xml encoding="MathML-Content" id="S3.SS2.p1.22.m9.1b"><apply id="S3.SS2.p1.22.m9.1.1.cmml" xref="S3.SS2.p1.22.m9.1.1"><csymbol cd="ambiguous" id="S3.SS2.p1.22.m9.1.1.1.cmml" xref="S3.SS2.p1.22.m9.1.1">subscript</csymbol><ci id="S3.SS2.p1.22.m9.1.1.2.cmml" xref="S3.SS2.p1.22.m9.1.1.2">𝜌</ci><ci id="S3.SS2.p1.22.m9.1.1.3.cmml" xref="S3.SS2.p1.22.m9.1.1.3">𝜃</ci></apply></annotation-xml><annotation encoding="application/x-tex" id="S3.SS2.p1.22.m9.1c">\rho_{\theta}</annotation></semantics></math> and <math id="S3.SS2.p1.23.m10.1" class="ltx_Math" alttext="r" display="inline"><semantics id="S3.SS2.p1.23.m10.1a"><mi id="S3.SS2.p1.23.m10.1.1" xref="S3.SS2.p1.23.m10.1.1.cmml">r</mi><annotation-xml encoding="MathML-Content" id="S3.SS2.p1.23.m10.1b"><ci id="S3.SS2.p1.23.m10.1.1.cmml" xref="S3.SS2.p1.23.m10.1.1">𝑟</ci></annotation-xml><annotation encoding="application/x-tex" id="S3.SS2.p1.23.m10.1c">r</annotation></semantics></math>.
If we were to approach this directly by explicitly learning <math id="S3.SS2.p1.24.m11.1" class="ltx_Math" alttext="r" display="inline"><semantics id="S3.SS2.p1.24.m11.1a"><mi id="S3.SS2.p1.24.m11.1.1" xref="S3.SS2.p1.24.m11.1.1.cmml">r</mi><annotation-xml encoding="MathML-Content" id="S3.SS2.p1.24.m11.1b"><ci id="S3.SS2.p1.24.m11.1.1.cmml" xref="S3.SS2.p1.24.m11.1.1">𝑟</ci></annotation-xml><annotation encoding="application/x-tex" id="S3.SS2.p1.24.m11.1c">r</annotation></semantics></math> and <math id="S3.SS2.p1.25.m12.1" class="ltx_Math" alttext="\rho_{\theta}" display="inline"><semantics id="S3.SS2.p1.25.m12.1a"><msub id="S3.SS2.p1.25.m12.1.1" xref="S3.SS2.p1.25.m12.1.1.cmml"><mi id="S3.SS2.p1.25.m12.1.1.2" xref="S3.SS2.p1.25.m12.1.1.2.cmml">ρ</mi><mi id="S3.SS2.p1.25.m12.1.1.3" xref="S3.SS2.p1.25.m12.1.1.3.cmml">θ</mi></msub><annotation-xml encoding="MathML-Content" id="S3.SS2.p1.25.m12.1b"><apply id="S3.SS2.p1.25.m12.1.1.cmml" xref="S3.SS2.p1.25.m12.1.1"><csymbol cd="ambiguous" id="S3.SS2.p1.25.m12.1.1.1.cmml" xref="S3.SS2.p1.25.m12.1.1">subscript</csymbol><ci id="S3.SS2.p1.25.m12.1.1.2.cmml" xref="S3.SS2.p1.25.m12.1.1.2">𝜌</ci><ci id="S3.SS2.p1.25.m12.1.1.3.cmml" xref="S3.SS2.p1.25.m12.1.1.3">𝜃</ci></apply></annotation-xml><annotation encoding="application/x-tex" id="S3.SS2.p1.25.m12.1c">\rho_{\theta}</annotation></semantics></math>, we would have an objective similar to a GAN <cite class="ltx_cite ltx_citemacro_citep">[<a href="#bib.bib12" title="" class="ltx_ref">12</a>]</cite>.
This is known to be difficult to train <cite class="ltx_cite ltx_citemacro_cite">[<a href="#bib.bib16" title="" class="ltx_ref">16</a>]</cite>.
Instead, we are able to solve the problem with optimization over a single variable by a transformation of variables.
In the following section, we recover an objective <math id="S3.SS2.p1.26.m13.1" class="ltx_Math" alttext="\mathcal{J}" display="inline"><semantics id="S3.SS2.p1.26.m13.1a"><mi class="ltx_font_mathcaligraphic" id="S3.SS2.p1.26.m13.1.1" xref="S3.SS2.p1.26.m13.1.1.cmml">𝒥</mi><annotation-xml encoding="MathML-Content" id="S3.SS2.p1.26.m13.1b"><ci id="S3.SS2.p1.26.m13.1.1.cmml" xref="S3.SS2.p1.26.m13.1.1">𝒥</ci></annotation-xml><annotation encoding="application/x-tex" id="S3.SS2.p1.26.m13.1c">\mathcal{J}</annotation></semantics></math> which is equivalent to the objective in equation (<a href="#S3.E4" title="Equation 4 ‣ 3.2 Minimizing Occupancy Divergences ‣ 3 Method ‣ SequenceMatch: Imitation Learning for Autoregressive Sequence Modelling with Backtracking" class="ltx_ref"><span class="ltx_text ltx_ref_tag">4</span></a>), but only involves optimization over the logits of a policy. We will set <math id="S3.SS2.p1.27.m14.1" class="ltx_Math" alttext="\alpha=1" display="inline"><semantics id="S3.SS2.p1.27.m14.1a"><mrow id="S3.SS2.p1.27.m14.1.1" xref="S3.SS2.p1.27.m14.1.1.cmml"><mi id="S3.SS2.p1.27.m14.1.1.2" xref="S3.SS2.p1.27.m14.1.1.2.cmml">α</mi><mo id="S3.SS2.p1.27.m14.1.1.1" xref="S3.SS2.p1.27.m14.1.1.1.cmml">=</mo><mn id="S3.SS2.p1.27.m14.1.1.3" xref="S3.SS2.p1.27.m14.1.1.3.cmml">1</mn></mrow><annotation-xml encoding="MathML-Content" id="S3.SS2.p1.27.m14.1b"><apply id="S3.SS2.p1.27.m14.1.1.cmml" xref="S3.SS2.p1.27.m14.1.1"><eq id="S3.SS2.p1.27.m14.1.1.1.cmml" xref="S3.SS2.p1.27.m14.1.1.1"></eq><ci id="S3.SS2.p1.27.m14.1.1.2.cmml" xref="S3.SS2.p1.27.m14.1.1.2">𝛼</ci><cn type="integer" id="S3.SS2.p1.27.m14.1.1.3.cmml" xref="S3.SS2.p1.27.m14.1.1.3">1</cn></apply></annotation-xml><annotation encoding="application/x-tex" id="S3.SS2.p1.27.m14.1c">\alpha=1</annotation></semantics></math> in the next section, with the understanding that we can recover the original objective by scaling <math id="S3.SS2.p1.28.m15.1" class="ltx_Math" alttext="r" display="inline"><semantics id="S3.SS2.p1.28.m15.1a"><mi id="S3.SS2.p1.28.m15.1.1" xref="S3.SS2.p1.28.m15.1.1.cmml">r</mi><annotation-xml encoding="MathML-Content" id="S3.SS2.p1.28.m15.1b"><ci id="S3.SS2.p1.28.m15.1.1.cmml" xref="S3.SS2.p1.28.m15.1.1">𝑟</ci></annotation-xml><annotation encoding="application/x-tex" id="S3.SS2.p1.28.m15.1c">r</annotation></semantics></math> and <math id="S3.SS2.p1.29.m16.1" class="ltx_Math" alttext="\psi" display="inline"><semantics id="S3.SS2.p1.29.m16.1a"><mi id="S3.SS2.p1.29.m16.1.1" xref="S3.SS2.p1.29.m16.1.1.cmml">ψ</mi><annotation-xml encoding="MathML-Content" id="S3.SS2.p1.29.m16.1b"><ci id="S3.SS2.p1.29.m16.1.1.cmml" xref="S3.SS2.p1.29.m16.1.1">𝜓</ci></annotation-xml><annotation encoding="application/x-tex" id="S3.SS2.p1.29.m16.1c">\psi</annotation></semantics></math> by <math id="S3.SS2.p1.30.m17.1" class="ltx_Math" alttext="1/\alpha" display="inline"><semantics id="S3.SS2.p1.30.m17.1a"><mrow id="S3.SS2.p1.30.m17.1.1" xref="S3.SS2.p1.30.m17.1.1.cmml"><mn id="S3.SS2.p1.30.m17.1.1.2" xref="S3.SS2.p1.30.m17.1.1.2.cmml">1</mn><mo id="S3.SS2.p1.30.m17.1.1.1" xref="S3.SS2.p1.30.m17.1.1.1.cmml">/</mo><mi id="S3.SS2.p1.30.m17.1.1.3" xref="S3.SS2.p1.30.m17.1.1.3.cmml">α</mi></mrow><annotation-xml encoding="MathML-Content" id="S3.SS2.p1.30.m17.1b"><apply id="S3.SS2.p1.30.m17.1.1.cmml" xref="S3.SS2.p1.30.m17.1.1"><divide id="S3.SS2.p1.30.m17.1.1.1.cmml" xref="S3.SS2.p1.30.m17.1.1.1"></divide><cn type="integer" id="S3.SS2.p1.30.m17.1.1.2.cmml" xref="S3.SS2.p1.30.m17.1.1.2">1</cn><ci id="S3.SS2.p1.30.m17.1.1.3.cmml" xref="S3.SS2.p1.30.m17.1.1.3">𝛼</ci></apply></annotation-xml><annotation encoding="application/x-tex" id="S3.SS2.p1.30.m17.1c">1/\alpha</annotation></semantics></math>.</p>
</div>
<section id="S3.SS2.SSS1" class="ltx_subsubsection">
<h4 class="ltx_title ltx_title_subsubsection">
<span class="ltx_tag ltx_tag_subsubsection">3.2.1 </span>Reformulating the Occupancy Divergence Minimization Problem</h4>

<div id="S3.SS2.SSS1.p1" class="ltx_para">
<p id="S3.SS2.SSS1.p1.21" class="ltx_p">We first introduce the <math id="S3.SS2.SSS1.p1.1.m1.1" class="ltx_Math" alttext="Q" display="inline"><semantics id="S3.SS2.SSS1.p1.1.m1.1a"><mi id="S3.SS2.SSS1.p1.1.m1.1.1" xref="S3.SS2.SSS1.p1.1.m1.1.1.cmml">Q</mi><annotation-xml encoding="MathML-Content" id="S3.SS2.SSS1.p1.1.m1.1b"><ci id="S3.SS2.SSS1.p1.1.m1.1.1.cmml" xref="S3.SS2.SSS1.p1.1.m1.1.1">𝑄</ci></annotation-xml><annotation encoding="application/x-tex" id="S3.SS2.SSS1.p1.1.m1.1c">Q</annotation></semantics></math>-function, corresponding to the discounted rewards obtained in state <math id="S3.SS2.SSS1.p1.2.m2.1" class="ltx_Math" alttext="s" display="inline"><semantics id="S3.SS2.SSS1.p1.2.m2.1a"><mi id="S3.SS2.SSS1.p1.2.m2.1.1" xref="S3.SS2.SSS1.p1.2.m2.1.1.cmml">s</mi><annotation-xml encoding="MathML-Content" id="S3.SS2.SSS1.p1.2.m2.1b"><ci id="S3.SS2.SSS1.p1.2.m2.1.1.cmml" xref="S3.SS2.SSS1.p1.2.m2.1.1">𝑠</ci></annotation-xml><annotation encoding="application/x-tex" id="S3.SS2.SSS1.p1.2.m2.1c">s</annotation></semantics></math> by taking action <math id="S3.SS2.SSS1.p1.3.m3.1" class="ltx_Math" alttext="a" display="inline"><semantics id="S3.SS2.SSS1.p1.3.m3.1a"><mi id="S3.SS2.SSS1.p1.3.m3.1.1" xref="S3.SS2.SSS1.p1.3.m3.1.1.cmml">a</mi><annotation-xml encoding="MathML-Content" id="S3.SS2.SSS1.p1.3.m3.1b"><ci id="S3.SS2.SSS1.p1.3.m3.1.1.cmml" xref="S3.SS2.SSS1.p1.3.m3.1.1">𝑎</ci></annotation-xml><annotation encoding="application/x-tex" id="S3.SS2.SSS1.p1.3.m3.1c">a</annotation></semantics></math>. Formally we define it as the unique fixed point of the soft Bellman operator <math id="S3.SS2.SSS1.p1.4.m4.1" class="ltx_Math" alttext="\mathcal{B}_{r}^{\theta}" display="inline"><semantics id="S3.SS2.SSS1.p1.4.m4.1a"><msubsup id="S3.SS2.SSS1.p1.4.m4.1.1" xref="S3.SS2.SSS1.p1.4.m4.1.1.cmml"><mi class="ltx_font_mathcaligraphic" id="S3.SS2.SSS1.p1.4.m4.1.1.2.2" xref="S3.SS2.SSS1.p1.4.m4.1.1.2.2.cmml">ℬ</mi><mi id="S3.SS2.SSS1.p1.4.m4.1.1.2.3" xref="S3.SS2.SSS1.p1.4.m4.1.1.2.3.cmml">r</mi><mi id="S3.SS2.SSS1.p1.4.m4.1.1.3" xref="S3.SS2.SSS1.p1.4.m4.1.1.3.cmml">θ</mi></msubsup><annotation-xml encoding="MathML-Content" id="S3.SS2.SSS1.p1.4.m4.1b"><apply id="S3.SS2.SSS1.p1.4.m4.1.1.cmml" xref="S3.SS2.SSS1.p1.4.m4.1.1"><csymbol cd="ambiguous" id="S3.SS2.SSS1.p1.4.m4.1.1.1.cmml" xref="S3.SS2.SSS1.p1.4.m4.1.1">superscript</csymbol><apply id="S3.SS2.SSS1.p1.4.m4.1.1.2.cmml" xref="S3.SS2.SSS1.p1.4.m4.1.1"><csymbol cd="ambiguous" id="S3.SS2.SSS1.p1.4.m4.1.1.2.1.cmml" xref="S3.SS2.SSS1.p1.4.m4.1.1">subscript</csymbol><ci id="S3.SS2.SSS1.p1.4.m4.1.1.2.2.cmml" xref="S3.SS2.SSS1.p1.4.m4.1.1.2.2">ℬ</ci><ci id="S3.SS2.SSS1.p1.4.m4.1.1.2.3.cmml" xref="S3.SS2.SSS1.p1.4.m4.1.1.2.3">𝑟</ci></apply><ci id="S3.SS2.SSS1.p1.4.m4.1.1.3.cmml" xref="S3.SS2.SSS1.p1.4.m4.1.1.3">𝜃</ci></apply></annotation-xml><annotation encoding="application/x-tex" id="S3.SS2.SSS1.p1.4.m4.1c">\mathcal{B}_{r}^{\theta}</annotation></semantics></math>, where <math id="S3.SS2.SSS1.p1.5.m5.7" class="ltx_Math" alttext="\mathcal{B}_{r}^{\theta}Q(s,a)=r(s,a)+\gamma\mathbb{E}_{s^{\prime}\sim\mathcal{P}(s,a)}\left[V^{\theta}(s^{\prime})\right]" display="inline"><semantics id="S3.SS2.SSS1.p1.5.m5.7a"><mrow id="S3.SS2.SSS1.p1.5.m5.7.7" xref="S3.SS2.SSS1.p1.5.m5.7.7.cmml"><mrow id="S3.SS2.SSS1.p1.5.m5.7.7.3" xref="S3.SS2.SSS1.p1.5.m5.7.7.3.cmml"><msubsup id="S3.SS2.SSS1.p1.5.m5.7.7.3.2" xref="S3.SS2.SSS1.p1.5.m5.7.7.3.2.cmml"><mi class="ltx_font_mathcaligraphic" id="S3.SS2.SSS1.p1.5.m5.7.7.3.2.2.2" xref="S3.SS2.SSS1.p1.5.m5.7.7.3.2.2.2.cmml">ℬ</mi><mi id="S3.SS2.SSS1.p1.5.m5.7.7.3.2.2.3" xref="S3.SS2.SSS1.p1.5.m5.7.7.3.2.2.3.cmml">r</mi><mi id="S3.SS2.SSS1.p1.5.m5.7.7.3.2.3" xref="S3.SS2.SSS1.p1.5.m5.7.7.3.2.3.cmml">θ</mi></msubsup><mo lspace="0em" rspace="0em" id="S3.SS2.SSS1.p1.5.m5.7.7.3.1" xref="S3.SS2.SSS1.p1.5.m5.7.7.3.1.cmml">​</mo><mi id="S3.SS2.SSS1.p1.5.m5.7.7.3.3" xref="S3.SS2.SSS1.p1.5.m5.7.7.3.3.cmml">Q</mi><mo lspace="0em" rspace="0em" id="S3.SS2.SSS1.p1.5.m5.7.7.3.1a" xref="S3.SS2.SSS1.p1.5.m5.7.7.3.1.cmml">​</mo><mrow id="S3.SS2.SSS1.p1.5.m5.7.7.3.4.2" xref="S3.SS2.SSS1.p1.5.m5.7.7.3.4.1.cmml"><mo stretchy="false" id="S3.SS2.SSS1.p1.5.m5.7.7.3.4.2.1" xref="S3.SS2.SSS1.p1.5.m5.7.7.3.4.1.cmml">(</mo><mi id="S3.SS2.SSS1.p1.5.m5.3.3" xref="S3.SS2.SSS1.p1.5.m5.3.3.cmml">s</mi><mo id="S3.SS2.SSS1.p1.5.m5.7.7.3.4.2.2" xref="S3.SS2.SSS1.p1.5.m5.7.7.3.4.1.cmml">,</mo><mi id="S3.SS2.SSS1.p1.5.m5.4.4" xref="S3.SS2.SSS1.p1.5.m5.4.4.cmml">a</mi><mo stretchy="false" id="S3.SS2.SSS1.p1.5.m5.7.7.3.4.2.3" xref="S3.SS2.SSS1.p1.5.m5.7.7.3.4.1.cmml">)</mo></mrow></mrow><mo id="S3.SS2.SSS1.p1.5.m5.7.7.2" xref="S3.SS2.SSS1.p1.5.m5.7.7.2.cmml">=</mo><mrow id="S3.SS2.SSS1.p1.5.m5.7.7.1" xref="S3.SS2.SSS1.p1.5.m5.7.7.1.cmml"><mrow id="S3.SS2.SSS1.p1.5.m5.7.7.1.3" xref="S3.SS2.SSS1.p1.5.m5.7.7.1.3.cmml"><mi id="S3.SS2.SSS1.p1.5.m5.7.7.1.3.2" xref="S3.SS2.SSS1.p1.5.m5.7.7.1.3.2.cmml">r</mi><mo lspace="0em" rspace="0em" id="S3.SS2.SSS1.p1.5.m5.7.7.1.3.1" xref="S3.SS2.SSS1.p1.5.m5.7.7.1.3.1.cmml">​</mo><mrow id="S3.SS2.SSS1.p1.5.m5.7.7.1.3.3.2" xref="S3.SS2.SSS1.p1.5.m5.7.7.1.3.3.1.cmml"><mo stretchy="false" id="S3.SS2.SSS1.p1.5.m5.7.7.1.3.3.2.1" xref="S3.SS2.SSS1.p1.5.m5.7.7.1.3.3.1.cmml">(</mo><mi id="S3.SS2.SSS1.p1.5.m5.5.5" xref="S3.SS2.SSS1.p1.5.m5.5.5.cmml">s</mi><mo id="S3.SS2.SSS1.p1.5.m5.7.7.1.3.3.2.2" xref="S3.SS2.SSS1.p1.5.m5.7.7.1.3.3.1.cmml">,</mo><mi id="S3.SS2.SSS1.p1.5.m5.6.6" xref="S3.SS2.SSS1.p1.5.m5.6.6.cmml">a</mi><mo stretchy="false" id="S3.SS2.SSS1.p1.5.m5.7.7.1.3.3.2.3" xref="S3.SS2.SSS1.p1.5.m5.7.7.1.3.3.1.cmml">)</mo></mrow></mrow><mo id="S3.SS2.SSS1.p1.5.m5.7.7.1.2" xref="S3.SS2.SSS1.p1.5.m5.7.7.1.2.cmml">+</mo><mrow id="S3.SS2.SSS1.p1.5.m5.7.7.1.1" xref="S3.SS2.SSS1.p1.5.m5.7.7.1.1.cmml"><mi id="S3.SS2.SSS1.p1.5.m5.7.7.1.1.3" xref="S3.SS2.SSS1.p1.5.m5.7.7.1.1.3.cmml">γ</mi><mo lspace="0em" rspace="0em" id="S3.SS2.SSS1.p1.5.m5.7.7.1.1.2" xref="S3.SS2.SSS1.p1.5.m5.7.7.1.1.2.cmml">​</mo><msub id="S3.SS2.SSS1.p1.5.m5.7.7.1.1.4" xref="S3.SS2.SSS1.p1.5.m5.7.7.1.1.4.cmml"><mi id="S3.SS2.SSS1.p1.5.m5.7.7.1.1.4.2" xref="S3.SS2.SSS1.p1.5.m5.7.7.1.1.4.2.cmml">𝔼</mi><mrow id="S3.SS2.SSS1.p1.5.m5.2.2.2" xref="S3.SS2.SSS1.p1.5.m5.2.2.2.cmml"><msup id="S3.SS2.SSS1.p1.5.m5.2.2.2.4" xref="S3.SS2.SSS1.p1.5.m5.2.2.2.4.cmml"><mi id="S3.SS2.SSS1.p1.5.m5.2.2.2.4.2" xref="S3.SS2.SSS1.p1.5.m5.2.2.2.4.2.cmml">s</mi><mo id="S3.SS2.SSS1.p1.5.m5.2.2.2.4.3" xref="S3.SS2.SSS1.p1.5.m5.2.2.2.4.3.cmml">′</mo></msup><mo id="S3.SS2.SSS1.p1.5.m5.2.2.2.3" xref="S3.SS2.SSS1.p1.5.m5.2.2.2.3.cmml">∼</mo><mrow id="S3.SS2.SSS1.p1.5.m5.2.2.2.5" xref="S3.SS2.SSS1.p1.5.m5.2.2.2.5.cmml"><mi class="ltx_font_mathcaligraphic" id="S3.SS2.SSS1.p1.5.m5.2.2.2.5.2" xref="S3.SS2.SSS1.p1.5.m5.2.2.2.5.2.cmml">𝒫</mi><mo lspace="0em" rspace="0em" id="S3.SS2.SSS1.p1.5.m5.2.2.2.5.1" xref="S3.SS2.SSS1.p1.5.m5.2.2.2.5.1.cmml">​</mo><mrow id="S3.SS2.SSS1.p1.5.m5.2.2.2.5.3.2" xref="S3.SS2.SSS1.p1.5.m5.2.2.2.5.3.1.cmml"><mo stretchy="false" id="S3.SS2.SSS1.p1.5.m5.2.2.2.5.3.2.1" xref="S3.SS2.SSS1.p1.5.m5.2.2.2.5.3.1.cmml">(</mo><mi id="S3.SS2.SSS1.p1.5.m5.1.1.1.1" xref="S3.SS2.SSS1.p1.5.m5.1.1.1.1.cmml">s</mi><mo id="S3.SS2.SSS1.p1.5.m5.2.2.2.5.3.2.2" xref="S3.SS2.SSS1.p1.5.m5.2.2.2.5.3.1.cmml">,</mo><mi id="S3.SS2.SSS1.p1.5.m5.2.2.2.2" xref="S3.SS2.SSS1.p1.5.m5.2.2.2.2.cmml">a</mi><mo stretchy="false" id="S3.SS2.SSS1.p1.5.m5.2.2.2.5.3.2.3" xref="S3.SS2.SSS1.p1.5.m5.2.2.2.5.3.1.cmml">)</mo></mrow></mrow></mrow></msub><mo lspace="0em" rspace="0em" id="S3.SS2.SSS1.p1.5.m5.7.7.1.1.2a" xref="S3.SS2.SSS1.p1.5.m5.7.7.1.1.2.cmml">​</mo><mrow id="S3.SS2.SSS1.p1.5.m5.7.7.1.1.1.1" xref="S3.SS2.SSS1.p1.5.m5.7.7.1.1.1.2.cmml"><mo id="S3.SS2.SSS1.p1.5.m5.7.7.1.1.1.1.2" xref="S3.SS2.SSS1.p1.5.m5.7.7.1.1.1.2.1.cmml">[</mo><mrow id="S3.SS2.SSS1.p1.5.m5.7.7.1.1.1.1.1" xref="S3.SS2.SSS1.p1.5.m5.7.7.1.1.1.1.1.cmml"><msup id="S3.SS2.SSS1.p1.5.m5.7.7.1.1.1.1.1.3" xref="S3.SS2.SSS1.p1.5.m5.7.7.1.1.1.1.1.3.cmml"><mi id="S3.SS2.SSS1.p1.5.m5.7.7.1.1.1.1.1.3.2" xref="S3.SS2.SSS1.p1.5.m5.7.7.1.1.1.1.1.3.2.cmml">V</mi><mi id="S3.SS2.SSS1.p1.5.m5.7.7.1.1.1.1.1.3.3" xref="S3.SS2.SSS1.p1.5.m5.7.7.1.1.1.1.1.3.3.cmml">θ</mi></msup><mo lspace="0em" rspace="0em" id="S3.SS2.SSS1.p1.5.m5.7.7.1.1.1.1.1.2" xref="S3.SS2.SSS1.p1.5.m5.7.7.1.1.1.1.1.2.cmml">​</mo><mrow id="S3.SS2.SSS1.p1.5.m5.7.7.1.1.1.1.1.1.1" xref="S3.SS2.SSS1.p1.5.m5.7.7.1.1.1.1.1.1.1.1.cmml"><mo stretchy="false" id="S3.SS2.SSS1.p1.5.m5.7.7.1.1.1.1.1.1.1.2" xref="S3.SS2.SSS1.p1.5.m5.7.7.1.1.1.1.1.1.1.1.cmml">(</mo><msup id="S3.SS2.SSS1.p1.5.m5.7.7.1.1.1.1.1.1.1.1" xref="S3.SS2.SSS1.p1.5.m5.7.7.1.1.1.1.1.1.1.1.cmml"><mi id="S3.SS2.SSS1.p1.5.m5.7.7.1.1.1.1.1.1.1.1.2" xref="S3.SS2.SSS1.p1.5.m5.7.7.1.1.1.1.1.1.1.1.2.cmml">s</mi><mo id="S3.SS2.SSS1.p1.5.m5.7.7.1.1.1.1.1.1.1.1.3" xref="S3.SS2.SSS1.p1.5.m5.7.7.1.1.1.1.1.1.1.1.3.cmml">′</mo></msup><mo stretchy="false" id="S3.SS2.SSS1.p1.5.m5.7.7.1.1.1.1.1.1.1.3" xref="S3.SS2.SSS1.p1.5.m5.7.7.1.1.1.1.1.1.1.1.cmml">)</mo></mrow></mrow><mo id="S3.SS2.SSS1.p1.5.m5.7.7.1.1.1.1.3" xref="S3.SS2.SSS1.p1.5.m5.7.7.1.1.1.2.1.cmml">]</mo></mrow></mrow></mrow></mrow><annotation-xml encoding="MathML-Content" id="S3.SS2.SSS1.p1.5.m5.7b"><apply id="S3.SS2.SSS1.p1.5.m5.7.7.cmml" xref="S3.SS2.SSS1.p1.5.m5.7.7"><eq id="S3.SS2.SSS1.p1.5.m5.7.7.2.cmml" xref="S3.SS2.SSS1.p1.5.m5.7.7.2"></eq><apply id="S3.SS2.SSS1.p1.5.m5.7.7.3.cmml" xref="S3.SS2.SSS1.p1.5.m5.7.7.3"><times id="S3.SS2.SSS1.p1.5.m5.7.7.3.1.cmml" xref="S3.SS2.SSS1.p1.5.m5.7.7.3.1"></times><apply id="S3.SS2.SSS1.p1.5.m5.7.7.3.2.cmml" xref="S3.SS2.SSS1.p1.5.m5.7.7.3.2"><csymbol cd="ambiguous" id="S3.SS2.SSS1.p1.5.m5.7.7.3.2.1.cmml" xref="S3.SS2.SSS1.p1.5.m5.7.7.3.2">superscript</csymbol><apply id="S3.SS2.SSS1.p1.5.m5.7.7.3.2.2.cmml" xref="S3.SS2.SSS1.p1.5.m5.7.7.3.2"><csymbol cd="ambiguous" id="S3.SS2.SSS1.p1.5.m5.7.7.3.2.2.1.cmml" xref="S3.SS2.SSS1.p1.5.m5.7.7.3.2">subscript</csymbol><ci id="S3.SS2.SSS1.p1.5.m5.7.7.3.2.2.2.cmml" xref="S3.SS2.SSS1.p1.5.m5.7.7.3.2.2.2">ℬ</ci><ci id="S3.SS2.SSS1.p1.5.m5.7.7.3.2.2.3.cmml" xref="S3.SS2.SSS1.p1.5.m5.7.7.3.2.2.3">𝑟</ci></apply><ci id="S3.SS2.SSS1.p1.5.m5.7.7.3.2.3.cmml" xref="S3.SS2.SSS1.p1.5.m5.7.7.3.2.3">𝜃</ci></apply><ci id="S3.SS2.SSS1.p1.5.m5.7.7.3.3.cmml" xref="S3.SS2.SSS1.p1.5.m5.7.7.3.3">𝑄</ci><interval closure="open" id="S3.SS2.SSS1.p1.5.m5.7.7.3.4.1.cmml" xref="S3.SS2.SSS1.p1.5.m5.7.7.3.4.2"><ci id="S3.SS2.SSS1.p1.5.m5.3.3.cmml" xref="S3.SS2.SSS1.p1.5.m5.3.3">𝑠</ci><ci id="S3.SS2.SSS1.p1.5.m5.4.4.cmml" xref="S3.SS2.SSS1.p1.5.m5.4.4">𝑎</ci></interval></apply><apply id="S3.SS2.SSS1.p1.5.m5.7.7.1.cmml" xref="S3.SS2.SSS1.p1.5.m5.7.7.1"><plus id="S3.SS2.SSS1.p1.5.m5.7.7.1.2.cmml" xref="S3.SS2.SSS1.p1.5.m5.7.7.1.2"></plus><apply id="S3.SS2.SSS1.p1.5.m5.7.7.1.3.cmml" xref="S3.SS2.SSS1.p1.5.m5.7.7.1.3"><times id="S3.SS2.SSS1.p1.5.m5.7.7.1.3.1.cmml" xref="S3.SS2.SSS1.p1.5.m5.7.7.1.3.1"></times><ci id="S3.SS2.SSS1.p1.5.m5.7.7.1.3.2.cmml" xref="S3.SS2.SSS1.p1.5.m5.7.7.1.3.2">𝑟</ci><interval closure="open" id="S3.SS2.SSS1.p1.5.m5.7.7.1.3.3.1.cmml" xref="S3.SS2.SSS1.p1.5.m5.7.7.1.3.3.2"><ci id="S3.SS2.SSS1.p1.5.m5.5.5.cmml" xref="S3.SS2.SSS1.p1.5.m5.5.5">𝑠</ci><ci id="S3.SS2.SSS1.p1.5.m5.6.6.cmml" xref="S3.SS2.SSS1.p1.5.m5.6.6">𝑎</ci></interval></apply><apply id="S3.SS2.SSS1.p1.5.m5.7.7.1.1.cmml" xref="S3.SS2.SSS1.p1.5.m5.7.7.1.1"><times id="S3.SS2.SSS1.p1.5.m5.7.7.1.1.2.cmml" xref="S3.SS2.SSS1.p1.5.m5.7.7.1.1.2"></times><ci id="S3.SS2.SSS1.p1.5.m5.7.7.1.1.3.cmml" xref="S3.SS2.SSS1.p1.5.m5.7.7.1.1.3">𝛾</ci><apply id="S3.SS2.SSS1.p1.5.m5.7.7.1.1.4.cmml" xref="S3.SS2.SSS1.p1.5.m5.7.7.1.1.4"><csymbol cd="ambiguous" id="S3.SS2.SSS1.p1.5.m5.7.7.1.1.4.1.cmml" xref="S3.SS2.SSS1.p1.5.m5.7.7.1.1.4">subscript</csymbol><ci id="S3.SS2.SSS1.p1.5.m5.7.7.1.1.4.2.cmml" xref="S3.SS2.SSS1.p1.5.m5.7.7.1.1.4.2">𝔼</ci><apply id="S3.SS2.SSS1.p1.5.m5.2.2.2.cmml" xref="S3.SS2.SSS1.p1.5.m5.2.2.2"><csymbol cd="latexml" id="S3.SS2.SSS1.p1.5.m5.2.2.2.3.cmml" xref="S3.SS2.SSS1.p1.5.m5.2.2.2.3">similar-to</csymbol><apply id="S3.SS2.SSS1.p1.5.m5.2.2.2.4.cmml" xref="S3.SS2.SSS1.p1.5.m5.2.2.2.4"><csymbol cd="ambiguous" id="S3.SS2.SSS1.p1.5.m5.2.2.2.4.1.cmml" xref="S3.SS2.SSS1.p1.5.m5.2.2.2.4">superscript</csymbol><ci id="S3.SS2.SSS1.p1.5.m5.2.2.2.4.2.cmml" xref="S3.SS2.SSS1.p1.5.m5.2.2.2.4.2">𝑠</ci><ci id="S3.SS2.SSS1.p1.5.m5.2.2.2.4.3.cmml" xref="S3.SS2.SSS1.p1.5.m5.2.2.2.4.3">′</ci></apply><apply id="S3.SS2.SSS1.p1.5.m5.2.2.2.5.cmml" xref="S3.SS2.SSS1.p1.5.m5.2.2.2.5"><times id="S3.SS2.SSS1.p1.5.m5.2.2.2.5.1.cmml" xref="S3.SS2.SSS1.p1.5.m5.2.2.2.5.1"></times><ci id="S3.SS2.SSS1.p1.5.m5.2.2.2.5.2.cmml" xref="S3.SS2.SSS1.p1.5.m5.2.2.2.5.2">𝒫</ci><interval closure="open" id="S3.SS2.SSS1.p1.5.m5.2.2.2.5.3.1.cmml" xref="S3.SS2.SSS1.p1.5.m5.2.2.2.5.3.2"><ci id="S3.SS2.SSS1.p1.5.m5.1.1.1.1.cmml" xref="S3.SS2.SSS1.p1.5.m5.1.1.1.1">𝑠</ci><ci id="S3.SS2.SSS1.p1.5.m5.2.2.2.2.cmml" xref="S3.SS2.SSS1.p1.5.m5.2.2.2.2">𝑎</ci></interval></apply></apply></apply><apply id="S3.SS2.SSS1.p1.5.m5.7.7.1.1.1.2.cmml" xref="S3.SS2.SSS1.p1.5.m5.7.7.1.1.1.1"><csymbol cd="latexml" id="S3.SS2.SSS1.p1.5.m5.7.7.1.1.1.2.1.cmml" xref="S3.SS2.SSS1.p1.5.m5.7.7.1.1.1.1.2">delimited-[]</csymbol><apply id="S3.SS2.SSS1.p1.5.m5.7.7.1.1.1.1.1.cmml" xref="S3.SS2.SSS1.p1.5.m5.7.7.1.1.1.1.1"><times id="S3.SS2.SSS1.p1.5.m5.7.7.1.1.1.1.1.2.cmml" xref="S3.SS2.SSS1.p1.5.m5.7.7.1.1.1.1.1.2"></times><apply id="S3.SS2.SSS1.p1.5.m5.7.7.1.1.1.1.1.3.cmml" xref="S3.SS2.SSS1.p1.5.m5.7.7.1.1.1.1.1.3"><csymbol cd="ambiguous" id="S3.SS2.SSS1.p1.5.m5.7.7.1.1.1.1.1.3.1.cmml" xref="S3.SS2.SSS1.p1.5.m5.7.7.1.1.1.1.1.3">superscript</csymbol><ci id="S3.SS2.SSS1.p1.5.m5.7.7.1.1.1.1.1.3.2.cmml" xref="S3.SS2.SSS1.p1.5.m5.7.7.1.1.1.1.1.3.2">𝑉</ci><ci id="S3.SS2.SSS1.p1.5.m5.7.7.1.1.1.1.1.3.3.cmml" xref="S3.SS2.SSS1.p1.5.m5.7.7.1.1.1.1.1.3.3">𝜃</ci></apply><apply id="S3.SS2.SSS1.p1.5.m5.7.7.1.1.1.1.1.1.1.1.cmml" xref="S3.SS2.SSS1.p1.5.m5.7.7.1.1.1.1.1.1.1"><csymbol cd="ambiguous" id="S3.SS2.SSS1.p1.5.m5.7.7.1.1.1.1.1.1.1.1.1.cmml" xref="S3.SS2.SSS1.p1.5.m5.7.7.1.1.1.1.1.1.1">superscript</csymbol><ci id="S3.SS2.SSS1.p1.5.m5.7.7.1.1.1.1.1.1.1.1.2.cmml" xref="S3.SS2.SSS1.p1.5.m5.7.7.1.1.1.1.1.1.1.1.2">𝑠</ci><ci id="S3.SS2.SSS1.p1.5.m5.7.7.1.1.1.1.1.1.1.1.3.cmml" xref="S3.SS2.SSS1.p1.5.m5.7.7.1.1.1.1.1.1.1.1.3">′</ci></apply></apply></apply></apply></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="S3.SS2.SSS1.p1.5.m5.7c">\mathcal{B}_{r}^{\theta}Q(s,a)=r(s,a)+\gamma\mathbb{E}_{s^{\prime}\sim\mathcal{P}(s,a)}\left[V^{\theta}(s^{\prime})\right]</annotation></semantics></math>, for the value function <math id="S3.SS2.SSS1.p1.6.m6.4" class="ltx_math_unparsed" alttext="V^{\theta}(s)=\mathbb{E}_{a\sim p_{\theta}(\cdot|s)}\left[Q(s,a)-\log p_{\theta}(a|s)\right]" display="inline"><semantics id="S3.SS2.SSS1.p1.6.m6.4a"><mrow id="S3.SS2.SSS1.p1.6.m6.4.4"><mrow id="S3.SS2.SSS1.p1.6.m6.4.4.3"><msup id="S3.SS2.SSS1.p1.6.m6.4.4.3.2"><mi id="S3.SS2.SSS1.p1.6.m6.4.4.3.2.2">V</mi><mi id="S3.SS2.SSS1.p1.6.m6.4.4.3.2.3">θ</mi></msup><mo lspace="0em" rspace="0em" id="S3.SS2.SSS1.p1.6.m6.4.4.3.1">​</mo><mrow id="S3.SS2.SSS1.p1.6.m6.4.4.3.3.2"><mo stretchy="false" id="S3.SS2.SSS1.p1.6.m6.4.4.3.3.2.1">(</mo><mi id="S3.SS2.SSS1.p1.6.m6.1.1">s</mi><mo stretchy="false" id="S3.SS2.SSS1.p1.6.m6.4.4.3.3.2.2">)</mo></mrow></mrow><mo id="S3.SS2.SSS1.p1.6.m6.4.4.2">=</mo><mrow id="S3.SS2.SSS1.p1.6.m6.4.4.1"><msub id="S3.SS2.SSS1.p1.6.m6.4.4.1.3"><mi id="S3.SS2.SSS1.p1.6.m6.4.4.1.3.2">𝔼</mi><mrow id="S3.SS2.SSS1.p1.6.m6.4.4.1.3.3"><mi id="S3.SS2.SSS1.p1.6.m6.4.4.1.3.3.1">a</mi><mo id="S3.SS2.SSS1.p1.6.m6.4.4.1.3.3.2">∼</mo><msub id="S3.SS2.SSS1.p1.6.m6.4.4.1.3.3.3"><mi id="S3.SS2.SSS1.p1.6.m6.4.4.1.3.3.3.2">p</mi><mi id="S3.SS2.SSS1.p1.6.m6.4.4.1.3.3.3.3">θ</mi></msub><mrow id="S3.SS2.SSS1.p1.6.m6.4.4.1.3.3.4"><mo stretchy="false" id="S3.SS2.SSS1.p1.6.m6.4.4.1.3.3.4.1">(</mo><mo lspace="0em" rspace="0em" id="S3.SS2.SSS1.p1.6.m6.4.4.1.3.3.4.2">⋅</mo><mo fence="false" rspace="0.167em" stretchy="false" id="S3.SS2.SSS1.p1.6.m6.4.4.1.3.3.4.3">|</mo><mi id="S3.SS2.SSS1.p1.6.m6.4.4.1.3.3.4.4">s</mi><mo stretchy="false" id="S3.SS2.SSS1.p1.6.m6.4.4.1.3.3.4.5">)</mo></mrow></mrow></msub><mo lspace="0em" rspace="0em" id="S3.SS2.SSS1.p1.6.m6.4.4.1.2">​</mo><mrow id="S3.SS2.SSS1.p1.6.m6.4.4.1.1.1"><mo id="S3.SS2.SSS1.p1.6.m6.4.4.1.1.1.2">[</mo><mrow id="S3.SS2.SSS1.p1.6.m6.4.4.1.1.1.1"><mrow id="S3.SS2.SSS1.p1.6.m6.4.4.1.1.1.1.3"><mi id="S3.SS2.SSS1.p1.6.m6.4.4.1.1.1.1.3.2">Q</mi><mo lspace="0em" rspace="0em" id="S3.SS2.SSS1.p1.6.m6.4.4.1.1.1.1.3.1">​</mo><mrow id="S3.SS2.SSS1.p1.6.m6.4.4.1.1.1.1.3.3.2"><mo stretchy="false" id="S3.SS2.SSS1.p1.6.m6.4.4.1.1.1.1.3.3.2.1">(</mo><mi id="S3.SS2.SSS1.p1.6.m6.2.2">s</mi><mo id="S3.SS2.SSS1.p1.6.m6.4.4.1.1.1.1.3.3.2.2">,</mo><mi id="S3.SS2.SSS1.p1.6.m6.3.3">a</mi><mo stretchy="false" id="S3.SS2.SSS1.p1.6.m6.4.4.1.1.1.1.3.3.2.3">)</mo></mrow></mrow><mo id="S3.SS2.SSS1.p1.6.m6.4.4.1.1.1.1.2">−</mo><mrow id="S3.SS2.SSS1.p1.6.m6.4.4.1.1.1.1.1"><mrow id="S3.SS2.SSS1.p1.6.m6.4.4.1.1.1.1.1.3"><mi id="S3.SS2.SSS1.p1.6.m6.4.4.1.1.1.1.1.3.1">log</mi><mo lspace="0.167em" id="S3.SS2.SSS1.p1.6.m6.4.4.1.1.1.1.1.3a">⁡</mo><msub id="S3.SS2.SSS1.p1.6.m6.4.4.1.1.1.1.1.3.2"><mi id="S3.SS2.SSS1.p1.6.m6.4.4.1.1.1.1.1.3.2.2">p</mi><mi id="S3.SS2.SSS1.p1.6.m6.4.4.1.1.1.1.1.3.2.3">θ</mi></msub></mrow><mo lspace="0em" rspace="0em" id="S3.SS2.SSS1.p1.6.m6.4.4.1.1.1.1.1.2">​</mo><mrow id="S3.SS2.SSS1.p1.6.m6.4.4.1.1.1.1.1.1.1"><mo stretchy="false" id="S3.SS2.SSS1.p1.6.m6.4.4.1.1.1.1.1.1.1.2">(</mo><mrow id="S3.SS2.SSS1.p1.6.m6.4.4.1.1.1.1.1.1.1.1"><mi id="S3.SS2.SSS1.p1.6.m6.4.4.1.1.1.1.1.1.1.1.2">a</mi><mo fence="false" id="S3.SS2.SSS1.p1.6.m6.4.4.1.1.1.1.1.1.1.1.1">|</mo><mi id="S3.SS2.SSS1.p1.6.m6.4.4.1.1.1.1.1.1.1.1.3">s</mi></mrow><mo stretchy="false" id="S3.SS2.SSS1.p1.6.m6.4.4.1.1.1.1.1.1.1.3">)</mo></mrow></mrow></mrow><mo id="S3.SS2.SSS1.p1.6.m6.4.4.1.1.1.3">]</mo></mrow></mrow></mrow><annotation encoding="application/x-tex" id="S3.SS2.SSS1.p1.6.m6.4b">V^{\theta}(s)=\mathbb{E}_{a\sim p_{\theta}(\cdot|s)}\left[Q(s,a)-\log p_{\theta}(a|s)\right]</annotation></semantics></math>. The inverse Bellman operator <math id="S3.SS2.SSS1.p1.7.m7.1" class="ltx_Math" alttext="\mathcal{T}^{\theta}" display="inline"><semantics id="S3.SS2.SSS1.p1.7.m7.1a"><msup id="S3.SS2.SSS1.p1.7.m7.1.1" xref="S3.SS2.SSS1.p1.7.m7.1.1.cmml"><mi class="ltx_font_mathcaligraphic" id="S3.SS2.SSS1.p1.7.m7.1.1.2" xref="S3.SS2.SSS1.p1.7.m7.1.1.2.cmml">𝒯</mi><mi id="S3.SS2.SSS1.p1.7.m7.1.1.3" xref="S3.SS2.SSS1.p1.7.m7.1.1.3.cmml">θ</mi></msup><annotation-xml encoding="MathML-Content" id="S3.SS2.SSS1.p1.7.m7.1b"><apply id="S3.SS2.SSS1.p1.7.m7.1.1.cmml" xref="S3.SS2.SSS1.p1.7.m7.1.1"><csymbol cd="ambiguous" id="S3.SS2.SSS1.p1.7.m7.1.1.1.cmml" xref="S3.SS2.SSS1.p1.7.m7.1.1">superscript</csymbol><ci id="S3.SS2.SSS1.p1.7.m7.1.1.2.cmml" xref="S3.SS2.SSS1.p1.7.m7.1.1.2">𝒯</ci><ci id="S3.SS2.SSS1.p1.7.m7.1.1.3.cmml" xref="S3.SS2.SSS1.p1.7.m7.1.1.3">𝜃</ci></apply></annotation-xml><annotation encoding="application/x-tex" id="S3.SS2.SSS1.p1.7.m7.1c">\mathcal{T}^{\theta}</annotation></semantics></math> is the inverse of this operator, given by <math id="S3.SS2.SSS1.p1.8.m8.8" class="ltx_Math" alttext="(\mathcal{T}^{\theta}Q)(s,a)=Q(s,a)-\gamma\mathbb{E}_{s^{\prime}\sim\mathcal{P}(s,a)}\left[V^{\theta}(s^{\prime})\right]" display="inline"><semantics id="S3.SS2.SSS1.p1.8.m8.8a"><mrow id="S3.SS2.SSS1.p1.8.m8.8.8" xref="S3.SS2.SSS1.p1.8.m8.8.8.cmml"><mrow id="S3.SS2.SSS1.p1.8.m8.7.7.1" xref="S3.SS2.SSS1.p1.8.m8.7.7.1.cmml"><mrow id="S3.SS2.SSS1.p1.8.m8.7.7.1.1.1" xref="S3.SS2.SSS1.p1.8.m8.7.7.1.1.1.1.cmml"><mo stretchy="false" id="S3.SS2.SSS1.p1.8.m8.7.7.1.1.1.2" xref="S3.SS2.SSS1.p1.8.m8.7.7.1.1.1.1.cmml">(</mo><mrow id="S3.SS2.SSS1.p1.8.m8.7.7.1.1.1.1" xref="S3.SS2.SSS1.p1.8.m8.7.7.1.1.1.1.cmml"><msup id="S3.SS2.SSS1.p1.8.m8.7.7.1.1.1.1.2" xref="S3.SS2.SSS1.p1.8.m8.7.7.1.1.1.1.2.cmml"><mi class="ltx_font_mathcaligraphic" id="S3.SS2.SSS1.p1.8.m8.7.7.1.1.1.1.2.2" xref="S3.SS2.SSS1.p1.8.m8.7.7.1.1.1.1.2.2.cmml">𝒯</mi><mi id="S3.SS2.SSS1.p1.8.m8.7.7.1.1.1.1.2.3" xref="S3.SS2.SSS1.p1.8.m8.7.7.1.1.1.1.2.3.cmml">θ</mi></msup><mo lspace="0em" rspace="0em" id="S3.SS2.SSS1.p1.8.m8.7.7.1.1.1.1.1" xref="S3.SS2.SSS1.p1.8.m8.7.7.1.1.1.1.1.cmml">​</mo><mi id="S3.SS2.SSS1.p1.8.m8.7.7.1.1.1.1.3" xref="S3.SS2.SSS1.p1.8.m8.7.7.1.1.1.1.3.cmml">Q</mi></mrow><mo stretchy="false" id="S3.SS2.SSS1.p1.8.m8.7.7.1.1.1.3" xref="S3.SS2.SSS1.p1.8.m8.7.7.1.1.1.1.cmml">)</mo></mrow><mo lspace="0em" rspace="0em" id="S3.SS2.SSS1.p1.8.m8.7.7.1.2" xref="S3.SS2.SSS1.p1.8.m8.7.7.1.2.cmml">​</mo><mrow id="S3.SS2.SSS1.p1.8.m8.7.7.1.3.2" xref="S3.SS2.SSS1.p1.8.m8.7.7.1.3.1.cmml"><mo stretchy="false" id="S3.SS2.SSS1.p1.8.m8.7.7.1.3.2.1" xref="S3.SS2.SSS1.p1.8.m8.7.7.1.3.1.cmml">(</mo><mi id="S3.SS2.SSS1.p1.8.m8.3.3" xref="S3.SS2.SSS1.p1.8.m8.3.3.cmml">s</mi><mo id="S3.SS2.SSS1.p1.8.m8.7.7.1.3.2.2" xref="S3.SS2.SSS1.p1.8.m8.7.7.1.3.1.cmml">,</mo><mi id="S3.SS2.SSS1.p1.8.m8.4.4" xref="S3.SS2.SSS1.p1.8.m8.4.4.cmml">a</mi><mo stretchy="false" id="S3.SS2.SSS1.p1.8.m8.7.7.1.3.2.3" xref="S3.SS2.SSS1.p1.8.m8.7.7.1.3.1.cmml">)</mo></mrow></mrow><mo id="S3.SS2.SSS1.p1.8.m8.8.8.3" xref="S3.SS2.SSS1.p1.8.m8.8.8.3.cmml">=</mo><mrow id="S3.SS2.SSS1.p1.8.m8.8.8.2" xref="S3.SS2.SSS1.p1.8.m8.8.8.2.cmml"><mrow id="S3.SS2.SSS1.p1.8.m8.8.8.2.3" xref="S3.SS2.SSS1.p1.8.m8.8.8.2.3.cmml"><mi id="S3.SS2.SSS1.p1.8.m8.8.8.2.3.2" xref="S3.SS2.SSS1.p1.8.m8.8.8.2.3.2.cmml">Q</mi><mo lspace="0em" rspace="0em" id="S3.SS2.SSS1.p1.8.m8.8.8.2.3.1" xref="S3.SS2.SSS1.p1.8.m8.8.8.2.3.1.cmml">​</mo><mrow id="S3.SS2.SSS1.p1.8.m8.8.8.2.3.3.2" xref="S3.SS2.SSS1.p1.8.m8.8.8.2.3.3.1.cmml"><mo stretchy="false" id="S3.SS2.SSS1.p1.8.m8.8.8.2.3.3.2.1" xref="S3.SS2.SSS1.p1.8.m8.8.8.2.3.3.1.cmml">(</mo><mi id="S3.SS2.SSS1.p1.8.m8.5.5" xref="S3.SS2.SSS1.p1.8.m8.5.5.cmml">s</mi><mo id="S3.SS2.SSS1.p1.8.m8.8.8.2.3.3.2.2" xref="S3.SS2.SSS1.p1.8.m8.8.8.2.3.3.1.cmml">,</mo><mi id="S3.SS2.SSS1.p1.8.m8.6.6" xref="S3.SS2.SSS1.p1.8.m8.6.6.cmml">a</mi><mo stretchy="false" id="S3.SS2.SSS1.p1.8.m8.8.8.2.3.3.2.3" xref="S3.SS2.SSS1.p1.8.m8.8.8.2.3.3.1.cmml">)</mo></mrow></mrow><mo id="S3.SS2.SSS1.p1.8.m8.8.8.2.2" xref="S3.SS2.SSS1.p1.8.m8.8.8.2.2.cmml">−</mo><mrow id="S3.SS2.SSS1.p1.8.m8.8.8.2.1" xref="S3.SS2.SSS1.p1.8.m8.8.8.2.1.cmml"><mi id="S3.SS2.SSS1.p1.8.m8.8.8.2.1.3" xref="S3.SS2.SSS1.p1.8.m8.8.8.2.1.3.cmml">γ</mi><mo lspace="0em" rspace="0em" id="S3.SS2.SSS1.p1.8.m8.8.8.2.1.2" xref="S3.SS2.SSS1.p1.8.m8.8.8.2.1.2.cmml">​</mo><msub id="S3.SS2.SSS1.p1.8.m8.8.8.2.1.4" xref="S3.SS2.SSS1.p1.8.m8.8.8.2.1.4.cmml"><mi id="S3.SS2.SSS1.p1.8.m8.8.8.2.1.4.2" xref="S3.SS2.SSS1.p1.8.m8.8.8.2.1.4.2.cmml">𝔼</mi><mrow id="S3.SS2.SSS1.p1.8.m8.2.2.2" xref="S3.SS2.SSS1.p1.8.m8.2.2.2.cmml"><msup id="S3.SS2.SSS1.p1.8.m8.2.2.2.4" xref="S3.SS2.SSS1.p1.8.m8.2.2.2.4.cmml"><mi id="S3.SS2.SSS1.p1.8.m8.2.2.2.4.2" xref="S3.SS2.SSS1.p1.8.m8.2.2.2.4.2.cmml">s</mi><mo id="S3.SS2.SSS1.p1.8.m8.2.2.2.4.3" xref="S3.SS2.SSS1.p1.8.m8.2.2.2.4.3.cmml">′</mo></msup><mo id="S3.SS2.SSS1.p1.8.m8.2.2.2.3" xref="S3.SS2.SSS1.p1.8.m8.2.2.2.3.cmml">∼</mo><mrow id="S3.SS2.SSS1.p1.8.m8.2.2.2.5" xref="S3.SS2.SSS1.p1.8.m8.2.2.2.5.cmml"><mi class="ltx_font_mathcaligraphic" id="S3.SS2.SSS1.p1.8.m8.2.2.2.5.2" xref="S3.SS2.SSS1.p1.8.m8.2.2.2.5.2.cmml">𝒫</mi><mo lspace="0em" rspace="0em" id="S3.SS2.SSS1.p1.8.m8.2.2.2.5.1" xref="S3.SS2.SSS1.p1.8.m8.2.2.2.5.1.cmml">​</mo><mrow id="S3.SS2.SSS1.p1.8.m8.2.2.2.5.3.2" xref="S3.SS2.SSS1.p1.8.m8.2.2.2.5.3.1.cmml"><mo stretchy="false" id="S3.SS2.SSS1.p1.8.m8.2.2.2.5.3.2.1" xref="S3.SS2.SSS1.p1.8.m8.2.2.2.5.3.1.cmml">(</mo><mi id="S3.SS2.SSS1.p1.8.m8.1.1.1.1" xref="S3.SS2.SSS1.p1.8.m8.1.1.1.1.cmml">s</mi><mo id="S3.SS2.SSS1.p1.8.m8.2.2.2.5.3.2.2" xref="S3.SS2.SSS1.p1.8.m8.2.2.2.5.3.1.cmml">,</mo><mi id="S3.SS2.SSS1.p1.8.m8.2.2.2.2" xref="S3.SS2.SSS1.p1.8.m8.2.2.2.2.cmml">a</mi><mo stretchy="false" id="S3.SS2.SSS1.p1.8.m8.2.2.2.5.3.2.3" xref="S3.SS2.SSS1.p1.8.m8.2.2.2.5.3.1.cmml">)</mo></mrow></mrow></mrow></msub><mo lspace="0em" rspace="0em" id="S3.SS2.SSS1.p1.8.m8.8.8.2.1.2a" xref="S3.SS2.SSS1.p1.8.m8.8.8.2.1.2.cmml">​</mo><mrow id="S3.SS2.SSS1.p1.8.m8.8.8.2.1.1.1" xref="S3.SS2.SSS1.p1.8.m8.8.8.2.1.1.2.cmml"><mo id="S3.SS2.SSS1.p1.8.m8.8.8.2.1.1.1.2" xref="S3.SS2.SSS1.p1.8.m8.8.8.2.1.1.2.1.cmml">[</mo><mrow id="S3.SS2.SSS1.p1.8.m8.8.8.2.1.1.1.1" xref="S3.SS2.SSS1.p1.8.m8.8.8.2.1.1.1.1.cmml"><msup id="S3.SS2.SSS1.p1.8.m8.8.8.2.1.1.1.1.3" xref="S3.SS2.SSS1.p1.8.m8.8.8.2.1.1.1.1.3.cmml"><mi id="S3.SS2.SSS1.p1.8.m8.8.8.2.1.1.1.1.3.2" xref="S3.SS2.SSS1.p1.8.m8.8.8.2.1.1.1.1.3.2.cmml">V</mi><mi id="S3.SS2.SSS1.p1.8.m8.8.8.2.1.1.1.1.3.3" xref="S3.SS2.SSS1.p1.8.m8.8.8.2.1.1.1.1.3.3.cmml">θ</mi></msup><mo lspace="0em" rspace="0em" id="S3.SS2.SSS1.p1.8.m8.8.8.2.1.1.1.1.2" xref="S3.SS2.SSS1.p1.8.m8.8.8.2.1.1.1.1.2.cmml">​</mo><mrow id="S3.SS2.SSS1.p1.8.m8.8.8.2.1.1.1.1.1.1" xref="S3.SS2.SSS1.p1.8.m8.8.8.2.1.1.1.1.1.1.1.cmml"><mo stretchy="false" id="S3.SS2.SSS1.p1.8.m8.8.8.2.1.1.1.1.1.1.2" xref="S3.SS2.SSS1.p1.8.m8.8.8.2.1.1.1.1.1.1.1.cmml">(</mo><msup id="S3.SS2.SSS1.p1.8.m8.8.8.2.1.1.1.1.1.1.1" xref="S3.SS2.SSS1.p1.8.m8.8.8.2.1.1.1.1.1.1.1.cmml"><mi id="S3.SS2.SSS1.p1.8.m8.8.8.2.1.1.1.1.1.1.1.2" xref="S3.SS2.SSS1.p1.8.m8.8.8.2.1.1.1.1.1.1.1.2.cmml">s</mi><mo id="S3.SS2.SSS1.p1.8.m8.8.8.2.1.1.1.1.1.1.1.3" xref="S3.SS2.SSS1.p1.8.m8.8.8.2.1.1.1.1.1.1.1.3.cmml">′</mo></msup><mo stretchy="false" id="S3.SS2.SSS1.p1.8.m8.8.8.2.1.1.1.1.1.1.3" xref="S3.SS2.SSS1.p1.8.m8.8.8.2.1.1.1.1.1.1.1.cmml">)</mo></mrow></mrow><mo id="S3.SS2.SSS1.p1.8.m8.8.8.2.1.1.1.3" xref="S3.SS2.SSS1.p1.8.m8.8.8.2.1.1.2.1.cmml">]</mo></mrow></mrow></mrow></mrow><annotation-xml encoding="MathML-Content" id="S3.SS2.SSS1.p1.8.m8.8b"><apply id="S3.SS2.SSS1.p1.8.m8.8.8.cmml" xref="S3.SS2.SSS1.p1.8.m8.8.8"><eq id="S3.SS2.SSS1.p1.8.m8.8.8.3.cmml" xref="S3.SS2.SSS1.p1.8.m8.8.8.3"></eq><apply id="S3.SS2.SSS1.p1.8.m8.7.7.1.cmml" xref="S3.SS2.SSS1.p1.8.m8.7.7.1"><times id="S3.SS2.SSS1.p1.8.m8.7.7.1.2.cmml" xref="S3.SS2.SSS1.p1.8.m8.7.7.1.2"></times><apply id="S3.SS2.SSS1.p1.8.m8.7.7.1.1.1.1.cmml" xref="S3.SS2.SSS1.p1.8.m8.7.7.1.1.1"><times id="S3.SS2.SSS1.p1.8.m8.7.7.1.1.1.1.1.cmml" xref="S3.SS2.SSS1.p1.8.m8.7.7.1.1.1.1.1"></times><apply id="S3.SS2.SSS1.p1.8.m8.7.7.1.1.1.1.2.cmml" xref="S3.SS2.SSS1.p1.8.m8.7.7.1.1.1.1.2"><csymbol cd="ambiguous" id="S3.SS2.SSS1.p1.8.m8.7.7.1.1.1.1.2.1.cmml" xref="S3.SS2.SSS1.p1.8.m8.7.7.1.1.1.1.2">superscript</csymbol><ci id="S3.SS2.SSS1.p1.8.m8.7.7.1.1.1.1.2.2.cmml" xref="S3.SS2.SSS1.p1.8.m8.7.7.1.1.1.1.2.2">𝒯</ci><ci id="S3.SS2.SSS1.p1.8.m8.7.7.1.1.1.1.2.3.cmml" xref="S3.SS2.SSS1.p1.8.m8.7.7.1.1.1.1.2.3">𝜃</ci></apply><ci id="S3.SS2.SSS1.p1.8.m8.7.7.1.1.1.1.3.cmml" xref="S3.SS2.SSS1.p1.8.m8.7.7.1.1.1.1.3">𝑄</ci></apply><interval closure="open" id="S3.SS2.SSS1.p1.8.m8.7.7.1.3.1.cmml" xref="S3.SS2.SSS1.p1.8.m8.7.7.1.3.2"><ci id="S3.SS2.SSS1.p1.8.m8.3.3.cmml" xref="S3.SS2.SSS1.p1.8.m8.3.3">𝑠</ci><ci id="S3.SS2.SSS1.p1.8.m8.4.4.cmml" xref="S3.SS2.SSS1.p1.8.m8.4.4">𝑎</ci></interval></apply><apply id="S3.SS2.SSS1.p1.8.m8.8.8.2.cmml" xref="S3.SS2.SSS1.p1.8.m8.8.8.2"><minus id="S3.SS2.SSS1.p1.8.m8.8.8.2.2.cmml" xref="S3.SS2.SSS1.p1.8.m8.8.8.2.2"></minus><apply id="S3.SS2.SSS1.p1.8.m8.8.8.2.3.cmml" xref="S3.SS2.SSS1.p1.8.m8.8.8.2.3"><times id="S3.SS2.SSS1.p1.8.m8.8.8.2.3.1.cmml" xref="S3.SS2.SSS1.p1.8.m8.8.8.2.3.1"></times><ci id="S3.SS2.SSS1.p1.8.m8.8.8.2.3.2.cmml" xref="S3.SS2.SSS1.p1.8.m8.8.8.2.3.2">𝑄</ci><interval closure="open" id="S3.SS2.SSS1.p1.8.m8.8.8.2.3.3.1.cmml" xref="S3.SS2.SSS1.p1.8.m8.8.8.2.3.3.2"><ci id="S3.SS2.SSS1.p1.8.m8.5.5.cmml" xref="S3.SS2.SSS1.p1.8.m8.5.5">𝑠</ci><ci id="S3.SS2.SSS1.p1.8.m8.6.6.cmml" xref="S3.SS2.SSS1.p1.8.m8.6.6">𝑎</ci></interval></apply><apply id="S3.SS2.SSS1.p1.8.m8.8.8.2.1.cmml" xref="S3.SS2.SSS1.p1.8.m8.8.8.2.1"><times id="S3.SS2.SSS1.p1.8.m8.8.8.2.1.2.cmml" xref="S3.SS2.SSS1.p1.8.m8.8.8.2.1.2"></times><ci id="S3.SS2.SSS1.p1.8.m8.8.8.2.1.3.cmml" xref="S3.SS2.SSS1.p1.8.m8.8.8.2.1.3">𝛾</ci><apply id="S3.SS2.SSS1.p1.8.m8.8.8.2.1.4.cmml" xref="S3.SS2.SSS1.p1.8.m8.8.8.2.1.4"><csymbol cd="ambiguous" id="S3.SS2.SSS1.p1.8.m8.8.8.2.1.4.1.cmml" xref="S3.SS2.SSS1.p1.8.m8.8.8.2.1.4">subscript</csymbol><ci id="S3.SS2.SSS1.p1.8.m8.8.8.2.1.4.2.cmml" xref="S3.SS2.SSS1.p1.8.m8.8.8.2.1.4.2">𝔼</ci><apply id="S3.SS2.SSS1.p1.8.m8.2.2.2.cmml" xref="S3.SS2.SSS1.p1.8.m8.2.2.2"><csymbol cd="latexml" id="S3.SS2.SSS1.p1.8.m8.2.2.2.3.cmml" xref="S3.SS2.SSS1.p1.8.m8.2.2.2.3">similar-to</csymbol><apply id="S3.SS2.SSS1.p1.8.m8.2.2.2.4.cmml" xref="S3.SS2.SSS1.p1.8.m8.2.2.2.4"><csymbol cd="ambiguous" id="S3.SS2.SSS1.p1.8.m8.2.2.2.4.1.cmml" xref="S3.SS2.SSS1.p1.8.m8.2.2.2.4">superscript</csymbol><ci id="S3.SS2.SSS1.p1.8.m8.2.2.2.4.2.cmml" xref="S3.SS2.SSS1.p1.8.m8.2.2.2.4.2">𝑠</ci><ci id="S3.SS2.SSS1.p1.8.m8.2.2.2.4.3.cmml" xref="S3.SS2.SSS1.p1.8.m8.2.2.2.4.3">′</ci></apply><apply id="S3.SS2.SSS1.p1.8.m8.2.2.2.5.cmml" xref="S3.SS2.SSS1.p1.8.m8.2.2.2.5"><times id="S3.SS2.SSS1.p1.8.m8.2.2.2.5.1.cmml" xref="S3.SS2.SSS1.p1.8.m8.2.2.2.5.1"></times><ci id="S3.SS2.SSS1.p1.8.m8.2.2.2.5.2.cmml" xref="S3.SS2.SSS1.p1.8.m8.2.2.2.5.2">𝒫</ci><interval closure="open" id="S3.SS2.SSS1.p1.8.m8.2.2.2.5.3.1.cmml" xref="S3.SS2.SSS1.p1.8.m8.2.2.2.5.3.2"><ci id="S3.SS2.SSS1.p1.8.m8.1.1.1.1.cmml" xref="S3.SS2.SSS1.p1.8.m8.1.1.1.1">𝑠</ci><ci id="S3.SS2.SSS1.p1.8.m8.2.2.2.2.cmml" xref="S3.SS2.SSS1.p1.8.m8.2.2.2.2">𝑎</ci></interval></apply></apply></apply><apply id="S3.SS2.SSS1.p1.8.m8.8.8.2.1.1.2.cmml" xref="S3.SS2.SSS1.p1.8.m8.8.8.2.1.1.1"><csymbol cd="latexml" id="S3.SS2.SSS1.p1.8.m8.8.8.2.1.1.2.1.cmml" xref="S3.SS2.SSS1.p1.8.m8.8.8.2.1.1.1.2">delimited-[]</csymbol><apply id="S3.SS2.SSS1.p1.8.m8.8.8.2.1.1.1.1.cmml" xref="S3.SS2.SSS1.p1.8.m8.8.8.2.1.1.1.1"><times id="S3.SS2.SSS1.p1.8.m8.8.8.2.1.1.1.1.2.cmml" xref="S3.SS2.SSS1.p1.8.m8.8.8.2.1.1.1.1.2"></times><apply id="S3.SS2.SSS1.p1.8.m8.8.8.2.1.1.1.1.3.cmml" xref="S3.SS2.SSS1.p1.8.m8.8.8.2.1.1.1.1.3"><csymbol cd="ambiguous" id="S3.SS2.SSS1.p1.8.m8.8.8.2.1.1.1.1.3.1.cmml" xref="S3.SS2.SSS1.p1.8.m8.8.8.2.1.1.1.1.3">superscript</csymbol><ci id="S3.SS2.SSS1.p1.8.m8.8.8.2.1.1.1.1.3.2.cmml" xref="S3.SS2.SSS1.p1.8.m8.8.8.2.1.1.1.1.3.2">𝑉</ci><ci id="S3.SS2.SSS1.p1.8.m8.8.8.2.1.1.1.1.3.3.cmml" xref="S3.SS2.SSS1.p1.8.m8.8.8.2.1.1.1.1.3.3">𝜃</ci></apply><apply id="S3.SS2.SSS1.p1.8.m8.8.8.2.1.1.1.1.1.1.1.cmml" xref="S3.SS2.SSS1.p1.8.m8.8.8.2.1.1.1.1.1.1"><csymbol cd="ambiguous" id="S3.SS2.SSS1.p1.8.m8.8.8.2.1.1.1.1.1.1.1.1.cmml" xref="S3.SS2.SSS1.p1.8.m8.8.8.2.1.1.1.1.1.1">superscript</csymbol><ci id="S3.SS2.SSS1.p1.8.m8.8.8.2.1.1.1.1.1.1.1.2.cmml" xref="S3.SS2.SSS1.p1.8.m8.8.8.2.1.1.1.1.1.1.1.2">𝑠</ci><ci id="S3.SS2.SSS1.p1.8.m8.8.8.2.1.1.1.1.1.1.1.3.cmml" xref="S3.SS2.SSS1.p1.8.m8.8.8.2.1.1.1.1.1.1.1.3">′</ci></apply></apply></apply></apply></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="S3.SS2.SSS1.p1.8.m8.8c">(\mathcal{T}^{\theta}Q)(s,a)=Q(s,a)-\gamma\mathbb{E}_{s^{\prime}\sim\mathcal{P}(s,a)}\left[V^{\theta}(s^{\prime})\right]</annotation></semantics></math>. For a fixed policy <math id="S3.SS2.SSS1.p1.9.m9.1" class="ltx_Math" alttext="\theta" display="inline"><semantics id="S3.SS2.SSS1.p1.9.m9.1a"><mi id="S3.SS2.SSS1.p1.9.m9.1.1" xref="S3.SS2.SSS1.p1.9.m9.1.1.cmml">θ</mi><annotation-xml encoding="MathML-Content" id="S3.SS2.SSS1.p1.9.m9.1b"><ci id="S3.SS2.SSS1.p1.9.m9.1.1.cmml" xref="S3.SS2.SSS1.p1.9.m9.1.1">𝜃</ci></annotation-xml><annotation encoding="application/x-tex" id="S3.SS2.SSS1.p1.9.m9.1c">\theta</annotation></semantics></math>, there is a one-to-one correspondence between <math id="S3.SS2.SSS1.p1.10.m10.1" class="ltx_Math" alttext="r" display="inline"><semantics id="S3.SS2.SSS1.p1.10.m10.1a"><mi id="S3.SS2.SSS1.p1.10.m10.1.1" xref="S3.SS2.SSS1.p1.10.m10.1.1.cmml">r</mi><annotation-xml encoding="MathML-Content" id="S3.SS2.SSS1.p1.10.m10.1b"><ci id="S3.SS2.SSS1.p1.10.m10.1.1.cmml" xref="S3.SS2.SSS1.p1.10.m10.1.1">𝑟</ci></annotation-xml><annotation encoding="application/x-tex" id="S3.SS2.SSS1.p1.10.m10.1c">r</annotation></semantics></math> and <math id="S3.SS2.SSS1.p1.11.m11.1" class="ltx_Math" alttext="Q" display="inline"><semantics id="S3.SS2.SSS1.p1.11.m11.1a"><mi id="S3.SS2.SSS1.p1.11.m11.1.1" xref="S3.SS2.SSS1.p1.11.m11.1.1.cmml">Q</mi><annotation-xml encoding="MathML-Content" id="S3.SS2.SSS1.p1.11.m11.1b"><ci id="S3.SS2.SSS1.p1.11.m11.1.1.cmml" xref="S3.SS2.SSS1.p1.11.m11.1.1">𝑄</ci></annotation-xml><annotation encoding="application/x-tex" id="S3.SS2.SSS1.p1.11.m11.1c">Q</annotation></semantics></math> via the Bellman and inverse Bellman operators (proved in the appendix). Crucially, for the unique occupancy <math id="S3.SS2.SSS1.p1.12.m12.1" class="ltx_Math" alttext="\rho^{*}" display="inline"><semantics id="S3.SS2.SSS1.p1.12.m12.1a"><msup id="S3.SS2.SSS1.p1.12.m12.1.1" xref="S3.SS2.SSS1.p1.12.m12.1.1.cmml"><mi id="S3.SS2.SSS1.p1.12.m12.1.1.2" xref="S3.SS2.SSS1.p1.12.m12.1.1.2.cmml">ρ</mi><mo id="S3.SS2.SSS1.p1.12.m12.1.1.3" xref="S3.SS2.SSS1.p1.12.m12.1.1.3.cmml">∗</mo></msup><annotation-xml encoding="MathML-Content" id="S3.SS2.SSS1.p1.12.m12.1b"><apply id="S3.SS2.SSS1.p1.12.m12.1.1.cmml" xref="S3.SS2.SSS1.p1.12.m12.1.1"><csymbol cd="ambiguous" id="S3.SS2.SSS1.p1.12.m12.1.1.1.cmml" xref="S3.SS2.SSS1.p1.12.m12.1.1">superscript</csymbol><ci id="S3.SS2.SSS1.p1.12.m12.1.1.2.cmml" xref="S3.SS2.SSS1.p1.12.m12.1.1.2">𝜌</ci><times id="S3.SS2.SSS1.p1.12.m12.1.1.3.cmml" xref="S3.SS2.SSS1.p1.12.m12.1.1.3"></times></apply></annotation-xml><annotation encoding="application/x-tex" id="S3.SS2.SSS1.p1.12.m12.1c">\rho^{*}</annotation></semantics></math> which solves <math id="S3.SS2.SSS1.p1.13.m13.6" class="ltx_Math" alttext="\max_{\theta}\mathbb{E}_{s,a\sim\rho_{\theta}}\left[r(s,a)\right]-H[\rho_{\theta}]" display="inline"><semantics id="S3.SS2.SSS1.p1.13.m13.6a"><mrow id="S3.SS2.SSS1.p1.13.m13.6.6" xref="S3.SS2.SSS1.p1.13.m13.6.6.cmml"><mrow id="S3.SS2.SSS1.p1.13.m13.5.5.1" xref="S3.SS2.SSS1.p1.13.m13.5.5.1.cmml"><mrow id="S3.SS2.SSS1.p1.13.m13.5.5.1.3" xref="S3.SS2.SSS1.p1.13.m13.5.5.1.3.cmml"><msub id="S3.SS2.SSS1.p1.13.m13.5.5.1.3.1" xref="S3.SS2.SSS1.p1.13.m13.5.5.1.3.1.cmml"><mi id="S3.SS2.SSS1.p1.13.m13.5.5.1.3.1.2" xref="S3.SS2.SSS1.p1.13.m13.5.5.1.3.1.2.cmml">max</mi><mi id="S3.SS2.SSS1.p1.13.m13.5.5.1.3.1.3" xref="S3.SS2.SSS1.p1.13.m13.5.5.1.3.1.3.cmml">θ</mi></msub><mo lspace="0.167em" id="S3.SS2.SSS1.p1.13.m13.5.5.1.3a" xref="S3.SS2.SSS1.p1.13.m13.5.5.1.3.cmml">⁡</mo><msub id="S3.SS2.SSS1.p1.13.m13.5.5.1.3.2" xref="S3.SS2.SSS1.p1.13.m13.5.5.1.3.2.cmml"><mi id="S3.SS2.SSS1.p1.13.m13.5.5.1.3.2.2" xref="S3.SS2.SSS1.p1.13.m13.5.5.1.3.2.2.cmml">𝔼</mi><mrow id="S3.SS2.SSS1.p1.13.m13.2.2.2" xref="S3.SS2.SSS1.p1.13.m13.2.2.2.cmml"><mrow id="S3.SS2.SSS1.p1.13.m13.2.2.2.4.2" xref="S3.SS2.SSS1.p1.13.m13.2.2.2.4.1.cmml"><mi id="S3.SS2.SSS1.p1.13.m13.1.1.1.1" xref="S3.SS2.SSS1.p1.13.m13.1.1.1.1.cmml">s</mi><mo id="S3.SS2.SSS1.p1.13.m13.2.2.2.4.2.1" xref="S3.SS2.SSS1.p1.13.m13.2.2.2.4.1.cmml">,</mo><mi id="S3.SS2.SSS1.p1.13.m13.2.2.2.2" xref="S3.SS2.SSS1.p1.13.m13.2.2.2.2.cmml">a</mi></mrow><mo id="S3.SS2.SSS1.p1.13.m13.2.2.2.3" xref="S3.SS2.SSS1.p1.13.m13.2.2.2.3.cmml">∼</mo><msub id="S3.SS2.SSS1.p1.13.m13.2.2.2.5" xref="S3.SS2.SSS1.p1.13.m13.2.2.2.5.cmml"><mi id="S3.SS2.SSS1.p1.13.m13.2.2.2.5.2" xref="S3.SS2.SSS1.p1.13.m13.2.2.2.5.2.cmml">ρ</mi><mi id="S3.SS2.SSS1.p1.13.m13.2.2.2.5.3" xref="S3.SS2.SSS1.p1.13.m13.2.2.2.5.3.cmml">θ</mi></msub></mrow></msub></mrow><mo lspace="0em" rspace="0em" id="S3.SS2.SSS1.p1.13.m13.5.5.1.2" xref="S3.SS2.SSS1.p1.13.m13.5.5.1.2.cmml">​</mo><mrow id="S3.SS2.SSS1.p1.13.m13.5.5.1.1.1" xref="S3.SS2.SSS1.p1.13.m13.5.5.1.1.2.cmml"><mo id="S3.SS2.SSS1.p1.13.m13.5.5.1.1.1.2" xref="S3.SS2.SSS1.p1.13.m13.5.5.1.1.2.1.cmml">[</mo><mrow id="S3.SS2.SSS1.p1.13.m13.5.5.1.1.1.1" xref="S3.SS2.SSS1.p1.13.m13.5.5.1.1.1.1.cmml"><mi id="S3.SS2.SSS1.p1.13.m13.5.5.1.1.1.1.2" xref="S3.SS2.SSS1.p1.13.m13.5.5.1.1.1.1.2.cmml">r</mi><mo lspace="0em" rspace="0em" id="S3.SS2.SSS1.p1.13.m13.5.5.1.1.1.1.1" xref="S3.SS2.SSS1.p1.13.m13.5.5.1.1.1.1.1.cmml">​</mo><mrow id="S3.SS2.SSS1.p1.13.m13.5.5.1.1.1.1.3.2" xref="S3.SS2.SSS1.p1.13.m13.5.5.1.1.1.1.3.1.cmml"><mo stretchy="false" id="S3.SS2.SSS1.p1.13.m13.5.5.1.1.1.1.3.2.1" xref="S3.SS2.SSS1.p1.13.m13.5.5.1.1.1.1.3.1.cmml">(</mo><mi id="S3.SS2.SSS1.p1.13.m13.3.3" xref="S3.SS2.SSS1.p1.13.m13.3.3.cmml">s</mi><mo id="S3.SS2.SSS1.p1.13.m13.5.5.1.1.1.1.3.2.2" xref="S3.SS2.SSS1.p1.13.m13.5.5.1.1.1.1.3.1.cmml">,</mo><mi id="S3.SS2.SSS1.p1.13.m13.4.4" xref="S3.SS2.SSS1.p1.13.m13.4.4.cmml">a</mi><mo stretchy="false" id="S3.SS2.SSS1.p1.13.m13.5.5.1.1.1.1.3.2.3" xref="S3.SS2.SSS1.p1.13.m13.5.5.1.1.1.1.3.1.cmml">)</mo></mrow></mrow><mo id="S3.SS2.SSS1.p1.13.m13.5.5.1.1.1.3" xref="S3.SS2.SSS1.p1.13.m13.5.5.1.1.2.1.cmml">]</mo></mrow></mrow><mo id="S3.SS2.SSS1.p1.13.m13.6.6.3" xref="S3.SS2.SSS1.p1.13.m13.6.6.3.cmml">−</mo><mrow id="S3.SS2.SSS1.p1.13.m13.6.6.2" xref="S3.SS2.SSS1.p1.13.m13.6.6.2.cmml"><mi id="S3.SS2.SSS1.p1.13.m13.6.6.2.3" xref="S3.SS2.SSS1.p1.13.m13.6.6.2.3.cmml">H</mi><mo lspace="0em" rspace="0em" id="S3.SS2.SSS1.p1.13.m13.6.6.2.2" xref="S3.SS2.SSS1.p1.13.m13.6.6.2.2.cmml">​</mo><mrow id="S3.SS2.SSS1.p1.13.m13.6.6.2.1.1" xref="S3.SS2.SSS1.p1.13.m13.6.6.2.1.2.cmml"><mo stretchy="false" id="S3.SS2.SSS1.p1.13.m13.6.6.2.1.1.2" xref="S3.SS2.SSS1.p1.13.m13.6.6.2.1.2.1.cmml">[</mo><msub id="S3.SS2.SSS1.p1.13.m13.6.6.2.1.1.1" xref="S3.SS2.SSS1.p1.13.m13.6.6.2.1.1.1.cmml"><mi id="S3.SS2.SSS1.p1.13.m13.6.6.2.1.1.1.2" xref="S3.SS2.SSS1.p1.13.m13.6.6.2.1.1.1.2.cmml">ρ</mi><mi id="S3.SS2.SSS1.p1.13.m13.6.6.2.1.1.1.3" xref="S3.SS2.SSS1.p1.13.m13.6.6.2.1.1.1.3.cmml">θ</mi></msub><mo stretchy="false" id="S3.SS2.SSS1.p1.13.m13.6.6.2.1.1.3" xref="S3.SS2.SSS1.p1.13.m13.6.6.2.1.2.1.cmml">]</mo></mrow></mrow></mrow><annotation-xml encoding="MathML-Content" id="S3.SS2.SSS1.p1.13.m13.6b"><apply id="S3.SS2.SSS1.p1.13.m13.6.6.cmml" xref="S3.SS2.SSS1.p1.13.m13.6.6"><minus id="S3.SS2.SSS1.p1.13.m13.6.6.3.cmml" xref="S3.SS2.SSS1.p1.13.m13.6.6.3"></minus><apply id="S3.SS2.SSS1.p1.13.m13.5.5.1.cmml" xref="S3.SS2.SSS1.p1.13.m13.5.5.1"><times id="S3.SS2.SSS1.p1.13.m13.5.5.1.2.cmml" xref="S3.SS2.SSS1.p1.13.m13.5.5.1.2"></times><apply id="S3.SS2.SSS1.p1.13.m13.5.5.1.3.cmml" xref="S3.SS2.SSS1.p1.13.m13.5.5.1.3"><apply id="S3.SS2.SSS1.p1.13.m13.5.5.1.3.1.cmml" xref="S3.SS2.SSS1.p1.13.m13.5.5.1.3.1"><csymbol cd="ambiguous" id="S3.SS2.SSS1.p1.13.m13.5.5.1.3.1.1.cmml" xref="S3.SS2.SSS1.p1.13.m13.5.5.1.3.1">subscript</csymbol><max id="S3.SS2.SSS1.p1.13.m13.5.5.1.3.1.2.cmml" xref="S3.SS2.SSS1.p1.13.m13.5.5.1.3.1.2"></max><ci id="S3.SS2.SSS1.p1.13.m13.5.5.1.3.1.3.cmml" xref="S3.SS2.SSS1.p1.13.m13.5.5.1.3.1.3">𝜃</ci></apply><apply id="S3.SS2.SSS1.p1.13.m13.5.5.1.3.2.cmml" xref="S3.SS2.SSS1.p1.13.m13.5.5.1.3.2"><csymbol cd="ambiguous" id="S3.SS2.SSS1.p1.13.m13.5.5.1.3.2.1.cmml" xref="S3.SS2.SSS1.p1.13.m13.5.5.1.3.2">subscript</csymbol><ci id="S3.SS2.SSS1.p1.13.m13.5.5.1.3.2.2.cmml" xref="S3.SS2.SSS1.p1.13.m13.5.5.1.3.2.2">𝔼</ci><apply id="S3.SS2.SSS1.p1.13.m13.2.2.2.cmml" xref="S3.SS2.SSS1.p1.13.m13.2.2.2"><csymbol cd="latexml" id="S3.SS2.SSS1.p1.13.m13.2.2.2.3.cmml" xref="S3.SS2.SSS1.p1.13.m13.2.2.2.3">similar-to</csymbol><list id="S3.SS2.SSS1.p1.13.m13.2.2.2.4.1.cmml" xref="S3.SS2.SSS1.p1.13.m13.2.2.2.4.2"><ci id="S3.SS2.SSS1.p1.13.m13.1.1.1.1.cmml" xref="S3.SS2.SSS1.p1.13.m13.1.1.1.1">𝑠</ci><ci id="S3.SS2.SSS1.p1.13.m13.2.2.2.2.cmml" xref="S3.SS2.SSS1.p1.13.m13.2.2.2.2">𝑎</ci></list><apply id="S3.SS2.SSS1.p1.13.m13.2.2.2.5.cmml" xref="S3.SS2.SSS1.p1.13.m13.2.2.2.5"><csymbol cd="ambiguous" id="S3.SS2.SSS1.p1.13.m13.2.2.2.5.1.cmml" xref="S3.SS2.SSS1.p1.13.m13.2.2.2.5">subscript</csymbol><ci id="S3.SS2.SSS1.p1.13.m13.2.2.2.5.2.cmml" xref="S3.SS2.SSS1.p1.13.m13.2.2.2.5.2">𝜌</ci><ci id="S3.SS2.SSS1.p1.13.m13.2.2.2.5.3.cmml" xref="S3.SS2.SSS1.p1.13.m13.2.2.2.5.3">𝜃</ci></apply></apply></apply></apply><apply id="S3.SS2.SSS1.p1.13.m13.5.5.1.1.2.cmml" xref="S3.SS2.SSS1.p1.13.m13.5.5.1.1.1"><csymbol cd="latexml" id="S3.SS2.SSS1.p1.13.m13.5.5.1.1.2.1.cmml" xref="S3.SS2.SSS1.p1.13.m13.5.5.1.1.1.2">delimited-[]</csymbol><apply id="S3.SS2.SSS1.p1.13.m13.5.5.1.1.1.1.cmml" xref="S3.SS2.SSS1.p1.13.m13.5.5.1.1.1.1"><times id="S3.SS2.SSS1.p1.13.m13.5.5.1.1.1.1.1.cmml" xref="S3.SS2.SSS1.p1.13.m13.5.5.1.1.1.1.1"></times><ci id="S3.SS2.SSS1.p1.13.m13.5.5.1.1.1.1.2.cmml" xref="S3.SS2.SSS1.p1.13.m13.5.5.1.1.1.1.2">𝑟</ci><interval closure="open" id="S3.SS2.SSS1.p1.13.m13.5.5.1.1.1.1.3.1.cmml" xref="S3.SS2.SSS1.p1.13.m13.5.5.1.1.1.1.3.2"><ci id="S3.SS2.SSS1.p1.13.m13.3.3.cmml" xref="S3.SS2.SSS1.p1.13.m13.3.3">𝑠</ci><ci id="S3.SS2.SSS1.p1.13.m13.4.4.cmml" xref="S3.SS2.SSS1.p1.13.m13.4.4">𝑎</ci></interval></apply></apply></apply><apply id="S3.SS2.SSS1.p1.13.m13.6.6.2.cmml" xref="S3.SS2.SSS1.p1.13.m13.6.6.2"><times id="S3.SS2.SSS1.p1.13.m13.6.6.2.2.cmml" xref="S3.SS2.SSS1.p1.13.m13.6.6.2.2"></times><ci id="S3.SS2.SSS1.p1.13.m13.6.6.2.3.cmml" xref="S3.SS2.SSS1.p1.13.m13.6.6.2.3">𝐻</ci><apply id="S3.SS2.SSS1.p1.13.m13.6.6.2.1.2.cmml" xref="S3.SS2.SSS1.p1.13.m13.6.6.2.1.1"><csymbol cd="latexml" id="S3.SS2.SSS1.p1.13.m13.6.6.2.1.2.1.cmml" xref="S3.SS2.SSS1.p1.13.m13.6.6.2.1.1.2">delimited-[]</csymbol><apply id="S3.SS2.SSS1.p1.13.m13.6.6.2.1.1.1.cmml" xref="S3.SS2.SSS1.p1.13.m13.6.6.2.1.1.1"><csymbol cd="ambiguous" id="S3.SS2.SSS1.p1.13.m13.6.6.2.1.1.1.1.cmml" xref="S3.SS2.SSS1.p1.13.m13.6.6.2.1.1.1">subscript</csymbol><ci id="S3.SS2.SSS1.p1.13.m13.6.6.2.1.1.1.2.cmml" xref="S3.SS2.SSS1.p1.13.m13.6.6.2.1.1.1.2">𝜌</ci><ci id="S3.SS2.SSS1.p1.13.m13.6.6.2.1.1.1.3.cmml" xref="S3.SS2.SSS1.p1.13.m13.6.6.2.1.1.1.3">𝜃</ci></apply></apply></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="S3.SS2.SSS1.p1.13.m13.6c">\max_{\theta}\mathbb{E}_{s,a\sim\rho_{\theta}}\left[r(s,a)\right]-H[\rho_{\theta}]</annotation></semantics></math>, the optimal policy <math id="S3.SS2.SSS1.p1.14.m14.1" class="ltx_Math" alttext="p^{*}(a|s)" display="inline"><semantics id="S3.SS2.SSS1.p1.14.m14.1a"><mrow id="S3.SS2.SSS1.p1.14.m14.1.1" xref="S3.SS2.SSS1.p1.14.m14.1.1.cmml"><msup id="S3.SS2.SSS1.p1.14.m14.1.1.3" xref="S3.SS2.SSS1.p1.14.m14.1.1.3.cmml"><mi id="S3.SS2.SSS1.p1.14.m14.1.1.3.2" xref="S3.SS2.SSS1.p1.14.m14.1.1.3.2.cmml">p</mi><mo id="S3.SS2.SSS1.p1.14.m14.1.1.3.3" xref="S3.SS2.SSS1.p1.14.m14.1.1.3.3.cmml">∗</mo></msup><mo lspace="0em" rspace="0em" id="S3.SS2.SSS1.p1.14.m14.1.1.2" xref="S3.SS2.SSS1.p1.14.m14.1.1.2.cmml">​</mo><mrow id="S3.SS2.SSS1.p1.14.m14.1.1.1.1" xref="S3.SS2.SSS1.p1.14.m14.1.1.1.1.1.cmml"><mo stretchy="false" id="S3.SS2.SSS1.p1.14.m14.1.1.1.1.2" xref="S3.SS2.SSS1.p1.14.m14.1.1.1.1.1.cmml">(</mo><mrow id="S3.SS2.SSS1.p1.14.m14.1.1.1.1.1" xref="S3.SS2.SSS1.p1.14.m14.1.1.1.1.1.cmml"><mi id="S3.SS2.SSS1.p1.14.m14.1.1.1.1.1.2" xref="S3.SS2.SSS1.p1.14.m14.1.1.1.1.1.2.cmml">a</mi><mo fence="false" id="S3.SS2.SSS1.p1.14.m14.1.1.1.1.1.1" xref="S3.SS2.SSS1.p1.14.m14.1.1.1.1.1.1.cmml">|</mo><mi id="S3.SS2.SSS1.p1.14.m14.1.1.1.1.1.3" xref="S3.SS2.SSS1.p1.14.m14.1.1.1.1.1.3.cmml">s</mi></mrow><mo stretchy="false" id="S3.SS2.SSS1.p1.14.m14.1.1.1.1.3" xref="S3.SS2.SSS1.p1.14.m14.1.1.1.1.1.cmml">)</mo></mrow></mrow><annotation-xml encoding="MathML-Content" id="S3.SS2.SSS1.p1.14.m14.1b"><apply id="S3.SS2.SSS1.p1.14.m14.1.1.cmml" xref="S3.SS2.SSS1.p1.14.m14.1.1"><times id="S3.SS2.SSS1.p1.14.m14.1.1.2.cmml" xref="S3.SS2.SSS1.p1.14.m14.1.1.2"></times><apply id="S3.SS2.SSS1.p1.14.m14.1.1.3.cmml" xref="S3.SS2.SSS1.p1.14.m14.1.1.3"><csymbol cd="ambiguous" id="S3.SS2.SSS1.p1.14.m14.1.1.3.1.cmml" xref="S3.SS2.SSS1.p1.14.m14.1.1.3">superscript</csymbol><ci id="S3.SS2.SSS1.p1.14.m14.1.1.3.2.cmml" xref="S3.SS2.SSS1.p1.14.m14.1.1.3.2">𝑝</ci><times id="S3.SS2.SSS1.p1.14.m14.1.1.3.3.cmml" xref="S3.SS2.SSS1.p1.14.m14.1.1.3.3"></times></apply><apply id="S3.SS2.SSS1.p1.14.m14.1.1.1.1.1.cmml" xref="S3.SS2.SSS1.p1.14.m14.1.1.1.1"><csymbol cd="latexml" id="S3.SS2.SSS1.p1.14.m14.1.1.1.1.1.1.cmml" xref="S3.SS2.SSS1.p1.14.m14.1.1.1.1.1.1">conditional</csymbol><ci id="S3.SS2.SSS1.p1.14.m14.1.1.1.1.1.2.cmml" xref="S3.SS2.SSS1.p1.14.m14.1.1.1.1.1.2">𝑎</ci><ci id="S3.SS2.SSS1.p1.14.m14.1.1.1.1.1.3.cmml" xref="S3.SS2.SSS1.p1.14.m14.1.1.1.1.1.3">𝑠</ci></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="S3.SS2.SSS1.p1.14.m14.1c">p^{*}(a|s)</annotation></semantics></math> corresponding to <math id="S3.SS2.SSS1.p1.15.m15.1" class="ltx_Math" alttext="\rho^{*}" display="inline"><semantics id="S3.SS2.SSS1.p1.15.m15.1a"><msup id="S3.SS2.SSS1.p1.15.m15.1.1" xref="S3.SS2.SSS1.p1.15.m15.1.1.cmml"><mi id="S3.SS2.SSS1.p1.15.m15.1.1.2" xref="S3.SS2.SSS1.p1.15.m15.1.1.2.cmml">ρ</mi><mo id="S3.SS2.SSS1.p1.15.m15.1.1.3" xref="S3.SS2.SSS1.p1.15.m15.1.1.3.cmml">∗</mo></msup><annotation-xml encoding="MathML-Content" id="S3.SS2.SSS1.p1.15.m15.1b"><apply id="S3.SS2.SSS1.p1.15.m15.1.1.cmml" xref="S3.SS2.SSS1.p1.15.m15.1.1"><csymbol cd="ambiguous" id="S3.SS2.SSS1.p1.15.m15.1.1.1.cmml" xref="S3.SS2.SSS1.p1.15.m15.1.1">superscript</csymbol><ci id="S3.SS2.SSS1.p1.15.m15.1.1.2.cmml" xref="S3.SS2.SSS1.p1.15.m15.1.1.2">𝜌</ci><times id="S3.SS2.SSS1.p1.15.m15.1.1.3.cmml" xref="S3.SS2.SSS1.p1.15.m15.1.1.3"></times></apply></annotation-xml><annotation encoding="application/x-tex" id="S3.SS2.SSS1.p1.15.m15.1c">\rho^{*}</annotation></semantics></math> is proportional to the corresponding <math id="S3.SS2.SSS1.p1.16.m16.1" class="ltx_Math" alttext="Q" display="inline"><semantics id="S3.SS2.SSS1.p1.16.m16.1a"><mi id="S3.SS2.SSS1.p1.16.m16.1.1" xref="S3.SS2.SSS1.p1.16.m16.1.1.cmml">Q</mi><annotation-xml encoding="MathML-Content" id="S3.SS2.SSS1.p1.16.m16.1b"><ci id="S3.SS2.SSS1.p1.16.m16.1.1.cmml" xref="S3.SS2.SSS1.p1.16.m16.1.1">𝑄</ci></annotation-xml><annotation encoding="application/x-tex" id="S3.SS2.SSS1.p1.16.m16.1c">Q</annotation></semantics></math>-values <math id="S3.SS2.SSS1.p1.17.m17.1" class="ltx_Math" alttext="Q^{*}" display="inline"><semantics id="S3.SS2.SSS1.p1.17.m17.1a"><msup id="S3.SS2.SSS1.p1.17.m17.1.1" xref="S3.SS2.SSS1.p1.17.m17.1.1.cmml"><mi id="S3.SS2.SSS1.p1.17.m17.1.1.2" xref="S3.SS2.SSS1.p1.17.m17.1.1.2.cmml">Q</mi><mo id="S3.SS2.SSS1.p1.17.m17.1.1.3" xref="S3.SS2.SSS1.p1.17.m17.1.1.3.cmml">∗</mo></msup><annotation-xml encoding="MathML-Content" id="S3.SS2.SSS1.p1.17.m17.1b"><apply id="S3.SS2.SSS1.p1.17.m17.1.1.cmml" xref="S3.SS2.SSS1.p1.17.m17.1.1"><csymbol cd="ambiguous" id="S3.SS2.SSS1.p1.17.m17.1.1.1.cmml" xref="S3.SS2.SSS1.p1.17.m17.1.1">superscript</csymbol><ci id="S3.SS2.SSS1.p1.17.m17.1.1.2.cmml" xref="S3.SS2.SSS1.p1.17.m17.1.1.2">𝑄</ci><times id="S3.SS2.SSS1.p1.17.m17.1.1.3.cmml" xref="S3.SS2.SSS1.p1.17.m17.1.1.3"></times></apply></annotation-xml><annotation encoding="application/x-tex" id="S3.SS2.SSS1.p1.17.m17.1c">Q^{*}</annotation></semantics></math>: <math id="S3.SS2.SSS1.p1.18.m18.8" class="ltx_Math" alttext="\log p^{*}(a|s)=Q^{*}(s,a)-V^{\theta^{*}}(s)=Q^{*}(s,a)-\log\sum_{a^{\prime}\in\mathcal{A}}\exp Q^{*}(s,a^{\prime})" display="inline"><semantics id="S3.SS2.SSS1.p1.18.m18.8a"><mrow id="S3.SS2.SSS1.p1.18.m18.8.8" xref="S3.SS2.SSS1.p1.18.m18.8.8.cmml"><mrow id="S3.SS2.SSS1.p1.18.m18.7.7.1" xref="S3.SS2.SSS1.p1.18.m18.7.7.1.cmml"><mrow id="S3.SS2.SSS1.p1.18.m18.7.7.1.3" xref="S3.SS2.SSS1.p1.18.m18.7.7.1.3.cmml"><mi id="S3.SS2.SSS1.p1.18.m18.7.7.1.3.1" xref="S3.SS2.SSS1.p1.18.m18.7.7.1.3.1.cmml">log</mi><mo lspace="0.167em" id="S3.SS2.SSS1.p1.18.m18.7.7.1.3a" xref="S3.SS2.SSS1.p1.18.m18.7.7.1.3.cmml">⁡</mo><msup id="S3.SS2.SSS1.p1.18.m18.7.7.1.3.2" xref="S3.SS2.SSS1.p1.18.m18.7.7.1.3.2.cmml"><mi id="S3.SS2.SSS1.p1.18.m18.7.7.1.3.2.2" xref="S3.SS2.SSS1.p1.18.m18.7.7.1.3.2.2.cmml">p</mi><mo id="S3.SS2.SSS1.p1.18.m18.7.7.1.3.2.3" xref="S3.SS2.SSS1.p1.18.m18.7.7.1.3.2.3.cmml">∗</mo></msup></mrow><mo lspace="0em" rspace="0em" id="S3.SS2.SSS1.p1.18.m18.7.7.1.2" xref="S3.SS2.SSS1.p1.18.m18.7.7.1.2.cmml">​</mo><mrow id="S3.SS2.SSS1.p1.18.m18.7.7.1.1.1" xref="S3.SS2.SSS1.p1.18.m18.7.7.1.1.1.1.cmml"><mo stretchy="false" id="S3.SS2.SSS1.p1.18.m18.7.7.1.1.1.2" xref="S3.SS2.SSS1.p1.18.m18.7.7.1.1.1.1.cmml">(</mo><mrow id="S3.SS2.SSS1.p1.18.m18.7.7.1.1.1.1" xref="S3.SS2.SSS1.p1.18.m18.7.7.1.1.1.1.cmml"><mi id="S3.SS2.SSS1.p1.18.m18.7.7.1.1.1.1.2" xref="S3.SS2.SSS1.p1.18.m18.7.7.1.1.1.1.2.cmml">a</mi><mo fence="false" id="S3.SS2.SSS1.p1.18.m18.7.7.1.1.1.1.1" xref="S3.SS2.SSS1.p1.18.m18.7.7.1.1.1.1.1.cmml">|</mo><mi id="S3.SS2.SSS1.p1.18.m18.7.7.1.1.1.1.3" xref="S3.SS2.SSS1.p1.18.m18.7.7.1.1.1.1.3.cmml">s</mi></mrow><mo stretchy="false" id="S3.SS2.SSS1.p1.18.m18.7.7.1.1.1.3" xref="S3.SS2.SSS1.p1.18.m18.7.7.1.1.1.1.cmml">)</mo></mrow></mrow><mo id="S3.SS2.SSS1.p1.18.m18.8.8.4" xref="S3.SS2.SSS1.p1.18.m18.8.8.4.cmml">=</mo><mrow id="S3.SS2.SSS1.p1.18.m18.8.8.5" xref="S3.SS2.SSS1.p1.18.m18.8.8.5.cmml"><mrow id="S3.SS2.SSS1.p1.18.m18.8.8.5.2" xref="S3.SS2.SSS1.p1.18.m18.8.8.5.2.cmml"><msup id="S3.SS2.SSS1.p1.18.m18.8.8.5.2.2" xref="S3.SS2.SSS1.p1.18.m18.8.8.5.2.2.cmml"><mi id="S3.SS2.SSS1.p1.18.m18.8.8.5.2.2.2" xref="S3.SS2.SSS1.p1.18.m18.8.8.5.2.2.2.cmml">Q</mi><mo id="S3.SS2.SSS1.p1.18.m18.8.8.5.2.2.3" xref="S3.SS2.SSS1.p1.18.m18.8.8.5.2.2.3.cmml">∗</mo></msup><mo lspace="0em" rspace="0em" id="S3.SS2.SSS1.p1.18.m18.8.8.5.2.1" xref="S3.SS2.SSS1.p1.18.m18.8.8.5.2.1.cmml">​</mo><mrow id="S3.SS2.SSS1.p1.18.m18.8.8.5.2.3.2" xref="S3.SS2.SSS1.p1.18.m18.8.8.5.2.3.1.cmml"><mo stretchy="false" id="S3.SS2.SSS1.p1.18.m18.8.8.5.2.3.2.1" xref="S3.SS2.SSS1.p1.18.m18.8.8.5.2.3.1.cmml">(</mo><mi id="S3.SS2.SSS1.p1.18.m18.1.1" xref="S3.SS2.SSS1.p1.18.m18.1.1.cmml">s</mi><mo id="S3.SS2.SSS1.p1.18.m18.8.8.5.2.3.2.2" xref="S3.SS2.SSS1.p1.18.m18.8.8.5.2.3.1.cmml">,</mo><mi id="S3.SS2.SSS1.p1.18.m18.2.2" xref="S3.SS2.SSS1.p1.18.m18.2.2.cmml">a</mi><mo stretchy="false" id="S3.SS2.SSS1.p1.18.m18.8.8.5.2.3.2.3" xref="S3.SS2.SSS1.p1.18.m18.8.8.5.2.3.1.cmml">)</mo></mrow></mrow><mo id="S3.SS2.SSS1.p1.18.m18.8.8.5.1" xref="S3.SS2.SSS1.p1.18.m18.8.8.5.1.cmml">−</mo><mrow id="S3.SS2.SSS1.p1.18.m18.8.8.5.3" xref="S3.SS2.SSS1.p1.18.m18.8.8.5.3.cmml"><msup id="S3.SS2.SSS1.p1.18.m18.8.8.5.3.2" xref="S3.SS2.SSS1.p1.18.m18.8.8.5.3.2.cmml"><mi id="S3.SS2.SSS1.p1.18.m18.8.8.5.3.2.2" xref="S3.SS2.SSS1.p1.18.m18.8.8.5.3.2.2.cmml">V</mi><msup id="S3.SS2.SSS1.p1.18.m18.8.8.5.3.2.3" xref="S3.SS2.SSS1.p1.18.m18.8.8.5.3.2.3.cmml"><mi id="S3.SS2.SSS1.p1.18.m18.8.8.5.3.2.3.2" xref="S3.SS2.SSS1.p1.18.m18.8.8.5.3.2.3.2.cmml">θ</mi><mo id="S3.SS2.SSS1.p1.18.m18.8.8.5.3.2.3.3" xref="S3.SS2.SSS1.p1.18.m18.8.8.5.3.2.3.3.cmml">∗</mo></msup></msup><mo lspace="0em" rspace="0em" id="S3.SS2.SSS1.p1.18.m18.8.8.5.3.1" xref="S3.SS2.SSS1.p1.18.m18.8.8.5.3.1.cmml">​</mo><mrow id="S3.SS2.SSS1.p1.18.m18.8.8.5.3.3.2" xref="S3.SS2.SSS1.p1.18.m18.8.8.5.3.cmml"><mo stretchy="false" id="S3.SS2.SSS1.p1.18.m18.8.8.5.3.3.2.1" xref="S3.SS2.SSS1.p1.18.m18.8.8.5.3.cmml">(</mo><mi id="S3.SS2.SSS1.p1.18.m18.3.3" xref="S3.SS2.SSS1.p1.18.m18.3.3.cmml">s</mi><mo stretchy="false" id="S3.SS2.SSS1.p1.18.m18.8.8.5.3.3.2.2" xref="S3.SS2.SSS1.p1.18.m18.8.8.5.3.cmml">)</mo></mrow></mrow></mrow><mo id="S3.SS2.SSS1.p1.18.m18.8.8.6" xref="S3.SS2.SSS1.p1.18.m18.8.8.6.cmml">=</mo><mrow id="S3.SS2.SSS1.p1.18.m18.8.8.2" xref="S3.SS2.SSS1.p1.18.m18.8.8.2.cmml"><mrow id="S3.SS2.SSS1.p1.18.m18.8.8.2.3" xref="S3.SS2.SSS1.p1.18.m18.8.8.2.3.cmml"><msup id="S3.SS2.SSS1.p1.18.m18.8.8.2.3.2" xref="S3.SS2.SSS1.p1.18.m18.8.8.2.3.2.cmml"><mi id="S3.SS2.SSS1.p1.18.m18.8.8.2.3.2.2" xref="S3.SS2.SSS1.p1.18.m18.8.8.2.3.2.2.cmml">Q</mi><mo id="S3.SS2.SSS1.p1.18.m18.8.8.2.3.2.3" xref="S3.SS2.SSS1.p1.18.m18.8.8.2.3.2.3.cmml">∗</mo></msup><mo lspace="0em" rspace="0em" id="S3.SS2.SSS1.p1.18.m18.8.8.2.3.1" xref="S3.SS2.SSS1.p1.18.m18.8.8.2.3.1.cmml">​</mo><mrow id="S3.SS2.SSS1.p1.18.m18.8.8.2.3.3.2" xref="S3.SS2.SSS1.p1.18.m18.8.8.2.3.3.1.cmml"><mo stretchy="false" id="S3.SS2.SSS1.p1.18.m18.8.8.2.3.3.2.1" xref="S3.SS2.SSS1.p1.18.m18.8.8.2.3.3.1.cmml">(</mo><mi id="S3.SS2.SSS1.p1.18.m18.4.4" xref="S3.SS2.SSS1.p1.18.m18.4.4.cmml">s</mi><mo id="S3.SS2.SSS1.p1.18.m18.8.8.2.3.3.2.2" xref="S3.SS2.SSS1.p1.18.m18.8.8.2.3.3.1.cmml">,</mo><mi id="S3.SS2.SSS1.p1.18.m18.5.5" xref="S3.SS2.SSS1.p1.18.m18.5.5.cmml">a</mi><mo stretchy="false" id="S3.SS2.SSS1.p1.18.m18.8.8.2.3.3.2.3" xref="S3.SS2.SSS1.p1.18.m18.8.8.2.3.3.1.cmml">)</mo></mrow></mrow><mo id="S3.SS2.SSS1.p1.18.m18.8.8.2.2" xref="S3.SS2.SSS1.p1.18.m18.8.8.2.2.cmml">−</mo><mrow id="S3.SS2.SSS1.p1.18.m18.8.8.2.1" xref="S3.SS2.SSS1.p1.18.m18.8.8.2.1.cmml"><mi id="S3.SS2.SSS1.p1.18.m18.8.8.2.1.3" xref="S3.SS2.SSS1.p1.18.m18.8.8.2.1.3.cmml">log</mi><mo lspace="0em" rspace="0em" id="S3.SS2.SSS1.p1.18.m18.8.8.2.1.2" xref="S3.SS2.SSS1.p1.18.m18.8.8.2.1.2.cmml">​</mo><mrow id="S3.SS2.SSS1.p1.18.m18.8.8.2.1.1" xref="S3.SS2.SSS1.p1.18.m18.8.8.2.1.1.cmml"><msub id="S3.SS2.SSS1.p1.18.m18.8.8.2.1.1.2" xref="S3.SS2.SSS1.p1.18.m18.8.8.2.1.1.2.cmml"><mo id="S3.SS2.SSS1.p1.18.m18.8.8.2.1.1.2.2" xref="S3.SS2.SSS1.p1.18.m18.8.8.2.1.1.2.2.cmml">∑</mo><mrow id="S3.SS2.SSS1.p1.18.m18.8.8.2.1.1.2.3" xref="S3.SS2.SSS1.p1.18.m18.8.8.2.1.1.2.3.cmml"><msup id="S3.SS2.SSS1.p1.18.m18.8.8.2.1.1.2.3.2" xref="S3.SS2.SSS1.p1.18.m18.8.8.2.1.1.2.3.2.cmml"><mi id="S3.SS2.SSS1.p1.18.m18.8.8.2.1.1.2.3.2.2" xref="S3.SS2.SSS1.p1.18.m18.8.8.2.1.1.2.3.2.2.cmml">a</mi><mo id="S3.SS2.SSS1.p1.18.m18.8.8.2.1.1.2.3.2.3" xref="S3.SS2.SSS1.p1.18.m18.8.8.2.1.1.2.3.2.3.cmml">′</mo></msup><mo id="S3.SS2.SSS1.p1.18.m18.8.8.2.1.1.2.3.1" xref="S3.SS2.SSS1.p1.18.m18.8.8.2.1.1.2.3.1.cmml">∈</mo><mi class="ltx_font_mathcaligraphic" id="S3.SS2.SSS1.p1.18.m18.8.8.2.1.1.2.3.3" xref="S3.SS2.SSS1.p1.18.m18.8.8.2.1.1.2.3.3.cmml">𝒜</mi></mrow></msub><mrow id="S3.SS2.SSS1.p1.18.m18.8.8.2.1.1.1" xref="S3.SS2.SSS1.p1.18.m18.8.8.2.1.1.1.cmml"><mrow id="S3.SS2.SSS1.p1.18.m18.8.8.2.1.1.1.3" xref="S3.SS2.SSS1.p1.18.m18.8.8.2.1.1.1.3.cmml"><mi id="S3.SS2.SSS1.p1.18.m18.8.8.2.1.1.1.3.1" xref="S3.SS2.SSS1.p1.18.m18.8.8.2.1.1.1.3.1.cmml">exp</mi><mo lspace="0.167em" id="S3.SS2.SSS1.p1.18.m18.8.8.2.1.1.1.3a" xref="S3.SS2.SSS1.p1.18.m18.8.8.2.1.1.1.3.cmml">⁡</mo><msup id="S3.SS2.SSS1.p1.18.m18.8.8.2.1.1.1.3.2" xref="S3.SS2.SSS1.p1.18.m18.8.8.2.1.1.1.3.2.cmml"><mi id="S3.SS2.SSS1.p1.18.m18.8.8.2.1.1.1.3.2.2" xref="S3.SS2.SSS1.p1.18.m18.8.8.2.1.1.1.3.2.2.cmml">Q</mi><mo id="S3.SS2.SSS1.p1.18.m18.8.8.2.1.1.1.3.2.3" xref="S3.SS2.SSS1.p1.18.m18.8.8.2.1.1.1.3.2.3.cmml">∗</mo></msup></mrow><mo lspace="0em" rspace="0em" id="S3.SS2.SSS1.p1.18.m18.8.8.2.1.1.1.2" xref="S3.SS2.SSS1.p1.18.m18.8.8.2.1.1.1.2.cmml">​</mo><mrow id="S3.SS2.SSS1.p1.18.m18.8.8.2.1.1.1.1.1" xref="S3.SS2.SSS1.p1.18.m18.8.8.2.1.1.1.1.2.cmml"><mo stretchy="false" id="S3.SS2.SSS1.p1.18.m18.8.8.2.1.1.1.1.1.2" xref="S3.SS2.SSS1.p1.18.m18.8.8.2.1.1.1.1.2.cmml">(</mo><mi id="S3.SS2.SSS1.p1.18.m18.6.6" xref="S3.SS2.SSS1.p1.18.m18.6.6.cmml">s</mi><mo id="S3.SS2.SSS1.p1.18.m18.8.8.2.1.1.1.1.1.3" xref="S3.SS2.SSS1.p1.18.m18.8.8.2.1.1.1.1.2.cmml">,</mo><msup id="S3.SS2.SSS1.p1.18.m18.8.8.2.1.1.1.1.1.1" xref="S3.SS2.SSS1.p1.18.m18.8.8.2.1.1.1.1.1.1.cmml"><mi id="S3.SS2.SSS1.p1.18.m18.8.8.2.1.1.1.1.1.1.2" xref="S3.SS2.SSS1.p1.18.m18.8.8.2.1.1.1.1.1.1.2.cmml">a</mi><mo id="S3.SS2.SSS1.p1.18.m18.8.8.2.1.1.1.1.1.1.3" xref="S3.SS2.SSS1.p1.18.m18.8.8.2.1.1.1.1.1.1.3.cmml">′</mo></msup><mo stretchy="false" id="S3.SS2.SSS1.p1.18.m18.8.8.2.1.1.1.1.1.4" xref="S3.SS2.SSS1.p1.18.m18.8.8.2.1.1.1.1.2.cmml">)</mo></mrow></mrow></mrow></mrow></mrow></mrow><annotation-xml encoding="MathML-Content" id="S3.SS2.SSS1.p1.18.m18.8b"><apply id="S3.SS2.SSS1.p1.18.m18.8.8.cmml" xref="S3.SS2.SSS1.p1.18.m18.8.8"><and id="S3.SS2.SSS1.p1.18.m18.8.8a.cmml" xref="S3.SS2.SSS1.p1.18.m18.8.8"></and><apply id="S3.SS2.SSS1.p1.18.m18.8.8b.cmml" xref="S3.SS2.SSS1.p1.18.m18.8.8"><eq id="S3.SS2.SSS1.p1.18.m18.8.8.4.cmml" xref="S3.SS2.SSS1.p1.18.m18.8.8.4"></eq><apply id="S3.SS2.SSS1.p1.18.m18.7.7.1.cmml" xref="S3.SS2.SSS1.p1.18.m18.7.7.1"><times id="S3.SS2.SSS1.p1.18.m18.7.7.1.2.cmml" xref="S3.SS2.SSS1.p1.18.m18.7.7.1.2"></times><apply id="S3.SS2.SSS1.p1.18.m18.7.7.1.3.cmml" xref="S3.SS2.SSS1.p1.18.m18.7.7.1.3"><log id="S3.SS2.SSS1.p1.18.m18.7.7.1.3.1.cmml" xref="S3.SS2.SSS1.p1.18.m18.7.7.1.3.1"></log><apply id="S3.SS2.SSS1.p1.18.m18.7.7.1.3.2.cmml" xref="S3.SS2.SSS1.p1.18.m18.7.7.1.3.2"><csymbol cd="ambiguous" id="S3.SS2.SSS1.p1.18.m18.7.7.1.3.2.1.cmml" xref="S3.SS2.SSS1.p1.18.m18.7.7.1.3.2">superscript</csymbol><ci id="S3.SS2.SSS1.p1.18.m18.7.7.1.3.2.2.cmml" xref="S3.SS2.SSS1.p1.18.m18.7.7.1.3.2.2">𝑝</ci><times id="S3.SS2.SSS1.p1.18.m18.7.7.1.3.2.3.cmml" xref="S3.SS2.SSS1.p1.18.m18.7.7.1.3.2.3"></times></apply></apply><apply id="S3.SS2.SSS1.p1.18.m18.7.7.1.1.1.1.cmml" xref="S3.SS2.SSS1.p1.18.m18.7.7.1.1.1"><csymbol cd="latexml" id="S3.SS2.SSS1.p1.18.m18.7.7.1.1.1.1.1.cmml" xref="S3.SS2.SSS1.p1.18.m18.7.7.1.1.1.1.1">conditional</csymbol><ci id="S3.SS2.SSS1.p1.18.m18.7.7.1.1.1.1.2.cmml" xref="S3.SS2.SSS1.p1.18.m18.7.7.1.1.1.1.2">𝑎</ci><ci id="S3.SS2.SSS1.p1.18.m18.7.7.1.1.1.1.3.cmml" xref="S3.SS2.SSS1.p1.18.m18.7.7.1.1.1.1.3">𝑠</ci></apply></apply><apply id="S3.SS2.SSS1.p1.18.m18.8.8.5.cmml" xref="S3.SS2.SSS1.p1.18.m18.8.8.5"><minus id="S3.SS2.SSS1.p1.18.m18.8.8.5.1.cmml" xref="S3.SS2.SSS1.p1.18.m18.8.8.5.1"></minus><apply id="S3.SS2.SSS1.p1.18.m18.8.8.5.2.cmml" xref="S3.SS2.SSS1.p1.18.m18.8.8.5.2"><times id="S3.SS2.SSS1.p1.18.m18.8.8.5.2.1.cmml" xref="S3.SS2.SSS1.p1.18.m18.8.8.5.2.1"></times><apply id="S3.SS2.SSS1.p1.18.m18.8.8.5.2.2.cmml" xref="S3.SS2.SSS1.p1.18.m18.8.8.5.2.2"><csymbol cd="ambiguous" id="S3.SS2.SSS1.p1.18.m18.8.8.5.2.2.1.cmml" xref="S3.SS2.SSS1.p1.18.m18.8.8.5.2.2">superscript</csymbol><ci id="S3.SS2.SSS1.p1.18.m18.8.8.5.2.2.2.cmml" xref="S3.SS2.SSS1.p1.18.m18.8.8.5.2.2.2">𝑄</ci><times id="S3.SS2.SSS1.p1.18.m18.8.8.5.2.2.3.cmml" xref="S3.SS2.SSS1.p1.18.m18.8.8.5.2.2.3"></times></apply><interval closure="open" id="S3.SS2.SSS1.p1.18.m18.8.8.5.2.3.1.cmml" xref="S3.SS2.SSS1.p1.18.m18.8.8.5.2.3.2"><ci id="S3.SS2.SSS1.p1.18.m18.1.1.cmml" xref="S3.SS2.SSS1.p1.18.m18.1.1">𝑠</ci><ci id="S3.SS2.SSS1.p1.18.m18.2.2.cmml" xref="S3.SS2.SSS1.p1.18.m18.2.2">𝑎</ci></interval></apply><apply id="S3.SS2.SSS1.p1.18.m18.8.8.5.3.cmml" xref="S3.SS2.SSS1.p1.18.m18.8.8.5.3"><times id="S3.SS2.SSS1.p1.18.m18.8.8.5.3.1.cmml" xref="S3.SS2.SSS1.p1.18.m18.8.8.5.3.1"></times><apply id="S3.SS2.SSS1.p1.18.m18.8.8.5.3.2.cmml" xref="S3.SS2.SSS1.p1.18.m18.8.8.5.3.2"><csymbol cd="ambiguous" id="S3.SS2.SSS1.p1.18.m18.8.8.5.3.2.1.cmml" xref="S3.SS2.SSS1.p1.18.m18.8.8.5.3.2">superscript</csymbol><ci id="S3.SS2.SSS1.p1.18.m18.8.8.5.3.2.2.cmml" xref="S3.SS2.SSS1.p1.18.m18.8.8.5.3.2.2">𝑉</ci><apply id="S3.SS2.SSS1.p1.18.m18.8.8.5.3.2.3.cmml" xref="S3.SS2.SSS1.p1.18.m18.8.8.5.3.2.3"><csymbol cd="ambiguous" id="S3.SS2.SSS1.p1.18.m18.8.8.5.3.2.3.1.cmml" xref="S3.SS2.SSS1.p1.18.m18.8.8.5.3.2.3">superscript</csymbol><ci id="S3.SS2.SSS1.p1.18.m18.8.8.5.3.2.3.2.cmml" xref="S3.SS2.SSS1.p1.18.m18.8.8.5.3.2.3.2">𝜃</ci><times id="S3.SS2.SSS1.p1.18.m18.8.8.5.3.2.3.3.cmml" xref="S3.SS2.SSS1.p1.18.m18.8.8.5.3.2.3.3"></times></apply></apply><ci id="S3.SS2.SSS1.p1.18.m18.3.3.cmml" xref="S3.SS2.SSS1.p1.18.m18.3.3">𝑠</ci></apply></apply></apply><apply id="S3.SS2.SSS1.p1.18.m18.8.8c.cmml" xref="S3.SS2.SSS1.p1.18.m18.8.8"><eq id="S3.SS2.SSS1.p1.18.m18.8.8.6.cmml" xref="S3.SS2.SSS1.p1.18.m18.8.8.6"></eq><share href="#S3.SS2.SSS1.p1.18.m18.8.8.5.cmml" id="S3.SS2.SSS1.p1.18.m18.8.8d.cmml" xref="S3.SS2.SSS1.p1.18.m18.8.8"></share><apply id="S3.SS2.SSS1.p1.18.m18.8.8.2.cmml" xref="S3.SS2.SSS1.p1.18.m18.8.8.2"><minus id="S3.SS2.SSS1.p1.18.m18.8.8.2.2.cmml" xref="S3.SS2.SSS1.p1.18.m18.8.8.2.2"></minus><apply id="S3.SS2.SSS1.p1.18.m18.8.8.2.3.cmml" xref="S3.SS2.SSS1.p1.18.m18.8.8.2.3"><times id="S3.SS2.SSS1.p1.18.m18.8.8.2.3.1.cmml" xref="S3.SS2.SSS1.p1.18.m18.8.8.2.3.1"></times><apply id="S3.SS2.SSS1.p1.18.m18.8.8.2.3.2.cmml" xref="S3.SS2.SSS1.p1.18.m18.8.8.2.3.2"><csymbol cd="ambiguous" id="S3.SS2.SSS1.p1.18.m18.8.8.2.3.2.1.cmml" xref="S3.SS2.SSS1.p1.18.m18.8.8.2.3.2">superscript</csymbol><ci id="S3.SS2.SSS1.p1.18.m18.8.8.2.3.2.2.cmml" xref="S3.SS2.SSS1.p1.18.m18.8.8.2.3.2.2">𝑄</ci><times id="S3.SS2.SSS1.p1.18.m18.8.8.2.3.2.3.cmml" xref="S3.SS2.SSS1.p1.18.m18.8.8.2.3.2.3"></times></apply><interval closure="open" id="S3.SS2.SSS1.p1.18.m18.8.8.2.3.3.1.cmml" xref="S3.SS2.SSS1.p1.18.m18.8.8.2.3.3.2"><ci id="S3.SS2.SSS1.p1.18.m18.4.4.cmml" xref="S3.SS2.SSS1.p1.18.m18.4.4">𝑠</ci><ci id="S3.SS2.SSS1.p1.18.m18.5.5.cmml" xref="S3.SS2.SSS1.p1.18.m18.5.5">𝑎</ci></interval></apply><apply id="S3.SS2.SSS1.p1.18.m18.8.8.2.1.cmml" xref="S3.SS2.SSS1.p1.18.m18.8.8.2.1"><times id="S3.SS2.SSS1.p1.18.m18.8.8.2.1.2.cmml" xref="S3.SS2.SSS1.p1.18.m18.8.8.2.1.2"></times><log id="S3.SS2.SSS1.p1.18.m18.8.8.2.1.3.cmml" xref="S3.SS2.SSS1.p1.18.m18.8.8.2.1.3"></log><apply id="S3.SS2.SSS1.p1.18.m18.8.8.2.1.1.cmml" xref="S3.SS2.SSS1.p1.18.m18.8.8.2.1.1"><apply id="S3.SS2.SSS1.p1.18.m18.8.8.2.1.1.2.cmml" xref="S3.SS2.SSS1.p1.18.m18.8.8.2.1.1.2"><csymbol cd="ambiguous" id="S3.SS2.SSS1.p1.18.m18.8.8.2.1.1.2.1.cmml" xref="S3.SS2.SSS1.p1.18.m18.8.8.2.1.1.2">subscript</csymbol><sum id="S3.SS2.SSS1.p1.18.m18.8.8.2.1.1.2.2.cmml" xref="S3.SS2.SSS1.p1.18.m18.8.8.2.1.1.2.2"></sum><apply id="S3.SS2.SSS1.p1.18.m18.8.8.2.1.1.2.3.cmml" xref="S3.SS2.SSS1.p1.18.m18.8.8.2.1.1.2.3"><in id="S3.SS2.SSS1.p1.18.m18.8.8.2.1.1.2.3.1.cmml" xref="S3.SS2.SSS1.p1.18.m18.8.8.2.1.1.2.3.1"></in><apply id="S3.SS2.SSS1.p1.18.m18.8.8.2.1.1.2.3.2.cmml" xref="S3.SS2.SSS1.p1.18.m18.8.8.2.1.1.2.3.2"><csymbol cd="ambiguous" id="S3.SS2.SSS1.p1.18.m18.8.8.2.1.1.2.3.2.1.cmml" xref="S3.SS2.SSS1.p1.18.m18.8.8.2.1.1.2.3.2">superscript</csymbol><ci id="S3.SS2.SSS1.p1.18.m18.8.8.2.1.1.2.3.2.2.cmml" xref="S3.SS2.SSS1.p1.18.m18.8.8.2.1.1.2.3.2.2">𝑎</ci><ci id="S3.SS2.SSS1.p1.18.m18.8.8.2.1.1.2.3.2.3.cmml" xref="S3.SS2.SSS1.p1.18.m18.8.8.2.1.1.2.3.2.3">′</ci></apply><ci id="S3.SS2.SSS1.p1.18.m18.8.8.2.1.1.2.3.3.cmml" xref="S3.SS2.SSS1.p1.18.m18.8.8.2.1.1.2.3.3">𝒜</ci></apply></apply><apply id="S3.SS2.SSS1.p1.18.m18.8.8.2.1.1.1.cmml" xref="S3.SS2.SSS1.p1.18.m18.8.8.2.1.1.1"><times id="S3.SS2.SSS1.p1.18.m18.8.8.2.1.1.1.2.cmml" xref="S3.SS2.SSS1.p1.18.m18.8.8.2.1.1.1.2"></times><apply id="S3.SS2.SSS1.p1.18.m18.8.8.2.1.1.1.3.cmml" xref="S3.SS2.SSS1.p1.18.m18.8.8.2.1.1.1.3"><exp id="S3.SS2.SSS1.p1.18.m18.8.8.2.1.1.1.3.1.cmml" xref="S3.SS2.SSS1.p1.18.m18.8.8.2.1.1.1.3.1"></exp><apply id="S3.SS2.SSS1.p1.18.m18.8.8.2.1.1.1.3.2.cmml" xref="S3.SS2.SSS1.p1.18.m18.8.8.2.1.1.1.3.2"><csymbol cd="ambiguous" id="S3.SS2.SSS1.p1.18.m18.8.8.2.1.1.1.3.2.1.cmml" xref="S3.SS2.SSS1.p1.18.m18.8.8.2.1.1.1.3.2">superscript</csymbol><ci id="S3.SS2.SSS1.p1.18.m18.8.8.2.1.1.1.3.2.2.cmml" xref="S3.SS2.SSS1.p1.18.m18.8.8.2.1.1.1.3.2.2">𝑄</ci><times id="S3.SS2.SSS1.p1.18.m18.8.8.2.1.1.1.3.2.3.cmml" xref="S3.SS2.SSS1.p1.18.m18.8.8.2.1.1.1.3.2.3"></times></apply></apply><interval closure="open" id="S3.SS2.SSS1.p1.18.m18.8.8.2.1.1.1.1.2.cmml" xref="S3.SS2.SSS1.p1.18.m18.8.8.2.1.1.1.1.1"><ci id="S3.SS2.SSS1.p1.18.m18.6.6.cmml" xref="S3.SS2.SSS1.p1.18.m18.6.6">𝑠</ci><apply id="S3.SS2.SSS1.p1.18.m18.8.8.2.1.1.1.1.1.1.cmml" xref="S3.SS2.SSS1.p1.18.m18.8.8.2.1.1.1.1.1.1"><csymbol cd="ambiguous" id="S3.SS2.SSS1.p1.18.m18.8.8.2.1.1.1.1.1.1.1.cmml" xref="S3.SS2.SSS1.p1.18.m18.8.8.2.1.1.1.1.1.1">superscript</csymbol><ci id="S3.SS2.SSS1.p1.18.m18.8.8.2.1.1.1.1.1.1.2.cmml" xref="S3.SS2.SSS1.p1.18.m18.8.8.2.1.1.1.1.1.1.2">𝑎</ci><ci id="S3.SS2.SSS1.p1.18.m18.8.8.2.1.1.1.1.1.1.3.cmml" xref="S3.SS2.SSS1.p1.18.m18.8.8.2.1.1.1.1.1.1.3">′</ci></apply></interval></apply></apply></apply></apply></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="S3.SS2.SSS1.p1.18.m18.8c">\log p^{*}(a|s)=Q^{*}(s,a)-V^{\theta^{*}}(s)=Q^{*}(s,a)-\log\sum_{a^{\prime}\in\mathcal{A}}\exp Q^{*}(s,a^{\prime})</annotation></semantics></math>. The key idea of the following derivations is that the optimal policy is uniquely determined by the optimal <math id="S3.SS2.SSS1.p1.19.m19.1" class="ltx_Math" alttext="Q" display="inline"><semantics id="S3.SS2.SSS1.p1.19.m19.1a"><mi id="S3.SS2.SSS1.p1.19.m19.1.1" xref="S3.SS2.SSS1.p1.19.m19.1.1.cmml">Q</mi><annotation-xml encoding="MathML-Content" id="S3.SS2.SSS1.p1.19.m19.1b"><ci id="S3.SS2.SSS1.p1.19.m19.1.1.cmml" xref="S3.SS2.SSS1.p1.19.m19.1.1">𝑄</ci></annotation-xml><annotation encoding="application/x-tex" id="S3.SS2.SSS1.p1.19.m19.1c">Q</annotation></semantics></math>-values, while the reward has a one-to-one correspondence with the <math id="S3.SS2.SSS1.p1.20.m20.1" class="ltx_Math" alttext="Q" display="inline"><semantics id="S3.SS2.SSS1.p1.20.m20.1a"><mi id="S3.SS2.SSS1.p1.20.m20.1.1" xref="S3.SS2.SSS1.p1.20.m20.1.1.cmml">Q</mi><annotation-xml encoding="MathML-Content" id="S3.SS2.SSS1.p1.20.m20.1b"><ci id="S3.SS2.SSS1.p1.20.m20.1.1.cmml" xref="S3.SS2.SSS1.p1.20.m20.1.1">𝑄</ci></annotation-xml><annotation encoding="application/x-tex" id="S3.SS2.SSS1.p1.20.m20.1c">Q</annotation></semantics></math>-values. This allows us to optimize solely over <math id="S3.SS2.SSS1.p1.21.m21.1" class="ltx_Math" alttext="Q" display="inline"><semantics id="S3.SS2.SSS1.p1.21.m21.1a"><mi id="S3.SS2.SSS1.p1.21.m21.1.1" xref="S3.SS2.SSS1.p1.21.m21.1.1.cmml">Q</mi><annotation-xml encoding="MathML-Content" id="S3.SS2.SSS1.p1.21.m21.1b"><ci id="S3.SS2.SSS1.p1.21.m21.1.1.cmml" xref="S3.SS2.SSS1.p1.21.m21.1.1">𝑄</ci></annotation-xml><annotation encoding="application/x-tex" id="S3.SS2.SSS1.p1.21.m21.1c">Q</annotation></semantics></math>-values.
We can now write a chain of equalities involving our loss.</p>
</div>
<div id="S3.Thmtheorem1" class="ltx_theorem ltx_theorem_proposition">
<h6 class="ltx_title ltx_runin ltx_title_theorem">
<span class="ltx_tag ltx_tag_theorem"><span id="S3.Thmtheorem1.1.1.1" class="ltx_text ltx_font_bold">Proposition 3.1</span></span><span id="S3.Thmtheorem1.2.2" class="ltx_text ltx_font_bold">.</span>
</h6>
<div id="S3.Thmtheorem1.p1" class="ltx_para">
<p id="S3.Thmtheorem1.p1.9" class="ltx_p"><span id="S3.Thmtheorem1.p1.9.1" class="ltx_text ltx_font_italic">The following equalities hold for the loss:</span></p>
<table id="A9.EGx5" class="ltx_equationgroup ltx_eqn_align ltx_eqn_table">

<tbody id="S3.Ex2"><tr class="ltx_equation ltx_eqn_row ltx_align_baseline">
<td class="ltx_eqn_cell ltx_eqn_center_padleft"></td>
<td class="ltx_td ltx_align_right ltx_eqn_cell"><math id="S3.Ex2.m1.3" class="ltx_Math" alttext="\displaystyle\inf_{\theta}d_{\psi}(\rho_{\theta},\rho_{\text{data}})-H[\rho_{\theta}]" display="inline"><semantics id="S3.Ex2.m1.3a"><mrow id="S3.Ex2.m1.3.3" xref="S3.Ex2.m1.3.3.cmml"><mrow id="S3.Ex2.m1.2.2.2" xref="S3.Ex2.m1.2.2.2.cmml"><munder id="S3.Ex2.m1.2.2.2.3" xref="S3.Ex2.m1.2.2.2.3.cmml"><mo movablelimits="false" id="S3.Ex2.m1.2.2.2.3.2" xref="S3.Ex2.m1.2.2.2.3.2.cmml">inf</mo><mi id="S3.Ex2.m1.2.2.2.3.3" xref="S3.Ex2.m1.2.2.2.3.3.cmml">θ</mi></munder><mrow id="S3.Ex2.m1.2.2.2.2" xref="S3.Ex2.m1.2.2.2.2.cmml"><msub id="S3.Ex2.m1.2.2.2.2.4" xref="S3.Ex2.m1.2.2.2.2.4.cmml"><mi id="S3.Ex2.m1.2.2.2.2.4.2" xref="S3.Ex2.m1.2.2.2.2.4.2.cmml">d</mi><mi id="S3.Ex2.m1.2.2.2.2.4.3" xref="S3.Ex2.m1.2.2.2.2.4.3.cmml">ψ</mi></msub><mo lspace="0em" rspace="0em" id="S3.Ex2.m1.2.2.2.2.3" xref="S3.Ex2.m1.2.2.2.2.3.cmml">​</mo><mrow id="S3.Ex2.m1.2.2.2.2.2.2" xref="S3.Ex2.m1.2.2.2.2.2.3.cmml"><mo stretchy="false" id="S3.Ex2.m1.2.2.2.2.2.2.3" xref="S3.Ex2.m1.2.2.2.2.2.3.cmml">(</mo><msub id="S3.Ex2.m1.1.1.1.1.1.1.1" xref="S3.Ex2.m1.1.1.1.1.1.1.1.cmml"><mi id="S3.Ex2.m1.1.1.1.1.1.1.1.2" xref="S3.Ex2.m1.1.1.1.1.1.1.1.2.cmml">ρ</mi><mi id="S3.Ex2.m1.1.1.1.1.1.1.1.3" xref="S3.Ex2.m1.1.1.1.1.1.1.1.3.cmml">θ</mi></msub><mo id="S3.Ex2.m1.2.2.2.2.2.2.4" xref="S3.Ex2.m1.2.2.2.2.2.3.cmml">,</mo><msub id="S3.Ex2.m1.2.2.2.2.2.2.2" xref="S3.Ex2.m1.2.2.2.2.2.2.2.cmml"><mi id="S3.Ex2.m1.2.2.2.2.2.2.2.2" xref="S3.Ex2.m1.2.2.2.2.2.2.2.2.cmml">ρ</mi><mtext class="ltx_mathvariant_italic" id="S3.Ex2.m1.2.2.2.2.2.2.2.3" xref="S3.Ex2.m1.2.2.2.2.2.2.2.3a.cmml">data</mtext></msub><mo stretchy="false" id="S3.Ex2.m1.2.2.2.2.2.2.5" xref="S3.Ex2.m1.2.2.2.2.2.3.cmml">)</mo></mrow></mrow></mrow><mo id="S3.Ex2.m1.3.3.4" xref="S3.Ex2.m1.3.3.4.cmml">−</mo><mrow id="S3.Ex2.m1.3.3.3" xref="S3.Ex2.m1.3.3.3.cmml"><mi id="S3.Ex2.m1.3.3.3.3" xref="S3.Ex2.m1.3.3.3.3.cmml">H</mi><mo lspace="0em" rspace="0em" id="S3.Ex2.m1.3.3.3.2" xref="S3.Ex2.m1.3.3.3.2.cmml">​</mo><mrow id="S3.Ex2.m1.3.3.3.1.1" xref="S3.Ex2.m1.3.3.3.1.2.cmml"><mo stretchy="false" id="S3.Ex2.m1.3.3.3.1.1.2" xref="S3.Ex2.m1.3.3.3.1.2.1.cmml">[</mo><msub id="S3.Ex2.m1.3.3.3.1.1.1" xref="S3.Ex2.m1.3.3.3.1.1.1.cmml"><mi id="S3.Ex2.m1.3.3.3.1.1.1.2" xref="S3.Ex2.m1.3.3.3.1.1.1.2.cmml">ρ</mi><mi id="S3.Ex2.m1.3.3.3.1.1.1.3" xref="S3.Ex2.m1.3.3.3.1.1.1.3.cmml">θ</mi></msub><mo stretchy="false" id="S3.Ex2.m1.3.3.3.1.1.3" xref="S3.Ex2.m1.3.3.3.1.2.1.cmml">]</mo></mrow></mrow></mrow><annotation-xml encoding="MathML-Content" id="S3.Ex2.m1.3b"><apply id="S3.Ex2.m1.3.3.cmml" xref="S3.Ex2.m1.3.3"><minus id="S3.Ex2.m1.3.3.4.cmml" xref="S3.Ex2.m1.3.3.4"></minus><apply id="S3.Ex2.m1.2.2.2.cmml" xref="S3.Ex2.m1.2.2.2"><apply id="S3.Ex2.m1.2.2.2.3.cmml" xref="S3.Ex2.m1.2.2.2.3"><csymbol cd="ambiguous" id="S3.Ex2.m1.2.2.2.3.1.cmml" xref="S3.Ex2.m1.2.2.2.3">subscript</csymbol><csymbol cd="latexml" id="S3.Ex2.m1.2.2.2.3.2.cmml" xref="S3.Ex2.m1.2.2.2.3.2">infimum</csymbol><ci id="S3.Ex2.m1.2.2.2.3.3.cmml" xref="S3.Ex2.m1.2.2.2.3.3">𝜃</ci></apply><apply id="S3.Ex2.m1.2.2.2.2.cmml" xref="S3.Ex2.m1.2.2.2.2"><times id="S3.Ex2.m1.2.2.2.2.3.cmml" xref="S3.Ex2.m1.2.2.2.2.3"></times><apply id="S3.Ex2.m1.2.2.2.2.4.cmml" xref="S3.Ex2.m1.2.2.2.2.4"><csymbol cd="ambiguous" id="S3.Ex2.m1.2.2.2.2.4.1.cmml" xref="S3.Ex2.m1.2.2.2.2.4">subscript</csymbol><ci id="S3.Ex2.m1.2.2.2.2.4.2.cmml" xref="S3.Ex2.m1.2.2.2.2.4.2">𝑑</ci><ci id="S3.Ex2.m1.2.2.2.2.4.3.cmml" xref="S3.Ex2.m1.2.2.2.2.4.3">𝜓</ci></apply><interval closure="open" id="S3.Ex2.m1.2.2.2.2.2.3.cmml" xref="S3.Ex2.m1.2.2.2.2.2.2"><apply id="S3.Ex2.m1.1.1.1.1.1.1.1.cmml" xref="S3.Ex2.m1.1.1.1.1.1.1.1"><csymbol cd="ambiguous" id="S3.Ex2.m1.1.1.1.1.1.1.1.1.cmml" xref="S3.Ex2.m1.1.1.1.1.1.1.1">subscript</csymbol><ci id="S3.Ex2.m1.1.1.1.1.1.1.1.2.cmml" xref="S3.Ex2.m1.1.1.1.1.1.1.1.2">𝜌</ci><ci id="S3.Ex2.m1.1.1.1.1.1.1.1.3.cmml" xref="S3.Ex2.m1.1.1.1.1.1.1.1.3">𝜃</ci></apply><apply id="S3.Ex2.m1.2.2.2.2.2.2.2.cmml" xref="S3.Ex2.m1.2.2.2.2.2.2.2"><csymbol cd="ambiguous" id="S3.Ex2.m1.2.2.2.2.2.2.2.1.cmml" xref="S3.Ex2.m1.2.2.2.2.2.2.2">subscript</csymbol><ci id="S3.Ex2.m1.2.2.2.2.2.2.2.2.cmml" xref="S3.Ex2.m1.2.2.2.2.2.2.2.2">𝜌</ci><ci id="S3.Ex2.m1.2.2.2.2.2.2.2.3a.cmml" xref="S3.Ex2.m1.2.2.2.2.2.2.2.3"><mtext class="ltx_mathvariant_italic" mathsize="70%" id="S3.Ex2.m1.2.2.2.2.2.2.2.3.cmml" xref="S3.Ex2.m1.2.2.2.2.2.2.2.3">data</mtext></ci></apply></interval></apply></apply><apply id="S3.Ex2.m1.3.3.3.cmml" xref="S3.Ex2.m1.3.3.3"><times id="S3.Ex2.m1.3.3.3.2.cmml" xref="S3.Ex2.m1.3.3.3.2"></times><ci id="S3.Ex2.m1.3.3.3.3.cmml" xref="S3.Ex2.m1.3.3.3.3">𝐻</ci><apply id="S3.Ex2.m1.3.3.3.1.2.cmml" xref="S3.Ex2.m1.3.3.3.1.1"><csymbol cd="latexml" id="S3.Ex2.m1.3.3.3.1.2.1.cmml" xref="S3.Ex2.m1.3.3.3.1.1.2">delimited-[]</csymbol><apply id="S3.Ex2.m1.3.3.3.1.1.1.cmml" xref="S3.Ex2.m1.3.3.3.1.1.1"><csymbol cd="ambiguous" id="S3.Ex2.m1.3.3.3.1.1.1.1.cmml" xref="S3.Ex2.m1.3.3.3.1.1.1">subscript</csymbol><ci id="S3.Ex2.m1.3.3.3.1.1.1.2.cmml" xref="S3.Ex2.m1.3.3.3.1.1.1.2">𝜌</ci><ci id="S3.Ex2.m1.3.3.3.1.1.1.3.cmml" xref="S3.Ex2.m1.3.3.3.1.1.1.3">𝜃</ci></apply></apply></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="S3.Ex2.m1.3c">\displaystyle\inf_{\theta}d_{\psi}(\rho_{\theta},\rho_{\text{data}})-H[\rho_{\theta}]</annotation></semantics></math></td>
<td class="ltx_td ltx_align_left ltx_eqn_cell"><math id="S3.Ex2.m2.10" class="ltx_Math" alttext="\displaystyle=\sup_{r}\inf_{\theta}\mathbb{E}_{s,a\sim\rho_{\text{data}}}\left[r(s,a)\right]-\mathbb{E}_{s,a\sim\rho_{\theta}}\left[r(s,a)\right]-H[\rho_{\theta}]-\psi(r)," display="inline"><semantics id="S3.Ex2.m2.10a"><mrow id="S3.Ex2.m2.10.10.1" xref="S3.Ex2.m2.10.10.1.1.cmml"><mrow id="S3.Ex2.m2.10.10.1.1" xref="S3.Ex2.m2.10.10.1.1.cmml"><mi id="S3.Ex2.m2.10.10.1.1.5" xref="S3.Ex2.m2.10.10.1.1.5.cmml"></mi><mo rspace="0.1389em" id="S3.Ex2.m2.10.10.1.1.4" xref="S3.Ex2.m2.10.10.1.1.4.cmml">=</mo><mrow id="S3.Ex2.m2.10.10.1.1.3" xref="S3.Ex2.m2.10.10.1.1.3.cmml"><mrow id="S3.Ex2.m2.10.10.1.1.1.1" xref="S3.Ex2.m2.10.10.1.1.1.1.cmml"><munder id="S3.Ex2.m2.10.10.1.1.1.1.2" xref="S3.Ex2.m2.10.10.1.1.1.1.2.cmml"><mo lspace="0.1389em" movablelimits="false" rspace="0.0835em" id="S3.Ex2.m2.10.10.1.1.1.1.2.2" xref="S3.Ex2.m2.10.10.1.1.1.1.2.2.cmml">sup</mo><mi id="S3.Ex2.m2.10.10.1.1.1.1.2.3" xref="S3.Ex2.m2.10.10.1.1.1.1.2.3.cmml">r</mi></munder><mrow id="S3.Ex2.m2.10.10.1.1.1.1.1" xref="S3.Ex2.m2.10.10.1.1.1.1.1.cmml"><munder id="S3.Ex2.m2.10.10.1.1.1.1.1.2" xref="S3.Ex2.m2.10.10.1.1.1.1.1.2.cmml"><mo lspace="0.0835em" movablelimits="false" rspace="0.167em" id="S3.Ex2.m2.10.10.1.1.1.1.1.2.2" xref="S3.Ex2.m2.10.10.1.1.1.1.1.2.2.cmml">inf</mo><mi id="S3.Ex2.m2.10.10.1.1.1.1.1.2.3" xref="S3.Ex2.m2.10.10.1.1.1.1.1.2.3.cmml">θ</mi></munder><mrow id="S3.Ex2.m2.10.10.1.1.1.1.1.1" xref="S3.Ex2.m2.10.10.1.1.1.1.1.1.cmml"><msub id="S3.Ex2.m2.10.10.1.1.1.1.1.1.3" xref="S3.Ex2.m2.10.10.1.1.1.1.1.1.3.cmml"><mi id="S3.Ex2.m2.10.10.1.1.1.1.1.1.3.2" xref="S3.Ex2.m2.10.10.1.1.1.1.1.1.3.2.cmml">𝔼</mi><mrow id="S3.Ex2.m2.2.2.2" xref="S3.Ex2.m2.2.2.2.cmml"><mrow id="S3.Ex2.m2.2.2.2.4.2" xref="S3.Ex2.m2.2.2.2.4.1.cmml"><mi id="S3.Ex2.m2.1.1.1.1" xref="S3.Ex2.m2.1.1.1.1.cmml">s</mi><mo id="S3.Ex2.m2.2.2.2.4.2.1" xref="S3.Ex2.m2.2.2.2.4.1.cmml">,</mo><mi id="S3.Ex2.m2.2.2.2.2" xref="S3.Ex2.m2.2.2.2.2.cmml">a</mi></mrow><mo id="S3.Ex2.m2.2.2.2.3" xref="S3.Ex2.m2.2.2.2.3.cmml">∼</mo><msub id="S3.Ex2.m2.2.2.2.5" xref="S3.Ex2.m2.2.2.2.5.cmml"><mi id="S3.Ex2.m2.2.2.2.5.2" xref="S3.Ex2.m2.2.2.2.5.2.cmml">ρ</mi><mtext class="ltx_mathvariant_italic" id="S3.Ex2.m2.2.2.2.5.3" xref="S3.Ex2.m2.2.2.2.5.3a.cmml">data</mtext></msub></mrow></msub><mo lspace="0em" rspace="0em" id="S3.Ex2.m2.10.10.1.1.1.1.1.1.2" xref="S3.Ex2.m2.10.10.1.1.1.1.1.1.2.cmml">​</mo><mrow id="S3.Ex2.m2.10.10.1.1.1.1.1.1.1.1" xref="S3.Ex2.m2.10.10.1.1.1.1.1.1.1.2.cmml"><mo id="S3.Ex2.m2.10.10.1.1.1.1.1.1.1.1.2" xref="S3.Ex2.m2.10.10.1.1.1.1.1.1.1.2.1.cmml">[</mo><mrow id="S3.Ex2.m2.10.10.1.1.1.1.1.1.1.1.1" xref="S3.Ex2.m2.10.10.1.1.1.1.1.1.1.1.1.cmml"><mi id="S3.Ex2.m2.10.10.1.1.1.1.1.1.1.1.1.2" xref="S3.Ex2.m2.10.10.1.1.1.1.1.1.1.1.1.2.cmml">r</mi><mo lspace="0em" rspace="0em" id="S3.Ex2.m2.10.10.1.1.1.1.1.1.1.1.1.1" xref="S3.Ex2.m2.10.10.1.1.1.1.1.1.1.1.1.1.cmml">​</mo><mrow id="S3.Ex2.m2.10.10.1.1.1.1.1.1.1.1.1.3.2" xref="S3.Ex2.m2.10.10.1.1.1.1.1.1.1.1.1.3.1.cmml"><mo stretchy="false" id="S3.Ex2.m2.10.10.1.1.1.1.1.1.1.1.1.3.2.1" xref="S3.Ex2.m2.10.10.1.1.1.1.1.1.1.1.1.3.1.cmml">(</mo><mi id="S3.Ex2.m2.5.5" xref="S3.Ex2.m2.5.5.cmml">s</mi><mo id="S3.Ex2.m2.10.10.1.1.1.1.1.1.1.1.1.3.2.2" xref="S3.Ex2.m2.10.10.1.1.1.1.1.1.1.1.1.3.1.cmml">,</mo><mi id="S3.Ex2.m2.6.6" xref="S3.Ex2.m2.6.6.cmml">a</mi><mo stretchy="false" id="S3.Ex2.m2.10.10.1.1.1.1.1.1.1.1.1.3.2.3" xref="S3.Ex2.m2.10.10.1.1.1.1.1.1.1.1.1.3.1.cmml">)</mo></mrow></mrow><mo id="S3.Ex2.m2.10.10.1.1.1.1.1.1.1.1.3" xref="S3.Ex2.m2.10.10.1.1.1.1.1.1.1.2.1.cmml">]</mo></mrow></mrow></mrow></mrow><mo id="S3.Ex2.m2.10.10.1.1.3.4" xref="S3.Ex2.m2.10.10.1.1.3.4.cmml">−</mo><mrow id="S3.Ex2.m2.10.10.1.1.2.2" xref="S3.Ex2.m2.10.10.1.1.2.2.cmml"><msub id="S3.Ex2.m2.10.10.1.1.2.2.3" xref="S3.Ex2.m2.10.10.1.1.2.2.3.cmml"><mi id="S3.Ex2.m2.10.10.1.1.2.2.3.2" xref="S3.Ex2.m2.10.10.1.1.2.2.3.2.cmml">𝔼</mi><mrow id="S3.Ex2.m2.4.4.2" xref="S3.Ex2.m2.4.4.2.cmml"><mrow id="S3.Ex2.m2.4.4.2.4.2" xref="S3.Ex2.m2.4.4.2.4.1.cmml"><mi id="S3.Ex2.m2.3.3.1.1" xref="S3.Ex2.m2.3.3.1.1.cmml">s</mi><mo id="S3.Ex2.m2.4.4.2.4.2.1" xref="S3.Ex2.m2.4.4.2.4.1.cmml">,</mo><mi id="S3.Ex2.m2.4.4.2.2" xref="S3.Ex2.m2.4.4.2.2.cmml">a</mi></mrow><mo id="S3.Ex2.m2.4.4.2.3" xref="S3.Ex2.m2.4.4.2.3.cmml">∼</mo><msub id="S3.Ex2.m2.4.4.2.5" xref="S3.Ex2.m2.4.4.2.5.cmml"><mi id="S3.Ex2.m2.4.4.2.5.2" xref="S3.Ex2.m2.4.4.2.5.2.cmml">ρ</mi><mi id="S3.Ex2.m2.4.4.2.5.3" xref="S3.Ex2.m2.4.4.2.5.3.cmml">θ</mi></msub></mrow></msub><mo lspace="0em" rspace="0em" id="S3.Ex2.m2.10.10.1.1.2.2.2" xref="S3.Ex2.m2.10.10.1.1.2.2.2.cmml">​</mo><mrow id="S3.Ex2.m2.10.10.1.1.2.2.1.1" xref="S3.Ex2.m2.10.10.1.1.2.2.1.2.cmml"><mo id="S3.Ex2.m2.10.10.1.1.2.2.1.1.2" xref="S3.Ex2.m2.10.10.1.1.2.2.1.2.1.cmml">[</mo><mrow id="S3.Ex2.m2.10.10.1.1.2.2.1.1.1" xref="S3.Ex2.m2.10.10.1.1.2.2.1.1.1.cmml"><mi id="S3.Ex2.m2.10.10.1.1.2.2.1.1.1.2" xref="S3.Ex2.m2.10.10.1.1.2.2.1.1.1.2.cmml">r</mi><mo lspace="0em" rspace="0em" id="S3.Ex2.m2.10.10.1.1.2.2.1.1.1.1" xref="S3.Ex2.m2.10.10.1.1.2.2.1.1.1.1.cmml">​</mo><mrow id="S3.Ex2.m2.10.10.1.1.2.2.1.1.1.3.2" xref="S3.Ex2.m2.10.10.1.1.2.2.1.1.1.3.1.cmml"><mo stretchy="false" id="S3.Ex2.m2.10.10.1.1.2.2.1.1.1.3.2.1" xref="S3.Ex2.m2.10.10.1.1.2.2.1.1.1.3.1.cmml">(</mo><mi id="S3.Ex2.m2.7.7" xref="S3.Ex2.m2.7.7.cmml">s</mi><mo id="S3.Ex2.m2.10.10.1.1.2.2.1.1.1.3.2.2" xref="S3.Ex2.m2.10.10.1.1.2.2.1.1.1.3.1.cmml">,</mo><mi id="S3.Ex2.m2.8.8" xref="S3.Ex2.m2.8.8.cmml">a</mi><mo stretchy="false" id="S3.Ex2.m2.10.10.1.1.2.2.1.1.1.3.2.3" xref="S3.Ex2.m2.10.10.1.1.2.2.1.1.1.3.1.cmml">)</mo></mrow></mrow><mo id="S3.Ex2.m2.10.10.1.1.2.2.1.1.3" xref="S3.Ex2.m2.10.10.1.1.2.2.1.2.1.cmml">]</mo></mrow></mrow><mo id="S3.Ex2.m2.10.10.1.1.3.4a" xref="S3.Ex2.m2.10.10.1.1.3.4.cmml">−</mo><mrow id="S3.Ex2.m2.10.10.1.1.3.3" xref="S3.Ex2.m2.10.10.1.1.3.3.cmml"><mi id="S3.Ex2.m2.10.10.1.1.3.3.3" xref="S3.Ex2.m2.10.10.1.1.3.3.3.cmml">H</mi><mo lspace="0em" rspace="0em" id="S3.Ex2.m2.10.10.1.1.3.3.2" xref="S3.Ex2.m2.10.10.1.1.3.3.2.cmml">​</mo><mrow id="S3.Ex2.m2.10.10.1.1.3.3.1.1" xref="S3.Ex2.m2.10.10.1.1.3.3.1.2.cmml"><mo stretchy="false" id="S3.Ex2.m2.10.10.1.1.3.3.1.1.2" xref="S3.Ex2.m2.10.10.1.1.3.3.1.2.1.cmml">[</mo><msub id="S3.Ex2.m2.10.10.1.1.3.3.1.1.1" xref="S3.Ex2.m2.10.10.1.1.3.3.1.1.1.cmml"><mi id="S3.Ex2.m2.10.10.1.1.3.3.1.1.1.2" xref="S3.Ex2.m2.10.10.1.1.3.3.1.1.1.2.cmml">ρ</mi><mi id="S3.Ex2.m2.10.10.1.1.3.3.1.1.1.3" xref="S3.Ex2.m2.10.10.1.1.3.3.1.1.1.3.cmml">θ</mi></msub><mo stretchy="false" id="S3.Ex2.m2.10.10.1.1.3.3.1.1.3" xref="S3.Ex2.m2.10.10.1.1.3.3.1.2.1.cmml">]</mo></mrow></mrow><mo id="S3.Ex2.m2.10.10.1.1.3.4b" xref="S3.Ex2.m2.10.10.1.1.3.4.cmml">−</mo><mrow id="S3.Ex2.m2.10.10.1.1.3.5" xref="S3.Ex2.m2.10.10.1.1.3.5.cmml"><mi id="S3.Ex2.m2.10.10.1.1.3.5.2" xref="S3.Ex2.m2.10.10.1.1.3.5.2.cmml">ψ</mi><mo lspace="0em" rspace="0em" id="S3.Ex2.m2.10.10.1.1.3.5.1" xref="S3.Ex2.m2.10.10.1.1.3.5.1.cmml">​</mo><mrow id="S3.Ex2.m2.10.10.1.1.3.5.3.2" xref="S3.Ex2.m2.10.10.1.1.3.5.cmml"><mo stretchy="false" id="S3.Ex2.m2.10.10.1.1.3.5.3.2.1" xref="S3.Ex2.m2.10.10.1.1.3.5.cmml">(</mo><mi id="S3.Ex2.m2.9.9" xref="S3.Ex2.m2.9.9.cmml">r</mi><mo stretchy="false" id="S3.Ex2.m2.10.10.1.1.3.5.3.2.2" xref="S3.Ex2.m2.10.10.1.1.3.5.cmml">)</mo></mrow></mrow></mrow></mrow><mo id="S3.Ex2.m2.10.10.1.2" xref="S3.Ex2.m2.10.10.1.1.cmml">,</mo></mrow><annotation-xml encoding="MathML-Content" id="S3.Ex2.m2.10b"><apply id="S3.Ex2.m2.10.10.1.1.cmml" xref="S3.Ex2.m2.10.10.1"><eq id="S3.Ex2.m2.10.10.1.1.4.cmml" xref="S3.Ex2.m2.10.10.1.1.4"></eq><csymbol cd="latexml" id="S3.Ex2.m2.10.10.1.1.5.cmml" xref="S3.Ex2.m2.10.10.1.1.5">absent</csymbol><apply id="S3.Ex2.m2.10.10.1.1.3.cmml" xref="S3.Ex2.m2.10.10.1.1.3"><minus id="S3.Ex2.m2.10.10.1.1.3.4.cmml" xref="S3.Ex2.m2.10.10.1.1.3.4"></minus><apply id="S3.Ex2.m2.10.10.1.1.1.1.cmml" xref="S3.Ex2.m2.10.10.1.1.1.1"><apply id="S3.Ex2.m2.10.10.1.1.1.1.2.cmml" xref="S3.Ex2.m2.10.10.1.1.1.1.2"><csymbol cd="ambiguous" id="S3.Ex2.m2.10.10.1.1.1.1.2.1.cmml" xref="S3.Ex2.m2.10.10.1.1.1.1.2">subscript</csymbol><csymbol cd="latexml" id="S3.Ex2.m2.10.10.1.1.1.1.2.2.cmml" xref="S3.Ex2.m2.10.10.1.1.1.1.2.2">supremum</csymbol><ci id="S3.Ex2.m2.10.10.1.1.1.1.2.3.cmml" xref="S3.Ex2.m2.10.10.1.1.1.1.2.3">𝑟</ci></apply><apply id="S3.Ex2.m2.10.10.1.1.1.1.1.cmml" xref="S3.Ex2.m2.10.10.1.1.1.1.1"><apply id="S3.Ex2.m2.10.10.1.1.1.1.1.2.cmml" xref="S3.Ex2.m2.10.10.1.1.1.1.1.2"><csymbol cd="ambiguous" id="S3.Ex2.m2.10.10.1.1.1.1.1.2.1.cmml" xref="S3.Ex2.m2.10.10.1.1.1.1.1.2">subscript</csymbol><csymbol cd="latexml" id="S3.Ex2.m2.10.10.1.1.1.1.1.2.2.cmml" xref="S3.Ex2.m2.10.10.1.1.1.1.1.2.2">infimum</csymbol><ci id="S3.Ex2.m2.10.10.1.1.1.1.1.2.3.cmml" xref="S3.Ex2.m2.10.10.1.1.1.1.1.2.3">𝜃</ci></apply><apply id="S3.Ex2.m2.10.10.1.1.1.1.1.1.cmml" xref="S3.Ex2.m2.10.10.1.1.1.1.1.1"><times id="S3.Ex2.m2.10.10.1.1.1.1.1.1.2.cmml" xref="S3.Ex2.m2.10.10.1.1.1.1.1.1.2"></times><apply id="S3.Ex2.m2.10.10.1.1.1.1.1.1.3.cmml" xref="S3.Ex2.m2.10.10.1.1.1.1.1.1.3"><csymbol cd="ambiguous" id="S3.Ex2.m2.10.10.1.1.1.1.1.1.3.1.cmml" xref="S3.Ex2.m2.10.10.1.1.1.1.1.1.3">subscript</csymbol><ci id="S3.Ex2.m2.10.10.1.1.1.1.1.1.3.2.cmml" xref="S3.Ex2.m2.10.10.1.1.1.1.1.1.3.2">𝔼</ci><apply id="S3.Ex2.m2.2.2.2.cmml" xref="S3.Ex2.m2.2.2.2"><csymbol cd="latexml" id="S3.Ex2.m2.2.2.2.3.cmml" xref="S3.Ex2.m2.2.2.2.3">similar-to</csymbol><list id="S3.Ex2.m2.2.2.2.4.1.cmml" xref="S3.Ex2.m2.2.2.2.4.2"><ci id="S3.Ex2.m2.1.1.1.1.cmml" xref="S3.Ex2.m2.1.1.1.1">𝑠</ci><ci id="S3.Ex2.m2.2.2.2.2.cmml" xref="S3.Ex2.m2.2.2.2.2">𝑎</ci></list><apply id="S3.Ex2.m2.2.2.2.5.cmml" xref="S3.Ex2.m2.2.2.2.5"><csymbol cd="ambiguous" id="S3.Ex2.m2.2.2.2.5.1.cmml" xref="S3.Ex2.m2.2.2.2.5">subscript</csymbol><ci id="S3.Ex2.m2.2.2.2.5.2.cmml" xref="S3.Ex2.m2.2.2.2.5.2">𝜌</ci><ci id="S3.Ex2.m2.2.2.2.5.3a.cmml" xref="S3.Ex2.m2.2.2.2.5.3"><mtext class="ltx_mathvariant_italic" mathsize="50%" id="S3.Ex2.m2.2.2.2.5.3.cmml" xref="S3.Ex2.m2.2.2.2.5.3">data</mtext></ci></apply></apply></apply><apply id="S3.Ex2.m2.10.10.1.1.1.1.1.1.1.2.cmml" xref="S3.Ex2.m2.10.10.1.1.1.1.1.1.1.1"><csymbol cd="latexml" id="S3.Ex2.m2.10.10.1.1.1.1.1.1.1.2.1.cmml" xref="S3.Ex2.m2.10.10.1.1.1.1.1.1.1.1.2">delimited-[]</csymbol><apply id="S3.Ex2.m2.10.10.1.1.1.1.1.1.1.1.1.cmml" xref="S3.Ex2.m2.10.10.1.1.1.1.1.1.1.1.1"><times id="S3.Ex2.m2.10.10.1.1.1.1.1.1.1.1.1.1.cmml" xref="S3.Ex2.m2.10.10.1.1.1.1.1.1.1.1.1.1"></times><ci id="S3.Ex2.m2.10.10.1.1.1.1.1.1.1.1.1.2.cmml" xref="S3.Ex2.m2.10.10.1.1.1.1.1.1.1.1.1.2">𝑟</ci><interval closure="open" id="S3.Ex2.m2.10.10.1.1.1.1.1.1.1.1.1.3.1.cmml" xref="S3.Ex2.m2.10.10.1.1.1.1.1.1.1.1.1.3.2"><ci id="S3.Ex2.m2.5.5.cmml" xref="S3.Ex2.m2.5.5">𝑠</ci><ci id="S3.Ex2.m2.6.6.cmml" xref="S3.Ex2.m2.6.6">𝑎</ci></interval></apply></apply></apply></apply></apply><apply id="S3.Ex2.m2.10.10.1.1.2.2.cmml" xref="S3.Ex2.m2.10.10.1.1.2.2"><times id="S3.Ex2.m2.10.10.1.1.2.2.2.cmml" xref="S3.Ex2.m2.10.10.1.1.2.2.2"></times><apply id="S3.Ex2.m2.10.10.1.1.2.2.3.cmml" xref="S3.Ex2.m2.10.10.1.1.2.2.3"><csymbol cd="ambiguous" id="S3.Ex2.m2.10.10.1.1.2.2.3.1.cmml" xref="S3.Ex2.m2.10.10.1.1.2.2.3">subscript</csymbol><ci id="S3.Ex2.m2.10.10.1.1.2.2.3.2.cmml" xref="S3.Ex2.m2.10.10.1.1.2.2.3.2">𝔼</ci><apply id="S3.Ex2.m2.4.4.2.cmml" xref="S3.Ex2.m2.4.4.2"><csymbol cd="latexml" id="S3.Ex2.m2.4.4.2.3.cmml" xref="S3.Ex2.m2.4.4.2.3">similar-to</csymbol><list id="S3.Ex2.m2.4.4.2.4.1.cmml" xref="S3.Ex2.m2.4.4.2.4.2"><ci id="S3.Ex2.m2.3.3.1.1.cmml" xref="S3.Ex2.m2.3.3.1.1">𝑠</ci><ci id="S3.Ex2.m2.4.4.2.2.cmml" xref="S3.Ex2.m2.4.4.2.2">𝑎</ci></list><apply id="S3.Ex2.m2.4.4.2.5.cmml" xref="S3.Ex2.m2.4.4.2.5"><csymbol cd="ambiguous" id="S3.Ex2.m2.4.4.2.5.1.cmml" xref="S3.Ex2.m2.4.4.2.5">subscript</csymbol><ci id="S3.Ex2.m2.4.4.2.5.2.cmml" xref="S3.Ex2.m2.4.4.2.5.2">𝜌</ci><ci id="S3.Ex2.m2.4.4.2.5.3.cmml" xref="S3.Ex2.m2.4.4.2.5.3">𝜃</ci></apply></apply></apply><apply id="S3.Ex2.m2.10.10.1.1.2.2.1.2.cmml" xref="S3.Ex2.m2.10.10.1.1.2.2.1.1"><csymbol cd="latexml" id="S3.Ex2.m2.10.10.1.1.2.2.1.2.1.cmml" xref="S3.Ex2.m2.10.10.1.1.2.2.1.1.2">delimited-[]</csymbol><apply id="S3.Ex2.m2.10.10.1.1.2.2.1.1.1.cmml" xref="S3.Ex2.m2.10.10.1.1.2.2.1.1.1"><times id="S3.Ex2.m2.10.10.1.1.2.2.1.1.1.1.cmml" xref="S3.Ex2.m2.10.10.1.1.2.2.1.1.1.1"></times><ci id="S3.Ex2.m2.10.10.1.1.2.2.1.1.1.2.cmml" xref="S3.Ex2.m2.10.10.1.1.2.2.1.1.1.2">𝑟</ci><interval closure="open" id="S3.Ex2.m2.10.10.1.1.2.2.1.1.1.3.1.cmml" xref="S3.Ex2.m2.10.10.1.1.2.2.1.1.1.3.2"><ci id="S3.Ex2.m2.7.7.cmml" xref="S3.Ex2.m2.7.7">𝑠</ci><ci id="S3.Ex2.m2.8.8.cmml" xref="S3.Ex2.m2.8.8">𝑎</ci></interval></apply></apply></apply><apply id="S3.Ex2.m2.10.10.1.1.3.3.cmml" xref="S3.Ex2.m2.10.10.1.1.3.3"><times id="S3.Ex2.m2.10.10.1.1.3.3.2.cmml" xref="S3.Ex2.m2.10.10.1.1.3.3.2"></times><ci id="S3.Ex2.m2.10.10.1.1.3.3.3.cmml" xref="S3.Ex2.m2.10.10.1.1.3.3.3">𝐻</ci><apply id="S3.Ex2.m2.10.10.1.1.3.3.1.2.cmml" xref="S3.Ex2.m2.10.10.1.1.3.3.1.1"><csymbol cd="latexml" id="S3.Ex2.m2.10.10.1.1.3.3.1.2.1.cmml" xref="S3.Ex2.m2.10.10.1.1.3.3.1.1.2">delimited-[]</csymbol><apply id="S3.Ex2.m2.10.10.1.1.3.3.1.1.1.cmml" xref="S3.Ex2.m2.10.10.1.1.3.3.1.1.1"><csymbol cd="ambiguous" id="S3.Ex2.m2.10.10.1.1.3.3.1.1.1.1.cmml" xref="S3.Ex2.m2.10.10.1.1.3.3.1.1.1">subscript</csymbol><ci id="S3.Ex2.m2.10.10.1.1.3.3.1.1.1.2.cmml" xref="S3.Ex2.m2.10.10.1.1.3.3.1.1.1.2">𝜌</ci><ci id="S3.Ex2.m2.10.10.1.1.3.3.1.1.1.3.cmml" xref="S3.Ex2.m2.10.10.1.1.3.3.1.1.1.3">𝜃</ci></apply></apply></apply><apply id="S3.Ex2.m2.10.10.1.1.3.5.cmml" xref="S3.Ex2.m2.10.10.1.1.3.5"><times id="S3.Ex2.m2.10.10.1.1.3.5.1.cmml" xref="S3.Ex2.m2.10.10.1.1.3.5.1"></times><ci id="S3.Ex2.m2.10.10.1.1.3.5.2.cmml" xref="S3.Ex2.m2.10.10.1.1.3.5.2">𝜓</ci><ci id="S3.Ex2.m2.9.9.cmml" xref="S3.Ex2.m2.9.9">𝑟</ci></apply></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="S3.Ex2.m2.10c">\displaystyle=\sup_{r}\inf_{\theta}\mathbb{E}_{s,a\sim\rho_{\text{data}}}\left[r(s,a)\right]-\mathbb{E}_{s,a\sim\rho_{\theta}}\left[r(s,a)\right]-H[\rho_{\theta}]-\psi(r),</annotation></semantics></math></td>
<td class="ltx_eqn_cell ltx_eqn_center_padright"></td>
</tr></tbody>
<tbody id="S3.Ex3"><tr class="ltx_equation ltx_eqn_row ltx_align_baseline">
<td class="ltx_eqn_cell ltx_eqn_center_padleft"></td>
<td class="ltx_td ltx_eqn_cell"></td>
<td class="ltx_td ltx_align_left ltx_eqn_cell"><math id="S3.Ex3.m1.9" class="ltx_Math" alttext="\displaystyle=\sup_{Q}\inf_{\theta}\mathbb{E}_{s,a\sim\rho_{\text{data}}}\left[(\mathcal{T}^{\theta}Q)(s,a)\right]-\mathbb{E}_{s,a\sim\rho_{\theta}}\left[(\mathcal{T}^{\theta}Q)(s,a)\right]-H[\rho_{\theta}]-\psi(\mathcal{T}^{\theta}Q)," display="inline"><semantics id="S3.Ex3.m1.9a"><mrow id="S3.Ex3.m1.9.9.1" xref="S3.Ex3.m1.9.9.1.1.cmml"><mrow id="S3.Ex3.m1.9.9.1.1" xref="S3.Ex3.m1.9.9.1.1.cmml"><mi id="S3.Ex3.m1.9.9.1.1.6" xref="S3.Ex3.m1.9.9.1.1.6.cmml"></mi><mo rspace="0.1389em" id="S3.Ex3.m1.9.9.1.1.5" xref="S3.Ex3.m1.9.9.1.1.5.cmml">=</mo><mrow id="S3.Ex3.m1.9.9.1.1.4" xref="S3.Ex3.m1.9.9.1.1.4.cmml"><mrow id="S3.Ex3.m1.9.9.1.1.1.1" xref="S3.Ex3.m1.9.9.1.1.1.1.cmml"><munder id="S3.Ex3.m1.9.9.1.1.1.1.2" xref="S3.Ex3.m1.9.9.1.1.1.1.2.cmml"><mo lspace="0.1389em" movablelimits="false" rspace="0.0835em" id="S3.Ex3.m1.9.9.1.1.1.1.2.2" xref="S3.Ex3.m1.9.9.1.1.1.1.2.2.cmml">sup</mo><mi id="S3.Ex3.m1.9.9.1.1.1.1.2.3" xref="S3.Ex3.m1.9.9.1.1.1.1.2.3.cmml">Q</mi></munder><mrow id="S3.Ex3.m1.9.9.1.1.1.1.1" xref="S3.Ex3.m1.9.9.1.1.1.1.1.cmml"><munder id="S3.Ex3.m1.9.9.1.1.1.1.1.2" xref="S3.Ex3.m1.9.9.1.1.1.1.1.2.cmml"><mo lspace="0.0835em" movablelimits="false" rspace="0.167em" id="S3.Ex3.m1.9.9.1.1.1.1.1.2.2" xref="S3.Ex3.m1.9.9.1.1.1.1.1.2.2.cmml">inf</mo><mi id="S3.Ex3.m1.9.9.1.1.1.1.1.2.3" xref="S3.Ex3.m1.9.9.1.1.1.1.1.2.3.cmml">θ</mi></munder><mrow id="S3.Ex3.m1.9.9.1.1.1.1.1.1" xref="S3.Ex3.m1.9.9.1.1.1.1.1.1.cmml"><msub id="S3.Ex3.m1.9.9.1.1.1.1.1.1.3" xref="S3.Ex3.m1.9.9.1.1.1.1.1.1.3.cmml"><mi id="S3.Ex3.m1.9.9.1.1.1.1.1.1.3.2" xref="S3.Ex3.m1.9.9.1.1.1.1.1.1.3.2.cmml">𝔼</mi><mrow id="S3.Ex3.m1.2.2.2" xref="S3.Ex3.m1.2.2.2.cmml"><mrow id="S3.Ex3.m1.2.2.2.4.2" xref="S3.Ex3.m1.2.2.2.4.1.cmml"><mi id="S3.Ex3.m1.1.1.1.1" xref="S3.Ex3.m1.1.1.1.1.cmml">s</mi><mo id="S3.Ex3.m1.2.2.2.4.2.1" xref="S3.Ex3.m1.2.2.2.4.1.cmml">,</mo><mi id="S3.Ex3.m1.2.2.2.2" xref="S3.Ex3.m1.2.2.2.2.cmml">a</mi></mrow><mo id="S3.Ex3.m1.2.2.2.3" xref="S3.Ex3.m1.2.2.2.3.cmml">∼</mo><msub id="S3.Ex3.m1.2.2.2.5" xref="S3.Ex3.m1.2.2.2.5.cmml"><mi id="S3.Ex3.m1.2.2.2.5.2" xref="S3.Ex3.m1.2.2.2.5.2.cmml">ρ</mi><mtext class="ltx_mathvariant_italic" id="S3.Ex3.m1.2.2.2.5.3" xref="S3.Ex3.m1.2.2.2.5.3a.cmml">data</mtext></msub></mrow></msub><mo lspace="0em" rspace="0em" id="S3.Ex3.m1.9.9.1.1.1.1.1.1.2" xref="S3.Ex3.m1.9.9.1.1.1.1.1.1.2.cmml">​</mo><mrow id="S3.Ex3.m1.9.9.1.1.1.1.1.1.1.1" xref="S3.Ex3.m1.9.9.1.1.1.1.1.1.1.2.cmml"><mo id="S3.Ex3.m1.9.9.1.1.1.1.1.1.1.1.2" xref="S3.Ex3.m1.9.9.1.1.1.1.1.1.1.2.1.cmml">[</mo><mrow id="S3.Ex3.m1.9.9.1.1.1.1.1.1.1.1.1" xref="S3.Ex3.m1.9.9.1.1.1.1.1.1.1.1.1.cmml"><mrow id="S3.Ex3.m1.9.9.1.1.1.1.1.1.1.1.1.1.1" xref="S3.Ex3.m1.9.9.1.1.1.1.1.1.1.1.1.1.1.1.cmml"><mo stretchy="false" id="S3.Ex3.m1.9.9.1.1.1.1.1.1.1.1.1.1.1.2" xref="S3.Ex3.m1.9.9.1.1.1.1.1.1.1.1.1.1.1.1.cmml">(</mo><mrow id="S3.Ex3.m1.9.9.1.1.1.1.1.1.1.1.1.1.1.1" xref="S3.Ex3.m1.9.9.1.1.1.1.1.1.1.1.1.1.1.1.cmml"><msup id="S3.Ex3.m1.9.9.1.1.1.1.1.1.1.1.1.1.1.1.2" xref="S3.Ex3.m1.9.9.1.1.1.1.1.1.1.1.1.1.1.1.2.cmml"><mi class="ltx_font_mathcaligraphic" id="S3.Ex3.m1.9.9.1.1.1.1.1.1.1.1.1.1.1.1.2.2" xref="S3.Ex3.m1.9.9.1.1.1.1.1.1.1.1.1.1.1.1.2.2.cmml">𝒯</mi><mi id="S3.Ex3.m1.9.9.1.1.1.1.1.1.1.1.1.1.1.1.2.3" xref="S3.Ex3.m1.9.9.1.1.1.1.1.1.1.1.1.1.1.1.2.3.cmml">θ</mi></msup><mo lspace="0em" rspace="0em" id="S3.Ex3.m1.9.9.1.1.1.1.1.1.1.1.1.1.1.1.1" xref="S3.Ex3.m1.9.9.1.1.1.1.1.1.1.1.1.1.1.1.1.cmml">​</mo><mi id="S3.Ex3.m1.9.9.1.1.1.1.1.1.1.1.1.1.1.1.3" xref="S3.Ex3.m1.9.9.1.1.1.1.1.1.1.1.1.1.1.1.3.cmml">Q</mi></mrow><mo stretchy="false" id="S3.Ex3.m1.9.9.1.1.1.1.1.1.1.1.1.1.1.3" xref="S3.Ex3.m1.9.9.1.1.1.1.1.1.1.1.1.1.1.1.cmml">)</mo></mrow><mo lspace="0em" rspace="0em" id="S3.Ex3.m1.9.9.1.1.1.1.1.1.1.1.1.2" xref="S3.Ex3.m1.9.9.1.1.1.1.1.1.1.1.1.2.cmml">​</mo><mrow id="S3.Ex3.m1.9.9.1.1.1.1.1.1.1.1.1.3.2" xref="S3.Ex3.m1.9.9.1.1.1.1.1.1.1.1.1.3.1.cmml"><mo stretchy="false" id="S3.Ex3.m1.9.9.1.1.1.1.1.1.1.1.1.3.2.1" xref="S3.Ex3.m1.9.9.1.1.1.1.1.1.1.1.1.3.1.cmml">(</mo><mi id="S3.Ex3.m1.5.5" xref="S3.Ex3.m1.5.5.cmml">s</mi><mo id="S3.Ex3.m1.9.9.1.1.1.1.1.1.1.1.1.3.2.2" xref="S3.Ex3.m1.9.9.1.1.1.1.1.1.1.1.1.3.1.cmml">,</mo><mi id="S3.Ex3.m1.6.6" xref="S3.Ex3.m1.6.6.cmml">a</mi><mo stretchy="false" id="S3.Ex3.m1.9.9.1.1.1.1.1.1.1.1.1.3.2.3" xref="S3.Ex3.m1.9.9.1.1.1.1.1.1.1.1.1.3.1.cmml">)</mo></mrow></mrow><mo id="S3.Ex3.m1.9.9.1.1.1.1.1.1.1.1.3" xref="S3.Ex3.m1.9.9.1.1.1.1.1.1.1.2.1.cmml">]</mo></mrow></mrow></mrow></mrow><mo id="S3.Ex3.m1.9.9.1.1.4.5" xref="S3.Ex3.m1.9.9.1.1.4.5.cmml">−</mo><mrow id="S3.Ex3.m1.9.9.1.1.2.2" xref="S3.Ex3.m1.9.9.1.1.2.2.cmml"><msub id="S3.Ex3.m1.9.9.1.1.2.2.3" xref="S3.Ex3.m1.9.9.1.1.2.2.3.cmml"><mi id="S3.Ex3.m1.9.9.1.1.2.2.3.2" xref="S3.Ex3.m1.9.9.1.1.2.2.3.2.cmml">𝔼</mi><mrow id="S3.Ex3.m1.4.4.2" xref="S3.Ex3.m1.4.4.2.cmml"><mrow id="S3.Ex3.m1.4.4.2.4.2" xref="S3.Ex3.m1.4.4.2.4.1.cmml"><mi id="S3.Ex3.m1.3.3.1.1" xref="S3.Ex3.m1.3.3.1.1.cmml">s</mi><mo id="S3.Ex3.m1.4.4.2.4.2.1" xref="S3.Ex3.m1.4.4.2.4.1.cmml">,</mo><mi id="S3.Ex3.m1.4.4.2.2" xref="S3.Ex3.m1.4.4.2.2.cmml">a</mi></mrow><mo id="S3.Ex3.m1.4.4.2.3" xref="S3.Ex3.m1.4.4.2.3.cmml">∼</mo><msub id="S3.Ex3.m1.4.4.2.5" xref="S3.Ex3.m1.4.4.2.5.cmml"><mi id="S3.Ex3.m1.4.4.2.5.2" xref="S3.Ex3.m1.4.4.2.5.2.cmml">ρ</mi><mi id="S3.Ex3.m1.4.4.2.5.3" xref="S3.Ex3.m1.4.4.2.5.3.cmml">θ</mi></msub></mrow></msub><mo lspace="0em" rspace="0em" id="S3.Ex3.m1.9.9.1.1.2.2.2" xref="S3.Ex3.m1.9.9.1.1.2.2.2.cmml">​</mo><mrow id="S3.Ex3.m1.9.9.1.1.2.2.1.1" xref="S3.Ex3.m1.9.9.1.1.2.2.1.2.cmml"><mo id="S3.Ex3.m1.9.9.1.1.2.2.1.1.2" xref="S3.Ex3.m1.9.9.1.1.2.2.1.2.1.cmml">[</mo><mrow id="S3.Ex3.m1.9.9.1.1.2.2.1.1.1" xref="S3.Ex3.m1.9.9.1.1.2.2.1.1.1.cmml"><mrow id="S3.Ex3.m1.9.9.1.1.2.2.1.1.1.1.1" xref="S3.Ex3.m1.9.9.1.1.2.2.1.1.1.1.1.1.cmml"><mo stretchy="false" id="S3.Ex3.m1.9.9.1.1.2.2.1.1.1.1.1.2" xref="S3.Ex3.m1.9.9.1.1.2.2.1.1.1.1.1.1.cmml">(</mo><mrow id="S3.Ex3.m1.9.9.1.1.2.2.1.1.1.1.1.1" xref="S3.Ex3.m1.9.9.1.1.2.2.1.1.1.1.1.1.cmml"><msup id="S3.Ex3.m1.9.9.1.1.2.2.1.1.1.1.1.1.2" xref="S3.Ex3.m1.9.9.1.1.2.2.1.1.1.1.1.1.2.cmml"><mi class="ltx_font_mathcaligraphic" id="S3.Ex3.m1.9.9.1.1.2.2.1.1.1.1.1.1.2.2" xref="S3.Ex3.m1.9.9.1.1.2.2.1.1.1.1.1.1.2.2.cmml">𝒯</mi><mi id="S3.Ex3.m1.9.9.1.1.2.2.1.1.1.1.1.1.2.3" xref="S3.Ex3.m1.9.9.1.1.2.2.1.1.1.1.1.1.2.3.cmml">θ</mi></msup><mo lspace="0em" rspace="0em" id="S3.Ex3.m1.9.9.1.1.2.2.1.1.1.1.1.1.1" xref="S3.Ex3.m1.9.9.1.1.2.2.1.1.1.1.1.1.1.cmml">​</mo><mi id="S3.Ex3.m1.9.9.1.1.2.2.1.1.1.1.1.1.3" xref="S3.Ex3.m1.9.9.1.1.2.2.1.1.1.1.1.1.3.cmml">Q</mi></mrow><mo stretchy="false" id="S3.Ex3.m1.9.9.1.1.2.2.1.1.1.1.1.3" xref="S3.Ex3.m1.9.9.1.1.2.2.1.1.1.1.1.1.cmml">)</mo></mrow><mo lspace="0em" rspace="0em" id="S3.Ex3.m1.9.9.1.1.2.2.1.1.1.2" xref="S3.Ex3.m1.9.9.1.1.2.2.1.1.1.2.cmml">​</mo><mrow id="S3.Ex3.m1.9.9.1.1.2.2.1.1.1.3.2" xref="S3.Ex3.m1.9.9.1.1.2.2.1.1.1.3.1.cmml"><mo stretchy="false" id="S3.Ex3.m1.9.9.1.1.2.2.1.1.1.3.2.1" xref="S3.Ex3.m1.9.9.1.1.2.2.1.1.1.3.1.cmml">(</mo><mi id="S3.Ex3.m1.7.7" xref="S3.Ex3.m1.7.7.cmml">s</mi><mo id="S3.Ex3.m1.9.9.1.1.2.2.1.1.1.3.2.2" xref="S3.Ex3.m1.9.9.1.1.2.2.1.1.1.3.1.cmml">,</mo><mi id="S3.Ex3.m1.8.8" xref="S3.Ex3.m1.8.8.cmml">a</mi><mo stretchy="false" id="S3.Ex3.m1.9.9.1.1.2.2.1.1.1.3.2.3" xref="S3.Ex3.m1.9.9.1.1.2.2.1.1.1.3.1.cmml">)</mo></mrow></mrow><mo id="S3.Ex3.m1.9.9.1.1.2.2.1.1.3" xref="S3.Ex3.m1.9.9.1.1.2.2.1.2.1.cmml">]</mo></mrow></mrow><mo id="S3.Ex3.m1.9.9.1.1.4.5a" xref="S3.Ex3.m1.9.9.1.1.4.5.cmml">−</mo><mrow id="S3.Ex3.m1.9.9.1.1.3.3" xref="S3.Ex3.m1.9.9.1.1.3.3.cmml"><mi id="S3.Ex3.m1.9.9.1.1.3.3.3" xref="S3.Ex3.m1.9.9.1.1.3.3.3.cmml">H</mi><mo lspace="0em" rspace="0em" id="S3.Ex3.m1.9.9.1.1.3.3.2" xref="S3.Ex3.m1.9.9.1.1.3.3.2.cmml">​</mo><mrow id="S3.Ex3.m1.9.9.1.1.3.3.1.1" xref="S3.Ex3.m1.9.9.1.1.3.3.1.2.cmml"><mo stretchy="false" id="S3.Ex3.m1.9.9.1.1.3.3.1.1.2" xref="S3.Ex3.m1.9.9.1.1.3.3.1.2.1.cmml">[</mo><msub id="S3.Ex3.m1.9.9.1.1.3.3.1.1.1" xref="S3.Ex3.m1.9.9.1.1.3.3.1.1.1.cmml"><mi id="S3.Ex3.m1.9.9.1.1.3.3.1.1.1.2" xref="S3.Ex3.m1.9.9.1.1.3.3.1.1.1.2.cmml">ρ</mi><mi id="S3.Ex3.m1.9.9.1.1.3.3.1.1.1.3" xref="S3.Ex3.m1.9.9.1.1.3.3.1.1.1.3.cmml">θ</mi></msub><mo stretchy="false" id="S3.Ex3.m1.9.9.1.1.3.3.1.1.3" xref="S3.Ex3.m1.9.9.1.1.3.3.1.2.1.cmml">]</mo></mrow></mrow><mo id="S3.Ex3.m1.9.9.1.1.4.5b" xref="S3.Ex3.m1.9.9.1.1.4.5.cmml">−</mo><mrow id="S3.Ex3.m1.9.9.1.1.4.4" xref="S3.Ex3.m1.9.9.1.1.4.4.cmml"><mi id="S3.Ex3.m1.9.9.1.1.4.4.3" xref="S3.Ex3.m1.9.9.1.1.4.4.3.cmml">ψ</mi><mo lspace="0em" rspace="0em" id="S3.Ex3.m1.9.9.1.1.4.4.2" xref="S3.Ex3.m1.9.9.1.1.4.4.2.cmml">​</mo><mrow id="S3.Ex3.m1.9.9.1.1.4.4.1.1" xref="S3.Ex3.m1.9.9.1.1.4.4.1.1.1.cmml"><mo stretchy="false" id="S3.Ex3.m1.9.9.1.1.4.4.1.1.2" xref="S3.Ex3.m1.9.9.1.1.4.4.1.1.1.cmml">(</mo><mrow id="S3.Ex3.m1.9.9.1.1.4.4.1.1.1" xref="S3.Ex3.m1.9.9.1.1.4.4.1.1.1.cmml"><msup id="S3.Ex3.m1.9.9.1.1.4.4.1.1.1.2" xref="S3.Ex3.m1.9.9.1.1.4.4.1.1.1.2.cmml"><mi class="ltx_font_mathcaligraphic" id="S3.Ex3.m1.9.9.1.1.4.4.1.1.1.2.2" xref="S3.Ex3.m1.9.9.1.1.4.4.1.1.1.2.2.cmml">𝒯</mi><mi id="S3.Ex3.m1.9.9.1.1.4.4.1.1.1.2.3" xref="S3.Ex3.m1.9.9.1.1.4.4.1.1.1.2.3.cmml">θ</mi></msup><mo lspace="0em" rspace="0em" id="S3.Ex3.m1.9.9.1.1.4.4.1.1.1.1" xref="S3.Ex3.m1.9.9.1.1.4.4.1.1.1.1.cmml">​</mo><mi id="S3.Ex3.m1.9.9.1.1.4.4.1.1.1.3" xref="S3.Ex3.m1.9.9.1.1.4.4.1.1.1.3.cmml">Q</mi></mrow><mo stretchy="false" id="S3.Ex3.m1.9.9.1.1.4.4.1.1.3" xref="S3.Ex3.m1.9.9.1.1.4.4.1.1.1.cmml">)</mo></mrow></mrow></mrow></mrow><mo id="S3.Ex3.m1.9.9.1.2" xref="S3.Ex3.m1.9.9.1.1.cmml">,</mo></mrow><annotation-xml encoding="MathML-Content" id="S3.Ex3.m1.9b"><apply id="S3.Ex3.m1.9.9.1.1.cmml" xref="S3.Ex3.m1.9.9.1"><eq id="S3.Ex3.m1.9.9.1.1.5.cmml" xref="S3.Ex3.m1.9.9.1.1.5"></eq><csymbol cd="latexml" id="S3.Ex3.m1.9.9.1.1.6.cmml" xref="S3.Ex3.m1.9.9.1.1.6">absent</csymbol><apply id="S3.Ex3.m1.9.9.1.1.4.cmml" xref="S3.Ex3.m1.9.9.1.1.4"><minus id="S3.Ex3.m1.9.9.1.1.4.5.cmml" xref="S3.Ex3.m1.9.9.1.1.4.5"></minus><apply id="S3.Ex3.m1.9.9.1.1.1.1.cmml" xref="S3.Ex3.m1.9.9.1.1.1.1"><apply id="S3.Ex3.m1.9.9.1.1.1.1.2.cmml" xref="S3.Ex3.m1.9.9.1.1.1.1.2"><csymbol cd="ambiguous" id="S3.Ex3.m1.9.9.1.1.1.1.2.1.cmml" xref="S3.Ex3.m1.9.9.1.1.1.1.2">subscript</csymbol><csymbol cd="latexml" id="S3.Ex3.m1.9.9.1.1.1.1.2.2.cmml" xref="S3.Ex3.m1.9.9.1.1.1.1.2.2">supremum</csymbol><ci id="S3.Ex3.m1.9.9.1.1.1.1.2.3.cmml" xref="S3.Ex3.m1.9.9.1.1.1.1.2.3">𝑄</ci></apply><apply id="S3.Ex3.m1.9.9.1.1.1.1.1.cmml" xref="S3.Ex3.m1.9.9.1.1.1.1.1"><apply id="S3.Ex3.m1.9.9.1.1.1.1.1.2.cmml" xref="S3.Ex3.m1.9.9.1.1.1.1.1.2"><csymbol cd="ambiguous" id="S3.Ex3.m1.9.9.1.1.1.1.1.2.1.cmml" xref="S3.Ex3.m1.9.9.1.1.1.1.1.2">subscript</csymbol><csymbol cd="latexml" id="S3.Ex3.m1.9.9.1.1.1.1.1.2.2.cmml" xref="S3.Ex3.m1.9.9.1.1.1.1.1.2.2">infimum</csymbol><ci id="S3.Ex3.m1.9.9.1.1.1.1.1.2.3.cmml" xref="S3.Ex3.m1.9.9.1.1.1.1.1.2.3">𝜃</ci></apply><apply id="S3.Ex3.m1.9.9.1.1.1.1.1.1.cmml" xref="S3.Ex3.m1.9.9.1.1.1.1.1.1"><times id="S3.Ex3.m1.9.9.1.1.1.1.1.1.2.cmml" xref="S3.Ex3.m1.9.9.1.1.1.1.1.1.2"></times><apply id="S3.Ex3.m1.9.9.1.1.1.1.1.1.3.cmml" xref="S3.Ex3.m1.9.9.1.1.1.1.1.1.3"><csymbol cd="ambiguous" id="S3.Ex3.m1.9.9.1.1.1.1.1.1.3.1.cmml" xref="S3.Ex3.m1.9.9.1.1.1.1.1.1.3">subscript</csymbol><ci id="S3.Ex3.m1.9.9.1.1.1.1.1.1.3.2.cmml" xref="S3.Ex3.m1.9.9.1.1.1.1.1.1.3.2">𝔼</ci><apply id="S3.Ex3.m1.2.2.2.cmml" xref="S3.Ex3.m1.2.2.2"><csymbol cd="latexml" id="S3.Ex3.m1.2.2.2.3.cmml" xref="S3.Ex3.m1.2.2.2.3">similar-to</csymbol><list id="S3.Ex3.m1.2.2.2.4.1.cmml" xref="S3.Ex3.m1.2.2.2.4.2"><ci id="S3.Ex3.m1.1.1.1.1.cmml" xref="S3.Ex3.m1.1.1.1.1">𝑠</ci><ci id="S3.Ex3.m1.2.2.2.2.cmml" xref="S3.Ex3.m1.2.2.2.2">𝑎</ci></list><apply id="S3.Ex3.m1.2.2.2.5.cmml" xref="S3.Ex3.m1.2.2.2.5"><csymbol cd="ambiguous" id="S3.Ex3.m1.2.2.2.5.1.cmml" xref="S3.Ex3.m1.2.2.2.5">subscript</csymbol><ci id="S3.Ex3.m1.2.2.2.5.2.cmml" xref="S3.Ex3.m1.2.2.2.5.2">𝜌</ci><ci id="S3.Ex3.m1.2.2.2.5.3a.cmml" xref="S3.Ex3.m1.2.2.2.5.3"><mtext class="ltx_mathvariant_italic" mathsize="50%" id="S3.Ex3.m1.2.2.2.5.3.cmml" xref="S3.Ex3.m1.2.2.2.5.3">data</mtext></ci></apply></apply></apply><apply id="S3.Ex3.m1.9.9.1.1.1.1.1.1.1.2.cmml" xref="S3.Ex3.m1.9.9.1.1.1.1.1.1.1.1"><csymbol cd="latexml" id="S3.Ex3.m1.9.9.1.1.1.1.1.1.1.2.1.cmml" xref="S3.Ex3.m1.9.9.1.1.1.1.1.1.1.1.2">delimited-[]</csymbol><apply id="S3.Ex3.m1.9.9.1.1.1.1.1.1.1.1.1.cmml" xref="S3.Ex3.m1.9.9.1.1.1.1.1.1.1.1.1"><times id="S3.Ex3.m1.9.9.1.1.1.1.1.1.1.1.1.2.cmml" xref="S3.Ex3.m1.9.9.1.1.1.1.1.1.1.1.1.2"></times><apply id="S3.Ex3.m1.9.9.1.1.1.1.1.1.1.1.1.1.1.1.cmml" xref="S3.Ex3.m1.9.9.1.1.1.1.1.1.1.1.1.1.1"><times id="S3.Ex3.m1.9.9.1.1.1.1.1.1.1.1.1.1.1.1.1.cmml" xref="S3.Ex3.m1.9.9.1.1.1.1.1.1.1.1.1.1.1.1.1"></times><apply id="S3.Ex3.m1.9.9.1.1.1.1.1.1.1.1.1.1.1.1.2.cmml" xref="S3.Ex3.m1.9.9.1.1.1.1.1.1.1.1.1.1.1.1.2"><csymbol cd="ambiguous" id="S3.Ex3.m1.9.9.1.1.1.1.1.1.1.1.1.1.1.1.2.1.cmml" xref="S3.Ex3.m1.9.9.1.1.1.1.1.1.1.1.1.1.1.1.2">superscript</csymbol><ci id="S3.Ex3.m1.9.9.1.1.1.1.1.1.1.1.1.1.1.1.2.2.cmml" xref="S3.Ex3.m1.9.9.1.1.1.1.1.1.1.1.1.1.1.1.2.2">𝒯</ci><ci id="S3.Ex3.m1.9.9.1.1.1.1.1.1.1.1.1.1.1.1.2.3.cmml" xref="S3.Ex3.m1.9.9.1.1.1.1.1.1.1.1.1.1.1.1.2.3">𝜃</ci></apply><ci id="S3.Ex3.m1.9.9.1.1.1.1.1.1.1.1.1.1.1.1.3.cmml" xref="S3.Ex3.m1.9.9.1.1.1.1.1.1.1.1.1.1.1.1.3">𝑄</ci></apply><interval closure="open" id="S3.Ex3.m1.9.9.1.1.1.1.1.1.1.1.1.3.1.cmml" xref="S3.Ex3.m1.9.9.1.1.1.1.1.1.1.1.1.3.2"><ci id="S3.Ex3.m1.5.5.cmml" xref="S3.Ex3.m1.5.5">𝑠</ci><ci id="S3.Ex3.m1.6.6.cmml" xref="S3.Ex3.m1.6.6">𝑎</ci></interval></apply></apply></apply></apply></apply><apply id="S3.Ex3.m1.9.9.1.1.2.2.cmml" xref="S3.Ex3.m1.9.9.1.1.2.2"><times id="S3.Ex3.m1.9.9.1.1.2.2.2.cmml" xref="S3.Ex3.m1.9.9.1.1.2.2.2"></times><apply id="S3.Ex3.m1.9.9.1.1.2.2.3.cmml" xref="S3.Ex3.m1.9.9.1.1.2.2.3"><csymbol cd="ambiguous" id="S3.Ex3.m1.9.9.1.1.2.2.3.1.cmml" xref="S3.Ex3.m1.9.9.1.1.2.2.3">subscript</csymbol><ci id="S3.Ex3.m1.9.9.1.1.2.2.3.2.cmml" xref="S3.Ex3.m1.9.9.1.1.2.2.3.2">𝔼</ci><apply id="S3.Ex3.m1.4.4.2.cmml" xref="S3.Ex3.m1.4.4.2"><csymbol cd="latexml" id="S3.Ex3.m1.4.4.2.3.cmml" xref="S3.Ex3.m1.4.4.2.3">similar-to</csymbol><list id="S3.Ex3.m1.4.4.2.4.1.cmml" xref="S3.Ex3.m1.4.4.2.4.2"><ci id="S3.Ex3.m1.3.3.1.1.cmml" xref="S3.Ex3.m1.3.3.1.1">𝑠</ci><ci id="S3.Ex3.m1.4.4.2.2.cmml" xref="S3.Ex3.m1.4.4.2.2">𝑎</ci></list><apply id="S3.Ex3.m1.4.4.2.5.cmml" xref="S3.Ex3.m1.4.4.2.5"><csymbol cd="ambiguous" id="S3.Ex3.m1.4.4.2.5.1.cmml" xref="S3.Ex3.m1.4.4.2.5">subscript</csymbol><ci id="S3.Ex3.m1.4.4.2.5.2.cmml" xref="S3.Ex3.m1.4.4.2.5.2">𝜌</ci><ci id="S3.Ex3.m1.4.4.2.5.3.cmml" xref="S3.Ex3.m1.4.4.2.5.3">𝜃</ci></apply></apply></apply><apply id="S3.Ex3.m1.9.9.1.1.2.2.1.2.cmml" xref="S3.Ex3.m1.9.9.1.1.2.2.1.1"><csymbol cd="latexml" id="S3.Ex3.m1.9.9.1.1.2.2.1.2.1.cmml" xref="S3.Ex3.m1.9.9.1.1.2.2.1.1.2">delimited-[]</csymbol><apply id="S3.Ex3.m1.9.9.1.1.2.2.1.1.1.cmml" xref="S3.Ex3.m1.9.9.1.1.2.2.1.1.1"><times id="S3.Ex3.m1.9.9.1.1.2.2.1.1.1.2.cmml" xref="S3.Ex3.m1.9.9.1.1.2.2.1.1.1.2"></times><apply id="S3.Ex3.m1.9.9.1.1.2.2.1.1.1.1.1.1.cmml" xref="S3.Ex3.m1.9.9.1.1.2.2.1.1.1.1.1"><times id="S3.Ex3.m1.9.9.1.1.2.2.1.1.1.1.1.1.1.cmml" xref="S3.Ex3.m1.9.9.1.1.2.2.1.1.1.1.1.1.1"></times><apply id="S3.Ex3.m1.9.9.1.1.2.2.1.1.1.1.1.1.2.cmml" xref="S3.Ex3.m1.9.9.1.1.2.2.1.1.1.1.1.1.2"><csymbol cd="ambiguous" id="S3.Ex3.m1.9.9.1.1.2.2.1.1.1.1.1.1.2.1.cmml" xref="S3.Ex3.m1.9.9.1.1.2.2.1.1.1.1.1.1.2">superscript</csymbol><ci id="S3.Ex3.m1.9.9.1.1.2.2.1.1.1.1.1.1.2.2.cmml" xref="S3.Ex3.m1.9.9.1.1.2.2.1.1.1.1.1.1.2.2">𝒯</ci><ci id="S3.Ex3.m1.9.9.1.1.2.2.1.1.1.1.1.1.2.3.cmml" xref="S3.Ex3.m1.9.9.1.1.2.2.1.1.1.1.1.1.2.3">𝜃</ci></apply><ci id="S3.Ex3.m1.9.9.1.1.2.2.1.1.1.1.1.1.3.cmml" xref="S3.Ex3.m1.9.9.1.1.2.2.1.1.1.1.1.1.3">𝑄</ci></apply><interval closure="open" id="S3.Ex3.m1.9.9.1.1.2.2.1.1.1.3.1.cmml" xref="S3.Ex3.m1.9.9.1.1.2.2.1.1.1.3.2"><ci id="S3.Ex3.m1.7.7.cmml" xref="S3.Ex3.m1.7.7">𝑠</ci><ci id="S3.Ex3.m1.8.8.cmml" xref="S3.Ex3.m1.8.8">𝑎</ci></interval></apply></apply></apply><apply id="S3.Ex3.m1.9.9.1.1.3.3.cmml" xref="S3.Ex3.m1.9.9.1.1.3.3"><times id="S3.Ex3.m1.9.9.1.1.3.3.2.cmml" xref="S3.Ex3.m1.9.9.1.1.3.3.2"></times><ci id="S3.Ex3.m1.9.9.1.1.3.3.3.cmml" xref="S3.Ex3.m1.9.9.1.1.3.3.3">𝐻</ci><apply id="S3.Ex3.m1.9.9.1.1.3.3.1.2.cmml" xref="S3.Ex3.m1.9.9.1.1.3.3.1.1"><csymbol cd="latexml" id="S3.Ex3.m1.9.9.1.1.3.3.1.2.1.cmml" xref="S3.Ex3.m1.9.9.1.1.3.3.1.1.2">delimited-[]</csymbol><apply id="S3.Ex3.m1.9.9.1.1.3.3.1.1.1.cmml" xref="S3.Ex3.m1.9.9.1.1.3.3.1.1.1"><csymbol cd="ambiguous" id="S3.Ex3.m1.9.9.1.1.3.3.1.1.1.1.cmml" xref="S3.Ex3.m1.9.9.1.1.3.3.1.1.1">subscript</csymbol><ci id="S3.Ex3.m1.9.9.1.1.3.3.1.1.1.2.cmml" xref="S3.Ex3.m1.9.9.1.1.3.3.1.1.1.2">𝜌</ci><ci id="S3.Ex3.m1.9.9.1.1.3.3.1.1.1.3.cmml" xref="S3.Ex3.m1.9.9.1.1.3.3.1.1.1.3">𝜃</ci></apply></apply></apply><apply id="S3.Ex3.m1.9.9.1.1.4.4.cmml" xref="S3.Ex3.m1.9.9.1.1.4.4"><times id="S3.Ex3.m1.9.9.1.1.4.4.2.cmml" xref="S3.Ex3.m1.9.9.1.1.4.4.2"></times><ci id="S3.Ex3.m1.9.9.1.1.4.4.3.cmml" xref="S3.Ex3.m1.9.9.1.1.4.4.3">𝜓</ci><apply id="S3.Ex3.m1.9.9.1.1.4.4.1.1.1.cmml" xref="S3.Ex3.m1.9.9.1.1.4.4.1.1"><times id="S3.Ex3.m1.9.9.1.1.4.4.1.1.1.1.cmml" xref="S3.Ex3.m1.9.9.1.1.4.4.1.1.1.1"></times><apply id="S3.Ex3.m1.9.9.1.1.4.4.1.1.1.2.cmml" xref="S3.Ex3.m1.9.9.1.1.4.4.1.1.1.2"><csymbol cd="ambiguous" id="S3.Ex3.m1.9.9.1.1.4.4.1.1.1.2.1.cmml" xref="S3.Ex3.m1.9.9.1.1.4.4.1.1.1.2">superscript</csymbol><ci id="S3.Ex3.m1.9.9.1.1.4.4.1.1.1.2.2.cmml" xref="S3.Ex3.m1.9.9.1.1.4.4.1.1.1.2.2">𝒯</ci><ci id="S3.Ex3.m1.9.9.1.1.4.4.1.1.1.2.3.cmml" xref="S3.Ex3.m1.9.9.1.1.4.4.1.1.1.2.3">𝜃</ci></apply><ci id="S3.Ex3.m1.9.9.1.1.4.4.1.1.1.3.cmml" xref="S3.Ex3.m1.9.9.1.1.4.4.1.1.1.3">𝑄</ci></apply></apply></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="S3.Ex3.m1.9c">\displaystyle=\sup_{Q}\inf_{\theta}\mathbb{E}_{s,a\sim\rho_{\text{data}}}\left[(\mathcal{T}^{\theta}Q)(s,a)\right]-\mathbb{E}_{s,a\sim\rho_{\theta}}\left[(\mathcal{T}^{\theta}Q)(s,a)\right]-H[\rho_{\theta}]-\psi(\mathcal{T}^{\theta}Q),</annotation></semantics></math></td>
<td class="ltx_eqn_cell ltx_eqn_center_padright"></td>
</tr></tbody>
<tbody id="S3.Ex4"><tr class="ltx_equation ltx_eqn_row ltx_align_baseline">
<td class="ltx_eqn_cell ltx_eqn_center_padleft"></td>
<td class="ltx_td ltx_eqn_cell"></td>
<td class="ltx_td ltx_align_left ltx_eqn_cell"><math id="S3.Ex4.m1.5" class="ltx_Math" alttext="\displaystyle=\sup_{Q}\inf_{\theta}\mathbb{E}_{s,a\sim\rho_{\text{data}}}\left[(\mathcal{T}^{\theta}Q)(s,a)\right]-(1-\gamma)\mathbb{E}_{s_{0}\sim\mathcal{P}_{0}}\left[V^{\theta}(s_{0})\right]-\psi(\mathcal{T}^{\theta}Q)," display="inline"><semantics id="S3.Ex4.m1.5a"><mrow id="S3.Ex4.m1.5.5.1" xref="S3.Ex4.m1.5.5.1.1.cmml"><mrow id="S3.Ex4.m1.5.5.1.1" xref="S3.Ex4.m1.5.5.1.1.cmml"><mi id="S3.Ex4.m1.5.5.1.1.6" xref="S3.Ex4.m1.5.5.1.1.6.cmml"></mi><mo rspace="0.1389em" id="S3.Ex4.m1.5.5.1.1.5" xref="S3.Ex4.m1.5.5.1.1.5.cmml">=</mo><mrow id="S3.Ex4.m1.5.5.1.1.4" xref="S3.Ex4.m1.5.5.1.1.4.cmml"><mrow id="S3.Ex4.m1.5.5.1.1.1.1" xref="S3.Ex4.m1.5.5.1.1.1.1.cmml"><munder id="S3.Ex4.m1.5.5.1.1.1.1.2" xref="S3.Ex4.m1.5.5.1.1.1.1.2.cmml"><mo lspace="0.1389em" movablelimits="false" rspace="0.0835em" id="S3.Ex4.m1.5.5.1.1.1.1.2.2" xref="S3.Ex4.m1.5.5.1.1.1.1.2.2.cmml">sup</mo><mi id="S3.Ex4.m1.5.5.1.1.1.1.2.3" xref="S3.Ex4.m1.5.5.1.1.1.1.2.3.cmml">Q</mi></munder><mrow id="S3.Ex4.m1.5.5.1.1.1.1.1" xref="S3.Ex4.m1.5.5.1.1.1.1.1.cmml"><munder id="S3.Ex4.m1.5.5.1.1.1.1.1.2" xref="S3.Ex4.m1.5.5.1.1.1.1.1.2.cmml"><mo lspace="0.0835em" movablelimits="false" rspace="0.167em" id="S3.Ex4.m1.5.5.1.1.1.1.1.2.2" xref="S3.Ex4.m1.5.5.1.1.1.1.1.2.2.cmml">inf</mo><mi id="S3.Ex4.m1.5.5.1.1.1.1.1.2.3" xref="S3.Ex4.m1.5.5.1.1.1.1.1.2.3.cmml">θ</mi></munder><mrow id="S3.Ex4.m1.5.5.1.1.1.1.1.1" xref="S3.Ex4.m1.5.5.1.1.1.1.1.1.cmml"><msub id="S3.Ex4.m1.5.5.1.1.1.1.1.1.3" xref="S3.Ex4.m1.5.5.1.1.1.1.1.1.3.cmml"><mi id="S3.Ex4.m1.5.5.1.1.1.1.1.1.3.2" xref="S3.Ex4.m1.5.5.1.1.1.1.1.1.3.2.cmml">𝔼</mi><mrow id="S3.Ex4.m1.2.2.2" xref="S3.Ex4.m1.2.2.2.cmml"><mrow id="S3.Ex4.m1.2.2.2.4.2" xref="S3.Ex4.m1.2.2.2.4.1.cmml"><mi id="S3.Ex4.m1.1.1.1.1" xref="S3.Ex4.m1.1.1.1.1.cmml">s</mi><mo id="S3.Ex4.m1.2.2.2.4.2.1" xref="S3.Ex4.m1.2.2.2.4.1.cmml">,</mo><mi id="S3.Ex4.m1.2.2.2.2" xref="S3.Ex4.m1.2.2.2.2.cmml">a</mi></mrow><mo id="S3.Ex4.m1.2.2.2.3" xref="S3.Ex4.m1.2.2.2.3.cmml">∼</mo><msub id="S3.Ex4.m1.2.2.2.5" xref="S3.Ex4.m1.2.2.2.5.cmml"><mi id="S3.Ex4.m1.2.2.2.5.2" xref="S3.Ex4.m1.2.2.2.5.2.cmml">ρ</mi><mtext class="ltx_mathvariant_italic" id="S3.Ex4.m1.2.2.2.5.3" xref="S3.Ex4.m1.2.2.2.5.3a.cmml">data</mtext></msub></mrow></msub><mo lspace="0em" rspace="0em" id="S3.Ex4.m1.5.5.1.1.1.1.1.1.2" xref="S3.Ex4.m1.5.5.1.1.1.1.1.1.2.cmml">​</mo><mrow id="S3.Ex4.m1.5.5.1.1.1.1.1.1.1.1" xref="S3.Ex4.m1.5.5.1.1.1.1.1.1.1.2.cmml"><mo id="S3.Ex4.m1.5.5.1.1.1.1.1.1.1.1.2" xref="S3.Ex4.m1.5.5.1.1.1.1.1.1.1.2.1.cmml">[</mo><mrow id="S3.Ex4.m1.5.5.1.1.1.1.1.1.1.1.1" xref="S3.Ex4.m1.5.5.1.1.1.1.1.1.1.1.1.cmml"><mrow id="S3.Ex4.m1.5.5.1.1.1.1.1.1.1.1.1.1.1" xref="S3.Ex4.m1.5.5.1.1.1.1.1.1.1.1.1.1.1.1.cmml"><mo stretchy="false" id="S3.Ex4.m1.5.5.1.1.1.1.1.1.1.1.1.1.1.2" xref="S3.Ex4.m1.5.5.1.1.1.1.1.1.1.1.1.1.1.1.cmml">(</mo><mrow id="S3.Ex4.m1.5.5.1.1.1.1.1.1.1.1.1.1.1.1" xref="S3.Ex4.m1.5.5.1.1.1.1.1.1.1.1.1.1.1.1.cmml"><msup id="S3.Ex4.m1.5.5.1.1.1.1.1.1.1.1.1.1.1.1.2" xref="S3.Ex4.m1.5.5.1.1.1.1.1.1.1.1.1.1.1.1.2.cmml"><mi class="ltx_font_mathcaligraphic" id="S3.Ex4.m1.5.5.1.1.1.1.1.1.1.1.1.1.1.1.2.2" xref="S3.Ex4.m1.5.5.1.1.1.1.1.1.1.1.1.1.1.1.2.2.cmml">𝒯</mi><mi id="S3.Ex4.m1.5.5.1.1.1.1.1.1.1.1.1.1.1.1.2.3" xref="S3.Ex4.m1.5.5.1.1.1.1.1.1.1.1.1.1.1.1.2.3.cmml">θ</mi></msup><mo lspace="0em" rspace="0em" id="S3.Ex4.m1.5.5.1.1.1.1.1.1.1.1.1.1.1.1.1" xref="S3.Ex4.m1.5.5.1.1.1.1.1.1.1.1.1.1.1.1.1.cmml">​</mo><mi id="S3.Ex4.m1.5.5.1.1.1.1.1.1.1.1.1.1.1.1.3" xref="S3.Ex4.m1.5.5.1.1.1.1.1.1.1.1.1.1.1.1.3.cmml">Q</mi></mrow><mo stretchy="false" id="S3.Ex4.m1.5.5.1.1.1.1.1.1.1.1.1.1.1.3" xref="S3.Ex4.m1.5.5.1.1.1.1.1.1.1.1.1.1.1.1.cmml">)</mo></mrow><mo lspace="0em" rspace="0em" id="S3.Ex4.m1.5.5.1.1.1.1.1.1.1.1.1.2" xref="S3.Ex4.m1.5.5.1.1.1.1.1.1.1.1.1.2.cmml">​</mo><mrow id="S3.Ex4.m1.5.5.1.1.1.1.1.1.1.1.1.3.2" xref="S3.Ex4.m1.5.5.1.1.1.1.1.1.1.1.1.3.1.cmml"><mo stretchy="false" id="S3.Ex4.m1.5.5.1.1.1.1.1.1.1.1.1.3.2.1" xref="S3.Ex4.m1.5.5.1.1.1.1.1.1.1.1.1.3.1.cmml">(</mo><mi id="S3.Ex4.m1.3.3" xref="S3.Ex4.m1.3.3.cmml">s</mi><mo id="S3.Ex4.m1.5.5.1.1.1.1.1.1.1.1.1.3.2.2" xref="S3.Ex4.m1.5.5.1.1.1.1.1.1.1.1.1.3.1.cmml">,</mo><mi id="S3.Ex4.m1.4.4" xref="S3.Ex4.m1.4.4.cmml">a</mi><mo stretchy="false" id="S3.Ex4.m1.5.5.1.1.1.1.1.1.1.1.1.3.2.3" xref="S3.Ex4.m1.5.5.1.1.1.1.1.1.1.1.1.3.1.cmml">)</mo></mrow></mrow><mo id="S3.Ex4.m1.5.5.1.1.1.1.1.1.1.1.3" xref="S3.Ex4.m1.5.5.1.1.1.1.1.1.1.2.1.cmml">]</mo></mrow></mrow></mrow></mrow><mo id="S3.Ex4.m1.5.5.1.1.4.5" xref="S3.Ex4.m1.5.5.1.1.4.5.cmml">−</mo><mrow id="S3.Ex4.m1.5.5.1.1.3.3" xref="S3.Ex4.m1.5.5.1.1.3.3.cmml"><mrow id="S3.Ex4.m1.5.5.1.1.2.2.1.1" xref="S3.Ex4.m1.5.5.1.1.2.2.1.1.1.cmml"><mo stretchy="false" id="S3.Ex4.m1.5.5.1.1.2.2.1.1.2" xref="S3.Ex4.m1.5.5.1.1.2.2.1.1.1.cmml">(</mo><mrow id="S3.Ex4.m1.5.5.1.1.2.2.1.1.1" xref="S3.Ex4.m1.5.5.1.1.2.2.1.1.1.cmml"><mn id="S3.Ex4.m1.5.5.1.1.2.2.1.1.1.2" xref="S3.Ex4.m1.5.5.1.1.2.2.1.1.1.2.cmml">1</mn><mo id="S3.Ex4.m1.5.5.1.1.2.2.1.1.1.1" xref="S3.Ex4.m1.5.5.1.1.2.2.1.1.1.1.cmml">−</mo><mi id="S3.Ex4.m1.5.5.1.1.2.2.1.1.1.3" xref="S3.Ex4.m1.5.5.1.1.2.2.1.1.1.3.cmml">γ</mi></mrow><mo stretchy="false" id="S3.Ex4.m1.5.5.1.1.2.2.1.1.3" xref="S3.Ex4.m1.5.5.1.1.2.2.1.1.1.cmml">)</mo></mrow><mo lspace="0em" rspace="0em" id="S3.Ex4.m1.5.5.1.1.3.3.3" xref="S3.Ex4.m1.5.5.1.1.3.3.3.cmml">​</mo><msub id="S3.Ex4.m1.5.5.1.1.3.3.4" xref="S3.Ex4.m1.5.5.1.1.3.3.4.cmml"><mi id="S3.Ex4.m1.5.5.1.1.3.3.4.2" xref="S3.Ex4.m1.5.5.1.1.3.3.4.2.cmml">𝔼</mi><mrow id="S3.Ex4.m1.5.5.1.1.3.3.4.3" xref="S3.Ex4.m1.5.5.1.1.3.3.4.3.cmml"><msub id="S3.Ex4.m1.5.5.1.1.3.3.4.3.2" xref="S3.Ex4.m1.5.5.1.1.3.3.4.3.2.cmml"><mi id="S3.Ex4.m1.5.5.1.1.3.3.4.3.2.2" xref="S3.Ex4.m1.5.5.1.1.3.3.4.3.2.2.cmml">s</mi><mn id="S3.Ex4.m1.5.5.1.1.3.3.4.3.2.3" xref="S3.Ex4.m1.5.5.1.1.3.3.4.3.2.3.cmml">0</mn></msub><mo id="S3.Ex4.m1.5.5.1.1.3.3.4.3.1" xref="S3.Ex4.m1.5.5.1.1.3.3.4.3.1.cmml">∼</mo><msub id="S3.Ex4.m1.5.5.1.1.3.3.4.3.3" xref="S3.Ex4.m1.5.5.1.1.3.3.4.3.3.cmml"><mi class="ltx_font_mathcaligraphic" id="S3.Ex4.m1.5.5.1.1.3.3.4.3.3.2" xref="S3.Ex4.m1.5.5.1.1.3.3.4.3.3.2.cmml">𝒫</mi><mn id="S3.Ex4.m1.5.5.1.1.3.3.4.3.3.3" xref="S3.Ex4.m1.5.5.1.1.3.3.4.3.3.3.cmml">0</mn></msub></mrow></msub><mo lspace="0em" rspace="0em" id="S3.Ex4.m1.5.5.1.1.3.3.3a" xref="S3.Ex4.m1.5.5.1.1.3.3.3.cmml">​</mo><mrow id="S3.Ex4.m1.5.5.1.1.3.3.2.1" xref="S3.Ex4.m1.5.5.1.1.3.3.2.2.cmml"><mo id="S3.Ex4.m1.5.5.1.1.3.3.2.1.2" xref="S3.Ex4.m1.5.5.1.1.3.3.2.2.1.cmml">[</mo><mrow id="S3.Ex4.m1.5.5.1.1.3.3.2.1.1" xref="S3.Ex4.m1.5.5.1.1.3.3.2.1.1.cmml"><msup id="S3.Ex4.m1.5.5.1.1.3.3.2.1.1.3" xref="S3.Ex4.m1.5.5.1.1.3.3.2.1.1.3.cmml"><mi id="S3.Ex4.m1.5.5.1.1.3.3.2.1.1.3.2" xref="S3.Ex4.m1.5.5.1.1.3.3.2.1.1.3.2.cmml">V</mi><mi id="S3.Ex4.m1.5.5.1.1.3.3.2.1.1.3.3" xref="S3.Ex4.m1.5.5.1.1.3.3.2.1.1.3.3.cmml">θ</mi></msup><mo lspace="0em" rspace="0em" id="S3.Ex4.m1.5.5.1.1.3.3.2.1.1.2" xref="S3.Ex4.m1.5.5.1.1.3.3.2.1.1.2.cmml">​</mo><mrow id="S3.Ex4.m1.5.5.1.1.3.3.2.1.1.1.1" xref="S3.Ex4.m1.5.5.1.1.3.3.2.1.1.1.1.1.cmml"><mo stretchy="false" id="S3.Ex4.m1.5.5.1.1.3.3.2.1.1.1.1.2" xref="S3.Ex4.m1.5.5.1.1.3.3.2.1.1.1.1.1.cmml">(</mo><msub id="S3.Ex4.m1.5.5.1.1.3.3.2.1.1.1.1.1" xref="S3.Ex4.m1.5.5.1.1.3.3.2.1.1.1.1.1.cmml"><mi id="S3.Ex4.m1.5.5.1.1.3.3.2.1.1.1.1.1.2" xref="S3.Ex4.m1.5.5.1.1.3.3.2.1.1.1.1.1.2.cmml">s</mi><mn id="S3.Ex4.m1.5.5.1.1.3.3.2.1.1.1.1.1.3" xref="S3.Ex4.m1.5.5.1.1.3.3.2.1.1.1.1.1.3.cmml">0</mn></msub><mo stretchy="false" id="S3.Ex4.m1.5.5.1.1.3.3.2.1.1.1.1.3" xref="S3.Ex4.m1.5.5.1.1.3.3.2.1.1.1.1.1.cmml">)</mo></mrow></mrow><mo id="S3.Ex4.m1.5.5.1.1.3.3.2.1.3" xref="S3.Ex4.m1.5.5.1.1.3.3.2.2.1.cmml">]</mo></mrow></mrow><mo id="S3.Ex4.m1.5.5.1.1.4.5a" xref="S3.Ex4.m1.5.5.1.1.4.5.cmml">−</mo><mrow id="S3.Ex4.m1.5.5.1.1.4.4" xref="S3.Ex4.m1.5.5.1.1.4.4.cmml"><mi id="S3.Ex4.m1.5.5.1.1.4.4.3" xref="S3.Ex4.m1.5.5.1.1.4.4.3.cmml">ψ</mi><mo lspace="0em" rspace="0em" id="S3.Ex4.m1.5.5.1.1.4.4.2" xref="S3.Ex4.m1.5.5.1.1.4.4.2.cmml">​</mo><mrow id="S3.Ex4.m1.5.5.1.1.4.4.1.1" xref="S3.Ex4.m1.5.5.1.1.4.4.1.1.1.cmml"><mo stretchy="false" id="S3.Ex4.m1.5.5.1.1.4.4.1.1.2" xref="S3.Ex4.m1.5.5.1.1.4.4.1.1.1.cmml">(</mo><mrow id="S3.Ex4.m1.5.5.1.1.4.4.1.1.1" xref="S3.Ex4.m1.5.5.1.1.4.4.1.1.1.cmml"><msup id="S3.Ex4.m1.5.5.1.1.4.4.1.1.1.2" xref="S3.Ex4.m1.5.5.1.1.4.4.1.1.1.2.cmml"><mi class="ltx_font_mathcaligraphic" id="S3.Ex4.m1.5.5.1.1.4.4.1.1.1.2.2" xref="S3.Ex4.m1.5.5.1.1.4.4.1.1.1.2.2.cmml">𝒯</mi><mi id="S3.Ex4.m1.5.5.1.1.4.4.1.1.1.2.3" xref="S3.Ex4.m1.5.5.1.1.4.4.1.1.1.2.3.cmml">θ</mi></msup><mo lspace="0em" rspace="0em" id="S3.Ex4.m1.5.5.1.1.4.4.1.1.1.1" xref="S3.Ex4.m1.5.5.1.1.4.4.1.1.1.1.cmml">​</mo><mi id="S3.Ex4.m1.5.5.1.1.4.4.1.1.1.3" xref="S3.Ex4.m1.5.5.1.1.4.4.1.1.1.3.cmml">Q</mi></mrow><mo stretchy="false" id="S3.Ex4.m1.5.5.1.1.4.4.1.1.3" xref="S3.Ex4.m1.5.5.1.1.4.4.1.1.1.cmml">)</mo></mrow></mrow></mrow></mrow><mo id="S3.Ex4.m1.5.5.1.2" xref="S3.Ex4.m1.5.5.1.1.cmml">,</mo></mrow><annotation-xml encoding="MathML-Content" id="S3.Ex4.m1.5b"><apply id="S3.Ex4.m1.5.5.1.1.cmml" xref="S3.Ex4.m1.5.5.1"><eq id="S3.Ex4.m1.5.5.1.1.5.cmml" xref="S3.Ex4.m1.5.5.1.1.5"></eq><csymbol cd="latexml" id="S3.Ex4.m1.5.5.1.1.6.cmml" xref="S3.Ex4.m1.5.5.1.1.6">absent</csymbol><apply id="S3.Ex4.m1.5.5.1.1.4.cmml" xref="S3.Ex4.m1.5.5.1.1.4"><minus id="S3.Ex4.m1.5.5.1.1.4.5.cmml" xref="S3.Ex4.m1.5.5.1.1.4.5"></minus><apply id="S3.Ex4.m1.5.5.1.1.1.1.cmml" xref="S3.Ex4.m1.5.5.1.1.1.1"><apply id="S3.Ex4.m1.5.5.1.1.1.1.2.cmml" xref="S3.Ex4.m1.5.5.1.1.1.1.2"><csymbol cd="ambiguous" id="S3.Ex4.m1.5.5.1.1.1.1.2.1.cmml" xref="S3.Ex4.m1.5.5.1.1.1.1.2">subscript</csymbol><csymbol cd="latexml" id="S3.Ex4.m1.5.5.1.1.1.1.2.2.cmml" xref="S3.Ex4.m1.5.5.1.1.1.1.2.2">supremum</csymbol><ci id="S3.Ex4.m1.5.5.1.1.1.1.2.3.cmml" xref="S3.Ex4.m1.5.5.1.1.1.1.2.3">𝑄</ci></apply><apply id="S3.Ex4.m1.5.5.1.1.1.1.1.cmml" xref="S3.Ex4.m1.5.5.1.1.1.1.1"><apply id="S3.Ex4.m1.5.5.1.1.1.1.1.2.cmml" xref="S3.Ex4.m1.5.5.1.1.1.1.1.2"><csymbol cd="ambiguous" id="S3.Ex4.m1.5.5.1.1.1.1.1.2.1.cmml" xref="S3.Ex4.m1.5.5.1.1.1.1.1.2">subscript</csymbol><csymbol cd="latexml" id="S3.Ex4.m1.5.5.1.1.1.1.1.2.2.cmml" xref="S3.Ex4.m1.5.5.1.1.1.1.1.2.2">infimum</csymbol><ci id="S3.Ex4.m1.5.5.1.1.1.1.1.2.3.cmml" xref="S3.Ex4.m1.5.5.1.1.1.1.1.2.3">𝜃</ci></apply><apply id="S3.Ex4.m1.5.5.1.1.1.1.1.1.cmml" xref="S3.Ex4.m1.5.5.1.1.1.1.1.1"><times id="S3.Ex4.m1.5.5.1.1.1.1.1.1.2.cmml" xref="S3.Ex4.m1.5.5.1.1.1.1.1.1.2"></times><apply id="S3.Ex4.m1.5.5.1.1.1.1.1.1.3.cmml" xref="S3.Ex4.m1.5.5.1.1.1.1.1.1.3"><csymbol cd="ambiguous" id="S3.Ex4.m1.5.5.1.1.1.1.1.1.3.1.cmml" xref="S3.Ex4.m1.5.5.1.1.1.1.1.1.3">subscript</csymbol><ci id="S3.Ex4.m1.5.5.1.1.1.1.1.1.3.2.cmml" xref="S3.Ex4.m1.5.5.1.1.1.1.1.1.3.2">𝔼</ci><apply id="S3.Ex4.m1.2.2.2.cmml" xref="S3.Ex4.m1.2.2.2"><csymbol cd="latexml" id="S3.Ex4.m1.2.2.2.3.cmml" xref="S3.Ex4.m1.2.2.2.3">similar-to</csymbol><list id="S3.Ex4.m1.2.2.2.4.1.cmml" xref="S3.Ex4.m1.2.2.2.4.2"><ci id="S3.Ex4.m1.1.1.1.1.cmml" xref="S3.Ex4.m1.1.1.1.1">𝑠</ci><ci id="S3.Ex4.m1.2.2.2.2.cmml" xref="S3.Ex4.m1.2.2.2.2">𝑎</ci></list><apply id="S3.Ex4.m1.2.2.2.5.cmml" xref="S3.Ex4.m1.2.2.2.5"><csymbol cd="ambiguous" id="S3.Ex4.m1.2.2.2.5.1.cmml" xref="S3.Ex4.m1.2.2.2.5">subscript</csymbol><ci id="S3.Ex4.m1.2.2.2.5.2.cmml" xref="S3.Ex4.m1.2.2.2.5.2">𝜌</ci><ci id="S3.Ex4.m1.2.2.2.5.3a.cmml" xref="S3.Ex4.m1.2.2.2.5.3"><mtext class="ltx_mathvariant_italic" mathsize="50%" id="S3.Ex4.m1.2.2.2.5.3.cmml" xref="S3.Ex4.m1.2.2.2.5.3">data</mtext></ci></apply></apply></apply><apply id="S3.Ex4.m1.5.5.1.1.1.1.1.1.1.2.cmml" xref="S3.Ex4.m1.5.5.1.1.1.1.1.1.1.1"><csymbol cd="latexml" id="S3.Ex4.m1.5.5.1.1.1.1.1.1.1.2.1.cmml" xref="S3.Ex4.m1.5.5.1.1.1.1.1.1.1.1.2">delimited-[]</csymbol><apply id="S3.Ex4.m1.5.5.1.1.1.1.1.1.1.1.1.cmml" xref="S3.Ex4.m1.5.5.1.1.1.1.1.1.1.1.1"><times id="S3.Ex4.m1.5.5.1.1.1.1.1.1.1.1.1.2.cmml" xref="S3.Ex4.m1.5.5.1.1.1.1.1.1.1.1.1.2"></times><apply id="S3.Ex4.m1.5.5.1.1.1.1.1.1.1.1.1.1.1.1.cmml" xref="S3.Ex4.m1.5.5.1.1.1.1.1.1.1.1.1.1.1"><times id="S3.Ex4.m1.5.5.1.1.1.1.1.1.1.1.1.1.1.1.1.cmml" xref="S3.Ex4.m1.5.5.1.1.1.1.1.1.1.1.1.1.1.1.1"></times><apply id="S3.Ex4.m1.5.5.1.1.1.1.1.1.1.1.1.1.1.1.2.cmml" xref="S3.Ex4.m1.5.5.1.1.1.1.1.1.1.1.1.1.1.1.2"><csymbol cd="ambiguous" id="S3.Ex4.m1.5.5.1.1.1.1.1.1.1.1.1.1.1.1.2.1.cmml" xref="S3.Ex4.m1.5.5.1.1.1.1.1.1.1.1.1.1.1.1.2">superscript</csymbol><ci id="S3.Ex4.m1.5.5.1.1.1.1.1.1.1.1.1.1.1.1.2.2.cmml" xref="S3.Ex4.m1.5.5.1.1.1.1.1.1.1.1.1.1.1.1.2.2">𝒯</ci><ci id="S3.Ex4.m1.5.5.1.1.1.1.1.1.1.1.1.1.1.1.2.3.cmml" xref="S3.Ex4.m1.5.5.1.1.1.1.1.1.1.1.1.1.1.1.2.3">𝜃</ci></apply><ci id="S3.Ex4.m1.5.5.1.1.1.1.1.1.1.1.1.1.1.1.3.cmml" xref="S3.Ex4.m1.5.5.1.1.1.1.1.1.1.1.1.1.1.1.3">𝑄</ci></apply><interval closure="open" id="S3.Ex4.m1.5.5.1.1.1.1.1.1.1.1.1.3.1.cmml" xref="S3.Ex4.m1.5.5.1.1.1.1.1.1.1.1.1.3.2"><ci id="S3.Ex4.m1.3.3.cmml" xref="S3.Ex4.m1.3.3">𝑠</ci><ci id="S3.Ex4.m1.4.4.cmml" xref="S3.Ex4.m1.4.4">𝑎</ci></interval></apply></apply></apply></apply></apply><apply id="S3.Ex4.m1.5.5.1.1.3.3.cmml" xref="S3.Ex4.m1.5.5.1.1.3.3"><times id="S3.Ex4.m1.5.5.1.1.3.3.3.cmml" xref="S3.Ex4.m1.5.5.1.1.3.3.3"></times><apply id="S3.Ex4.m1.5.5.1.1.2.2.1.1.1.cmml" xref="S3.Ex4.m1.5.5.1.1.2.2.1.1"><minus id="S3.Ex4.m1.5.5.1.1.2.2.1.1.1.1.cmml" xref="S3.Ex4.m1.5.5.1.1.2.2.1.1.1.1"></minus><cn type="integer" id="S3.Ex4.m1.5.5.1.1.2.2.1.1.1.2.cmml" xref="S3.Ex4.m1.5.5.1.1.2.2.1.1.1.2">1</cn><ci id="S3.Ex4.m1.5.5.1.1.2.2.1.1.1.3.cmml" xref="S3.Ex4.m1.5.5.1.1.2.2.1.1.1.3">𝛾</ci></apply><apply id="S3.Ex4.m1.5.5.1.1.3.3.4.cmml" xref="S3.Ex4.m1.5.5.1.1.3.3.4"><csymbol cd="ambiguous" id="S3.Ex4.m1.5.5.1.1.3.3.4.1.cmml" xref="S3.Ex4.m1.5.5.1.1.3.3.4">subscript</csymbol><ci id="S3.Ex4.m1.5.5.1.1.3.3.4.2.cmml" xref="S3.Ex4.m1.5.5.1.1.3.3.4.2">𝔼</ci><apply id="S3.Ex4.m1.5.5.1.1.3.3.4.3.cmml" xref="S3.Ex4.m1.5.5.1.1.3.3.4.3"><csymbol cd="latexml" id="S3.Ex4.m1.5.5.1.1.3.3.4.3.1.cmml" xref="S3.Ex4.m1.5.5.1.1.3.3.4.3.1">similar-to</csymbol><apply id="S3.Ex4.m1.5.5.1.1.3.3.4.3.2.cmml" xref="S3.Ex4.m1.5.5.1.1.3.3.4.3.2"><csymbol cd="ambiguous" id="S3.Ex4.m1.5.5.1.1.3.3.4.3.2.1.cmml" xref="S3.Ex4.m1.5.5.1.1.3.3.4.3.2">subscript</csymbol><ci id="S3.Ex4.m1.5.5.1.1.3.3.4.3.2.2.cmml" xref="S3.Ex4.m1.5.5.1.1.3.3.4.3.2.2">𝑠</ci><cn type="integer" id="S3.Ex4.m1.5.5.1.1.3.3.4.3.2.3.cmml" xref="S3.Ex4.m1.5.5.1.1.3.3.4.3.2.3">0</cn></apply><apply id="S3.Ex4.m1.5.5.1.1.3.3.4.3.3.cmml" xref="S3.Ex4.m1.5.5.1.1.3.3.4.3.3"><csymbol cd="ambiguous" id="S3.Ex4.m1.5.5.1.1.3.3.4.3.3.1.cmml" xref="S3.Ex4.m1.5.5.1.1.3.3.4.3.3">subscript</csymbol><ci id="S3.Ex4.m1.5.5.1.1.3.3.4.3.3.2.cmml" xref="S3.Ex4.m1.5.5.1.1.3.3.4.3.3.2">𝒫</ci><cn type="integer" id="S3.Ex4.m1.5.5.1.1.3.3.4.3.3.3.cmml" xref="S3.Ex4.m1.5.5.1.1.3.3.4.3.3.3">0</cn></apply></apply></apply><apply id="S3.Ex4.m1.5.5.1.1.3.3.2.2.cmml" xref="S3.Ex4.m1.5.5.1.1.3.3.2.1"><csymbol cd="latexml" id="S3.Ex4.m1.5.5.1.1.3.3.2.2.1.cmml" xref="S3.Ex4.m1.5.5.1.1.3.3.2.1.2">delimited-[]</csymbol><apply id="S3.Ex4.m1.5.5.1.1.3.3.2.1.1.cmml" xref="S3.Ex4.m1.5.5.1.1.3.3.2.1.1"><times id="S3.Ex4.m1.5.5.1.1.3.3.2.1.1.2.cmml" xref="S3.Ex4.m1.5.5.1.1.3.3.2.1.1.2"></times><apply id="S3.Ex4.m1.5.5.1.1.3.3.2.1.1.3.cmml" xref="S3.Ex4.m1.5.5.1.1.3.3.2.1.1.3"><csymbol cd="ambiguous" id="S3.Ex4.m1.5.5.1.1.3.3.2.1.1.3.1.cmml" xref="S3.Ex4.m1.5.5.1.1.3.3.2.1.1.3">superscript</csymbol><ci id="S3.Ex4.m1.5.5.1.1.3.3.2.1.1.3.2.cmml" xref="S3.Ex4.m1.5.5.1.1.3.3.2.1.1.3.2">𝑉</ci><ci id="S3.Ex4.m1.5.5.1.1.3.3.2.1.1.3.3.cmml" xref="S3.Ex4.m1.5.5.1.1.3.3.2.1.1.3.3">𝜃</ci></apply><apply id="S3.Ex4.m1.5.5.1.1.3.3.2.1.1.1.1.1.cmml" xref="S3.Ex4.m1.5.5.1.1.3.3.2.1.1.1.1"><csymbol cd="ambiguous" id="S3.Ex4.m1.5.5.1.1.3.3.2.1.1.1.1.1.1.cmml" xref="S3.Ex4.m1.5.5.1.1.3.3.2.1.1.1.1">subscript</csymbol><ci id="S3.Ex4.m1.5.5.1.1.3.3.2.1.1.1.1.1.2.cmml" xref="S3.Ex4.m1.5.5.1.1.3.3.2.1.1.1.1.1.2">𝑠</ci><cn type="integer" id="S3.Ex4.m1.5.5.1.1.3.3.2.1.1.1.1.1.3.cmml" xref="S3.Ex4.m1.5.5.1.1.3.3.2.1.1.1.1.1.3">0</cn></apply></apply></apply></apply><apply id="S3.Ex4.m1.5.5.1.1.4.4.cmml" xref="S3.Ex4.m1.5.5.1.1.4.4"><times id="S3.Ex4.m1.5.5.1.1.4.4.2.cmml" xref="S3.Ex4.m1.5.5.1.1.4.4.2"></times><ci id="S3.Ex4.m1.5.5.1.1.4.4.3.cmml" xref="S3.Ex4.m1.5.5.1.1.4.4.3">𝜓</ci><apply id="S3.Ex4.m1.5.5.1.1.4.4.1.1.1.cmml" xref="S3.Ex4.m1.5.5.1.1.4.4.1.1"><times id="S3.Ex4.m1.5.5.1.1.4.4.1.1.1.1.cmml" xref="S3.Ex4.m1.5.5.1.1.4.4.1.1.1.1"></times><apply id="S3.Ex4.m1.5.5.1.1.4.4.1.1.1.2.cmml" xref="S3.Ex4.m1.5.5.1.1.4.4.1.1.1.2"><csymbol cd="ambiguous" id="S3.Ex4.m1.5.5.1.1.4.4.1.1.1.2.1.cmml" xref="S3.Ex4.m1.5.5.1.1.4.4.1.1.1.2">superscript</csymbol><ci id="S3.Ex4.m1.5.5.1.1.4.4.1.1.1.2.2.cmml" xref="S3.Ex4.m1.5.5.1.1.4.4.1.1.1.2.2">𝒯</ci><ci id="S3.Ex4.m1.5.5.1.1.4.4.1.1.1.2.3.cmml" xref="S3.Ex4.m1.5.5.1.1.4.4.1.1.1.2.3">𝜃</ci></apply><ci id="S3.Ex4.m1.5.5.1.1.4.4.1.1.1.3.cmml" xref="S3.Ex4.m1.5.5.1.1.4.4.1.1.1.3">𝑄</ci></apply></apply></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="S3.Ex4.m1.5c">\displaystyle=\sup_{Q}\inf_{\theta}\mathbb{E}_{s,a\sim\rho_{\text{data}}}\left[(\mathcal{T}^{\theta}Q)(s,a)\right]-(1-\gamma)\mathbb{E}_{s_{0}\sim\mathcal{P}_{0}}\left[V^{\theta}(s_{0})\right]-\psi(\mathcal{T}^{\theta}Q),</annotation></semantics></math></td>
<td class="ltx_eqn_cell ltx_eqn_center_padright"></td>
</tr></tbody>
<tbody id="S3.Ex5"><tr class="ltx_equation ltx_eqn_row ltx_align_baseline">
<td class="ltx_eqn_cell ltx_eqn_center_padleft"></td>
<td class="ltx_td ltx_eqn_cell"></td>
<td class="ltx_td ltx_align_left ltx_eqn_cell"><math id="S3.Ex5.m1.7" class="ltx_math_unparsed" alttext="\displaystyle=\sup_{Q}\inf_{\theta}\mathbb{E}_{s,a\sim\rho_{\text{data}}}\left[\phi(Q(s,a)-\gamma\mathbb{E}_{s^{\prime}\sim\mathcal{P}(\cdot|s,a)}\left[V^{\theta}(s^{\prime})\right])\right]-(1-\gamma)\mathbb{E}_{s_{0}\sim\mathcal{P}_{0}}\left[V^{\theta}\left(s_{0}\right)\right]," display="inline"><semantics id="S3.Ex5.m1.7a"><mrow id="S3.Ex5.m1.7.7.1"><mrow id="S3.Ex5.m1.7.7.1.1"><mi id="S3.Ex5.m1.7.7.1.1.5"></mi><mo rspace="0.1389em" id="S3.Ex5.m1.7.7.1.1.4">=</mo><mrow id="S3.Ex5.m1.7.7.1.1.3"><mrow id="S3.Ex5.m1.7.7.1.1.1.1"><munder id="S3.Ex5.m1.7.7.1.1.1.1.2"><mo lspace="0.1389em" movablelimits="false" rspace="0.0835em" id="S3.Ex5.m1.7.7.1.1.1.1.2.2">sup</mo><mi id="S3.Ex5.m1.7.7.1.1.1.1.2.3">Q</mi></munder><mrow id="S3.Ex5.m1.7.7.1.1.1.1.1"><munder id="S3.Ex5.m1.7.7.1.1.1.1.1.2"><mo lspace="0.0835em" movablelimits="false" rspace="0.167em" id="S3.Ex5.m1.7.7.1.1.1.1.1.2.2">inf</mo><mi id="S3.Ex5.m1.7.7.1.1.1.1.1.2.3">θ</mi></munder><mrow id="S3.Ex5.m1.7.7.1.1.1.1.1.1"><msub id="S3.Ex5.m1.7.7.1.1.1.1.1.1.3"><mi id="S3.Ex5.m1.7.7.1.1.1.1.1.1.3.2">𝔼</mi><mrow id="S3.Ex5.m1.2.2.2"><mrow id="S3.Ex5.m1.2.2.2.4.2"><mi id="S3.Ex5.m1.1.1.1.1">s</mi><mo id="S3.Ex5.m1.2.2.2.4.2.1">,</mo><mi id="S3.Ex5.m1.2.2.2.2">a</mi></mrow><mo id="S3.Ex5.m1.2.2.2.3">∼</mo><msub id="S3.Ex5.m1.2.2.2.5"><mi id="S3.Ex5.m1.2.2.2.5.2">ρ</mi><mtext class="ltx_mathvariant_italic" id="S3.Ex5.m1.2.2.2.5.3">data</mtext></msub></mrow></msub><mo lspace="0em" rspace="0em" id="S3.Ex5.m1.7.7.1.1.1.1.1.1.2">​</mo><mrow id="S3.Ex5.m1.7.7.1.1.1.1.1.1.1.1"><mo id="S3.Ex5.m1.7.7.1.1.1.1.1.1.1.1.2">[</mo><mrow id="S3.Ex5.m1.7.7.1.1.1.1.1.1.1.1.1"><mi id="S3.Ex5.m1.7.7.1.1.1.1.1.1.1.1.1.3">ϕ</mi><mo lspace="0em" rspace="0em" id="S3.Ex5.m1.7.7.1.1.1.1.1.1.1.1.1.2">​</mo><mrow id="S3.Ex5.m1.7.7.1.1.1.1.1.1.1.1.1.1.1"><mo stretchy="false" id="S3.Ex5.m1.7.7.1.1.1.1.1.1.1.1.1.1.1.2">(</mo><mrow id="S3.Ex5.m1.7.7.1.1.1.1.1.1.1.1.1.1.1.1"><mrow id="S3.Ex5.m1.7.7.1.1.1.1.1.1.1.1.1.1.1.1.3"><mi id="S3.Ex5.m1.7.7.1.1.1.1.1.1.1.1.1.1.1.1.3.2">Q</mi><mo lspace="0em" rspace="0em" id="S3.Ex5.m1.7.7.1.1.1.1.1.1.1.1.1.1.1.1.3.1">​</mo><mrow id="S3.Ex5.m1.7.7.1.1.1.1.1.1.1.1.1.1.1.1.3.3.2"><mo stretchy="false" id="S3.Ex5.m1.7.7.1.1.1.1.1.1.1.1.1.1.1.1.3.3.2.1">(</mo><mi id="S3.Ex5.m1.5.5">s</mi><mo id="S3.Ex5.m1.7.7.1.1.1.1.1.1.1.1.1.1.1.1.3.3.2.2">,</mo><mi id="S3.Ex5.m1.6.6">a</mi><mo stretchy="false" id="S3.Ex5.m1.7.7.1.1.1.1.1.1.1.1.1.1.1.1.3.3.2.3">)</mo></mrow></mrow><mo id="S3.Ex5.m1.7.7.1.1.1.1.1.1.1.1.1.1.1.1.2">−</mo><mrow id="S3.Ex5.m1.7.7.1.1.1.1.1.1.1.1.1.1.1.1.1"><mi id="S3.Ex5.m1.7.7.1.1.1.1.1.1.1.1.1.1.1.1.1.3">γ</mi><mo lspace="0em" rspace="0em" id="S3.Ex5.m1.7.7.1.1.1.1.1.1.1.1.1.1.1.1.1.2">​</mo><msub id="S3.Ex5.m1.7.7.1.1.1.1.1.1.1.1.1.1.1.1.1.4"><mi id="S3.Ex5.m1.7.7.1.1.1.1.1.1.1.1.1.1.1.1.1.4.2">𝔼</mi><mrow id="S3.Ex5.m1.4.4.2"><msup id="S3.Ex5.m1.4.4.2.3"><mi id="S3.Ex5.m1.4.4.2.3.2">s</mi><mo id="S3.Ex5.m1.4.4.2.3.3">′</mo></msup><mo id="S3.Ex5.m1.4.4.2.4">∼</mo><mi class="ltx_font_mathcaligraphic" id="S3.Ex5.m1.4.4.2.5">𝒫</mi><mrow id="S3.Ex5.m1.4.4.2.6"><mo stretchy="false" id="S3.Ex5.m1.4.4.2.6.1">(</mo><mo lspace="0em" rspace="0em" id="S3.Ex5.m1.4.4.2.6.2">⋅</mo><mo fence="false" rspace="0.167em" stretchy="false" id="S3.Ex5.m1.4.4.2.6.3">|</mo><mi id="S3.Ex5.m1.3.3.1.1">s</mi><mo id="S3.Ex5.m1.4.4.2.6.4">,</mo><mi id="S3.Ex5.m1.4.4.2.2">a</mi><mo stretchy="false" id="S3.Ex5.m1.4.4.2.6.5">)</mo></mrow></mrow></msub><mo lspace="0em" rspace="0em" id="S3.Ex5.m1.7.7.1.1.1.1.1.1.1.1.1.1.1.1.1.2a">​</mo><mrow id="S3.Ex5.m1.7.7.1.1.1.1.1.1.1.1.1.1.1.1.1.1.1"><mo id="S3.Ex5.m1.7.7.1.1.1.1.1.1.1.1.1.1.1.1.1.1.1.2">[</mo><mrow id="S3.Ex5.m1.7.7.1.1.1.1.1.1.1.1.1.1.1.1.1.1.1.1"><msup id="S3.Ex5.m1.7.7.1.1.1.1.1.1.1.1.1.1.1.1.1.1.1.1.3"><mi id="S3.Ex5.m1.7.7.1.1.1.1.1.1.1.1.1.1.1.1.1.1.1.1.3.2">V</mi><mi id="S3.Ex5.m1.7.7.1.1.1.1.1.1.1.1.1.1.1.1.1.1.1.1.3.3">θ</mi></msup><mo lspace="0em" rspace="0em" id="S3.Ex5.m1.7.7.1.1.1.1.1.1.1.1.1.1.1.1.1.1.1.1.2">​</mo><mrow id="S3.Ex5.m1.7.7.1.1.1.1.1.1.1.1.1.1.1.1.1.1.1.1.1.1"><mo stretchy="false" id="S3.Ex5.m1.7.7.1.1.1.1.1.1.1.1.1.1.1.1.1.1.1.1.1.1.2">(</mo><msup id="S3.Ex5.m1.7.7.1.1.1.1.1.1.1.1.1.1.1.1.1.1.1.1.1.1.1"><mi id="S3.Ex5.m1.7.7.1.1.1.1.1.1.1.1.1.1.1.1.1.1.1.1.1.1.1.2">s</mi><mo id="S3.Ex5.m1.7.7.1.1.1.1.1.1.1.1.1.1.1.1.1.1.1.1.1.1.1.3">′</mo></msup><mo stretchy="false" id="S3.Ex5.m1.7.7.1.1.1.1.1.1.1.1.1.1.1.1.1.1.1.1.1.1.3">)</mo></mrow></mrow><mo id="S3.Ex5.m1.7.7.1.1.1.1.1.1.1.1.1.1.1.1.1.1.1.3">]</mo></mrow></mrow></mrow><mo stretchy="false" id="S3.Ex5.m1.7.7.1.1.1.1.1.1.1.1.1.1.1.3">)</mo></mrow></mrow><mo id="S3.Ex5.m1.7.7.1.1.1.1.1.1.1.1.3">]</mo></mrow></mrow></mrow></mrow><mo id="S3.Ex5.m1.7.7.1.1.3.4">−</mo><mrow id="S3.Ex5.m1.7.7.1.1.3.3"><mrow id="S3.Ex5.m1.7.7.1.1.2.2.1.1"><mo stretchy="false" id="S3.Ex5.m1.7.7.1.1.2.2.1.1.2">(</mo><mrow id="S3.Ex5.m1.7.7.1.1.2.2.1.1.1"><mn id="S3.Ex5.m1.7.7.1.1.2.2.1.1.1.2">1</mn><mo id="S3.Ex5.m1.7.7.1.1.2.2.1.1.1.1">−</mo><mi id="S3.Ex5.m1.7.7.1.1.2.2.1.1.1.3">γ</mi></mrow><mo stretchy="false" id="S3.Ex5.m1.7.7.1.1.2.2.1.1.3">)</mo></mrow><mo lspace="0em" rspace="0em" id="S3.Ex5.m1.7.7.1.1.3.3.3">​</mo><msub id="S3.Ex5.m1.7.7.1.1.3.3.4"><mi id="S3.Ex5.m1.7.7.1.1.3.3.4.2">𝔼</mi><mrow id="S3.Ex5.m1.7.7.1.1.3.3.4.3"><msub id="S3.Ex5.m1.7.7.1.1.3.3.4.3.2"><mi id="S3.Ex5.m1.7.7.1.1.3.3.4.3.2.2">s</mi><mn id="S3.Ex5.m1.7.7.1.1.3.3.4.3.2.3">0</mn></msub><mo id="S3.Ex5.m1.7.7.1.1.3.3.4.3.1">∼</mo><msub id="S3.Ex5.m1.7.7.1.1.3.3.4.3.3"><mi class="ltx_font_mathcaligraphic" id="S3.Ex5.m1.7.7.1.1.3.3.4.3.3.2">𝒫</mi><mn id="S3.Ex5.m1.7.7.1.1.3.3.4.3.3.3">0</mn></msub></mrow></msub><mo lspace="0em" rspace="0em" id="S3.Ex5.m1.7.7.1.1.3.3.3a">​</mo><mrow id="S3.Ex5.m1.7.7.1.1.3.3.2.1"><mo id="S3.Ex5.m1.7.7.1.1.3.3.2.1.2">[</mo><mrow id="S3.Ex5.m1.7.7.1.1.3.3.2.1.1"><msup id="S3.Ex5.m1.7.7.1.1.3.3.2.1.1.3"><mi id="S3.Ex5.m1.7.7.1.1.3.3.2.1.1.3.2">V</mi><mi id="S3.Ex5.m1.7.7.1.1.3.3.2.1.1.3.3">θ</mi></msup><mo lspace="0em" rspace="0em" id="S3.Ex5.m1.7.7.1.1.3.3.2.1.1.2">​</mo><mrow id="S3.Ex5.m1.7.7.1.1.3.3.2.1.1.1.1"><mo id="S3.Ex5.m1.7.7.1.1.3.3.2.1.1.1.1.2">(</mo><msub id="S3.Ex5.m1.7.7.1.1.3.3.2.1.1.1.1.1"><mi id="S3.Ex5.m1.7.7.1.1.3.3.2.1.1.1.1.1.2">s</mi><mn id="S3.Ex5.m1.7.7.1.1.3.3.2.1.1.1.1.1.3">0</mn></msub><mo id="S3.Ex5.m1.7.7.1.1.3.3.2.1.1.1.1.3">)</mo></mrow></mrow><mo id="S3.Ex5.m1.7.7.1.1.3.3.2.1.3">]</mo></mrow></mrow></mrow></mrow><mo id="S3.Ex5.m1.7.7.1.2">,</mo></mrow><annotation encoding="application/x-tex" id="S3.Ex5.m1.7b">\displaystyle=\sup_{Q}\inf_{\theta}\mathbb{E}_{s,a\sim\rho_{\text{data}}}\left[\phi(Q(s,a)-\gamma\mathbb{E}_{s^{\prime}\sim\mathcal{P}(\cdot|s,a)}\left[V^{\theta}(s^{\prime})\right])\right]-(1-\gamma)\mathbb{E}_{s_{0}\sim\mathcal{P}_{0}}\left[V^{\theta}\left(s_{0}\right)\right],</annotation></semantics></math></td>
<td class="ltx_eqn_cell ltx_eqn_center_padright"></td>
</tr></tbody>
<tbody id="S3.Ex6"><tr class="ltx_equation ltx_eqn_row ltx_align_baseline">
<td class="ltx_eqn_cell ltx_eqn_center_padleft"></td>
<td class="ltx_td ltx_eqn_cell"></td>
<td class="ltx_td ltx_align_left ltx_eqn_cell"><math id="S3.Ex6.m1.10" class="ltx_math_unparsed" alttext="\displaystyle=\sup_{Q}\inf_{\theta}\mathbb{E}_{s,a\sim\rho_{\text{data}}}\left[\phi(Q(s,a)-\gamma\mathbb{E}_{s^{\prime}\sim\mathcal{P}(\cdot|s,a)}\left[V^{\theta}(s^{\prime})\right])\right]-\mathbb{E}_{s,s^{\prime}\sim\rho}\left[V^{\theta}(s)-\gamma V^{\theta}(s^{\prime})\right]," display="inline"><semantics id="S3.Ex6.m1.10a"><mrow id="S3.Ex6.m1.10.10.1"><mrow id="S3.Ex6.m1.10.10.1.1"><mi id="S3.Ex6.m1.10.10.1.1.4"></mi><mo rspace="0.1389em" id="S3.Ex6.m1.10.10.1.1.3">=</mo><mrow id="S3.Ex6.m1.10.10.1.1.2"><mrow id="S3.Ex6.m1.10.10.1.1.1.1"><munder id="S3.Ex6.m1.10.10.1.1.1.1.2"><mo lspace="0.1389em" movablelimits="false" rspace="0.0835em" id="S3.Ex6.m1.10.10.1.1.1.1.2.2">sup</mo><mi id="S3.Ex6.m1.10.10.1.1.1.1.2.3">Q</mi></munder><mrow id="S3.Ex6.m1.10.10.1.1.1.1.1"><munder id="S3.Ex6.m1.10.10.1.1.1.1.1.2"><mo lspace="0.0835em" movablelimits="false" rspace="0.167em" id="S3.Ex6.m1.10.10.1.1.1.1.1.2.2">inf</mo><mi id="S3.Ex6.m1.10.10.1.1.1.1.1.2.3">θ</mi></munder><mrow id="S3.Ex6.m1.10.10.1.1.1.1.1.1"><msub id="S3.Ex6.m1.10.10.1.1.1.1.1.1.3"><mi id="S3.Ex6.m1.10.10.1.1.1.1.1.1.3.2">𝔼</mi><mrow id="S3.Ex6.m1.2.2.2"><mrow id="S3.Ex6.m1.2.2.2.4.2"><mi id="S3.Ex6.m1.1.1.1.1">s</mi><mo id="S3.Ex6.m1.2.2.2.4.2.1">,</mo><mi id="S3.Ex6.m1.2.2.2.2">a</mi></mrow><mo id="S3.Ex6.m1.2.2.2.3">∼</mo><msub id="S3.Ex6.m1.2.2.2.5"><mi id="S3.Ex6.m1.2.2.2.5.2">ρ</mi><mtext class="ltx_mathvariant_italic" id="S3.Ex6.m1.2.2.2.5.3">data</mtext></msub></mrow></msub><mo lspace="0em" rspace="0em" id="S3.Ex6.m1.10.10.1.1.1.1.1.1.2">​</mo><mrow id="S3.Ex6.m1.10.10.1.1.1.1.1.1.1.1"><mo id="S3.Ex6.m1.10.10.1.1.1.1.1.1.1.1.2">[</mo><mrow id="S3.Ex6.m1.10.10.1.1.1.1.1.1.1.1.1"><mi id="S3.Ex6.m1.10.10.1.1.1.1.1.1.1.1.1.3">ϕ</mi><mo lspace="0em" rspace="0em" id="S3.Ex6.m1.10.10.1.1.1.1.1.1.1.1.1.2">​</mo><mrow id="S3.Ex6.m1.10.10.1.1.1.1.1.1.1.1.1.1.1"><mo stretchy="false" id="S3.Ex6.m1.10.10.1.1.1.1.1.1.1.1.1.1.1.2">(</mo><mrow id="S3.Ex6.m1.10.10.1.1.1.1.1.1.1.1.1.1.1.1"><mrow id="S3.Ex6.m1.10.10.1.1.1.1.1.1.1.1.1.1.1.1.3"><mi id="S3.Ex6.m1.10.10.1.1.1.1.1.1.1.1.1.1.1.1.3.2">Q</mi><mo lspace="0em" rspace="0em" id="S3.Ex6.m1.10.10.1.1.1.1.1.1.1.1.1.1.1.1.3.1">​</mo><mrow id="S3.Ex6.m1.10.10.1.1.1.1.1.1.1.1.1.1.1.1.3.3.2"><mo stretchy="false" id="S3.Ex6.m1.10.10.1.1.1.1.1.1.1.1.1.1.1.1.3.3.2.1">(</mo><mi id="S3.Ex6.m1.7.7">s</mi><mo id="S3.Ex6.m1.10.10.1.1.1.1.1.1.1.1.1.1.1.1.3.3.2.2">,</mo><mi id="S3.Ex6.m1.8.8">a</mi><mo stretchy="false" id="S3.Ex6.m1.10.10.1.1.1.1.1.1.1.1.1.1.1.1.3.3.2.3">)</mo></mrow></mrow><mo id="S3.Ex6.m1.10.10.1.1.1.1.1.1.1.1.1.1.1.1.2">−</mo><mrow id="S3.Ex6.m1.10.10.1.1.1.1.1.1.1.1.1.1.1.1.1"><mi id="S3.Ex6.m1.10.10.1.1.1.1.1.1.1.1.1.1.1.1.1.3">γ</mi><mo lspace="0em" rspace="0em" id="S3.Ex6.m1.10.10.1.1.1.1.1.1.1.1.1.1.1.1.1.2">​</mo><msub id="S3.Ex6.m1.10.10.1.1.1.1.1.1.1.1.1.1.1.1.1.4"><mi id="S3.Ex6.m1.10.10.1.1.1.1.1.1.1.1.1.1.1.1.1.4.2">𝔼</mi><mrow id="S3.Ex6.m1.4.4.2"><msup id="S3.Ex6.m1.4.4.2.3"><mi id="S3.Ex6.m1.4.4.2.3.2">s</mi><mo id="S3.Ex6.m1.4.4.2.3.3">′</mo></msup><mo id="S3.Ex6.m1.4.4.2.4">∼</mo><mi class="ltx_font_mathcaligraphic" id="S3.Ex6.m1.4.4.2.5">𝒫</mi><mrow id="S3.Ex6.m1.4.4.2.6"><mo stretchy="false" id="S3.Ex6.m1.4.4.2.6.1">(</mo><mo lspace="0em" rspace="0em" id="S3.Ex6.m1.4.4.2.6.2">⋅</mo><mo fence="false" rspace="0.167em" stretchy="false" id="S3.Ex6.m1.4.4.2.6.3">|</mo><mi id="S3.Ex6.m1.3.3.1.1">s</mi><mo id="S3.Ex6.m1.4.4.2.6.4">,</mo><mi id="S3.Ex6.m1.4.4.2.2">a</mi><mo stretchy="false" id="S3.Ex6.m1.4.4.2.6.5">)</mo></mrow></mrow></msub><mo lspace="0em" rspace="0em" id="S3.Ex6.m1.10.10.1.1.1.1.1.1.1.1.1.1.1.1.1.2a">​</mo><mrow id="S3.Ex6.m1.10.10.1.1.1.1.1.1.1.1.1.1.1.1.1.1.1"><mo id="S3.Ex6.m1.10.10.1.1.1.1.1.1.1.1.1.1.1.1.1.1.1.2">[</mo><mrow id="S3.Ex6.m1.10.10.1.1.1.1.1.1.1.1.1.1.1.1.1.1.1.1"><msup id="S3.Ex6.m1.10.10.1.1.1.1.1.1.1.1.1.1.1.1.1.1.1.1.3"><mi id="S3.Ex6.m1.10.10.1.1.1.1.1.1.1.1.1.1.1.1.1.1.1.1.3.2">V</mi><mi id="S3.Ex6.m1.10.10.1.1.1.1.1.1.1.1.1.1.1.1.1.1.1.1.3.3">θ</mi></msup><mo lspace="0em" rspace="0em" id="S3.Ex6.m1.10.10.1.1.1.1.1.1.1.1.1.1.1.1.1.1.1.1.2">​</mo><mrow id="S3.Ex6.m1.10.10.1.1.1.1.1.1.1.1.1.1.1.1.1.1.1.1.1.1"><mo stretchy="false" id="S3.Ex6.m1.10.10.1.1.1.1.1.1.1.1.1.1.1.1.1.1.1.1.1.1.2">(</mo><msup id="S3.Ex6.m1.10.10.1.1.1.1.1.1.1.1.1.1.1.1.1.1.1.1.1.1.1"><mi id="S3.Ex6.m1.10.10.1.1.1.1.1.1.1.1.1.1.1.1.1.1.1.1.1.1.1.2">s</mi><mo id="S3.Ex6.m1.10.10.1.1.1.1.1.1.1.1.1.1.1.1.1.1.1.1.1.1.1.3">′</mo></msup><mo stretchy="false" id="S3.Ex6.m1.10.10.1.1.1.1.1.1.1.1.1.1.1.1.1.1.1.1.1.1.3">)</mo></mrow></mrow><mo id="S3.Ex6.m1.10.10.1.1.1.1.1.1.1.1.1.1.1.1.1.1.1.3">]</mo></mrow></mrow></mrow><mo stretchy="false" id="S3.Ex6.m1.10.10.1.1.1.1.1.1.1.1.1.1.1.3">)</mo></mrow></mrow><mo id="S3.Ex6.m1.10.10.1.1.1.1.1.1.1.1.3">]</mo></mrow></mrow></mrow></mrow><mo id="S3.Ex6.m1.10.10.1.1.2.3">−</mo><mrow id="S3.Ex6.m1.10.10.1.1.2.2"><msub id="S3.Ex6.m1.10.10.1.1.2.2.3"><mi id="S3.Ex6.m1.10.10.1.1.2.2.3.2">𝔼</mi><mrow id="S3.Ex6.m1.6.6.2"><mrow id="S3.Ex6.m1.6.6.2.2.1"><mi id="S3.Ex6.m1.5.5.1.1">s</mi><mo id="S3.Ex6.m1.6.6.2.2.1.2">,</mo><msup id="S3.Ex6.m1.6.6.2.2.1.1"><mi id="S3.Ex6.m1.6.6.2.2.1.1.2">s</mi><mo id="S3.Ex6.m1.6.6.2.2.1.1.3">′</mo></msup></mrow><mo id="S3.Ex6.m1.6.6.2.3">∼</mo><mi id="S3.Ex6.m1.6.6.2.4">ρ</mi></mrow></msub><mo lspace="0em" rspace="0em" id="S3.Ex6.m1.10.10.1.1.2.2.2">​</mo><mrow id="S3.Ex6.m1.10.10.1.1.2.2.1.1"><mo id="S3.Ex6.m1.10.10.1.1.2.2.1.1.2">[</mo><mrow id="S3.Ex6.m1.10.10.1.1.2.2.1.1.1"><mrow id="S3.Ex6.m1.10.10.1.1.2.2.1.1.1.3"><msup id="S3.Ex6.m1.10.10.1.1.2.2.1.1.1.3.2"><mi id="S3.Ex6.m1.10.10.1.1.2.2.1.1.1.3.2.2">V</mi><mi id="S3.Ex6.m1.10.10.1.1.2.2.1.1.1.3.2.3">θ</mi></msup><mo lspace="0em" rspace="0em" id="S3.Ex6.m1.10.10.1.1.2.2.1.1.1.3.1">​</mo><mrow id="S3.Ex6.m1.10.10.1.1.2.2.1.1.1.3.3.2"><mo stretchy="false" id="S3.Ex6.m1.10.10.1.1.2.2.1.1.1.3.3.2.1">(</mo><mi id="S3.Ex6.m1.9.9">s</mi><mo stretchy="false" id="S3.Ex6.m1.10.10.1.1.2.2.1.1.1.3.3.2.2">)</mo></mrow></mrow><mo id="S3.Ex6.m1.10.10.1.1.2.2.1.1.1.2">−</mo><mrow id="S3.Ex6.m1.10.10.1.1.2.2.1.1.1.1"><mi id="S3.Ex6.m1.10.10.1.1.2.2.1.1.1.1.3">γ</mi><mo lspace="0em" rspace="0em" id="S3.Ex6.m1.10.10.1.1.2.2.1.1.1.1.2">​</mo><msup id="S3.Ex6.m1.10.10.1.1.2.2.1.1.1.1.4"><mi id="S3.Ex6.m1.10.10.1.1.2.2.1.1.1.1.4.2">V</mi><mi id="S3.Ex6.m1.10.10.1.1.2.2.1.1.1.1.4.3">θ</mi></msup><mo lspace="0em" rspace="0em" id="S3.Ex6.m1.10.10.1.1.2.2.1.1.1.1.2a">​</mo><mrow id="S3.Ex6.m1.10.10.1.1.2.2.1.1.1.1.1.1"><mo stretchy="false" id="S3.Ex6.m1.10.10.1.1.2.2.1.1.1.1.1.1.2">(</mo><msup id="S3.Ex6.m1.10.10.1.1.2.2.1.1.1.1.1.1.1"><mi id="S3.Ex6.m1.10.10.1.1.2.2.1.1.1.1.1.1.1.2">s</mi><mo id="S3.Ex6.m1.10.10.1.1.2.2.1.1.1.1.1.1.1.3">′</mo></msup><mo stretchy="false" id="S3.Ex6.m1.10.10.1.1.2.2.1.1.1.1.1.1.3">)</mo></mrow></mrow></mrow><mo id="S3.Ex6.m1.10.10.1.1.2.2.1.1.3">]</mo></mrow></mrow></mrow></mrow><mo id="S3.Ex6.m1.10.10.1.2">,</mo></mrow><annotation encoding="application/x-tex" id="S3.Ex6.m1.10b">\displaystyle=\sup_{Q}\inf_{\theta}\mathbb{E}_{s,a\sim\rho_{\text{data}}}\left[\phi(Q(s,a)-\gamma\mathbb{E}_{s^{\prime}\sim\mathcal{P}(\cdot|s,a)}\left[V^{\theta}(s^{\prime})\right])\right]-\mathbb{E}_{s,s^{\prime}\sim\rho}\left[V^{\theta}(s)-\gamma V^{\theta}(s^{\prime})\right],</annotation></semantics></math></td>
<td class="ltx_eqn_cell ltx_eqn_center_padright"></td>
</tr></tbody>
<tbody id="S3.Ex7"><tr class="ltx_equation ltx_eqn_row ltx_align_baseline">
<td class="ltx_eqn_cell ltx_eqn_center_padleft"></td>
<td class="ltx_td ltx_eqn_cell"></td>
<td class="ltx_td ltx_align_left ltx_eqn_cell"><math id="S3.Ex7.m1.11" class="ltx_math_unparsed" alttext="\displaystyle=\sup_{Q}\mathcal{J}(Q)=\sup_{Q}\mathbb{E}_{s,a\sim\rho_{\text{data}}}\left[\phi(Q(s,a)-\gamma\mathbb{E}_{s^{\prime}\sim\mathcal{P}(\cdot|s,a)}\left[V(s^{\prime})\right])\right]-\mathbb{E}_{s,s^{\prime}\sim\rho}\left[V(s)-\gamma V(s^{\prime})\right]," display="inline"><semantics id="S3.Ex7.m1.11a"><mrow id="S3.Ex7.m1.11.11.1"><mrow id="S3.Ex7.m1.11.11.1.1"><mi id="S3.Ex7.m1.11.11.1.1.4"></mi><mo rspace="0.1389em" id="S3.Ex7.m1.11.11.1.1.5">=</mo><mrow id="S3.Ex7.m1.11.11.1.1.6"><munder id="S3.Ex7.m1.11.11.1.1.6.1"><mo lspace="0.1389em" movablelimits="false" rspace="0.167em" id="S3.Ex7.m1.11.11.1.1.6.1.2">sup</mo><mi id="S3.Ex7.m1.11.11.1.1.6.1.3">Q</mi></munder><mrow id="S3.Ex7.m1.11.11.1.1.6.2"><mi class="ltx_font_mathcaligraphic" id="S3.Ex7.m1.11.11.1.1.6.2.2">𝒥</mi><mo lspace="0em" rspace="0em" id="S3.Ex7.m1.11.11.1.1.6.2.1">​</mo><mrow id="S3.Ex7.m1.11.11.1.1.6.2.3.2"><mo stretchy="false" id="S3.Ex7.m1.11.11.1.1.6.2.3.2.1">(</mo><mi id="S3.Ex7.m1.7.7">Q</mi><mo stretchy="false" id="S3.Ex7.m1.11.11.1.1.6.2.3.2.2">)</mo></mrow></mrow></mrow><mo rspace="0.1389em" id="S3.Ex7.m1.11.11.1.1.7">=</mo><mrow id="S3.Ex7.m1.11.11.1.1.2"><mrow id="S3.Ex7.m1.11.11.1.1.1.1"><munder id="S3.Ex7.m1.11.11.1.1.1.1.2"><mo lspace="0.1389em" movablelimits="false" rspace="0.167em" id="S3.Ex7.m1.11.11.1.1.1.1.2.2">sup</mo><mi id="S3.Ex7.m1.11.11.1.1.1.1.2.3">Q</mi></munder><mrow id="S3.Ex7.m1.11.11.1.1.1.1.1"><msub id="S3.Ex7.m1.11.11.1.1.1.1.1.3"><mi id="S3.Ex7.m1.11.11.1.1.1.1.1.3.2">𝔼</mi><mrow id="S3.Ex7.m1.2.2.2"><mrow id="S3.Ex7.m1.2.2.2.4.2"><mi id="S3.Ex7.m1.1.1.1.1">s</mi><mo id="S3.Ex7.m1.2.2.2.4.2.1">,</mo><mi id="S3.Ex7.m1.2.2.2.2">a</mi></mrow><mo id="S3.Ex7.m1.2.2.2.3">∼</mo><msub id="S3.Ex7.m1.2.2.2.5"><mi id="S3.Ex7.m1.2.2.2.5.2">ρ</mi><mtext class="ltx_mathvariant_italic" id="S3.Ex7.m1.2.2.2.5.3">data</mtext></msub></mrow></msub><mo lspace="0em" rspace="0em" id="S3.Ex7.m1.11.11.1.1.1.1.1.2">​</mo><mrow id="S3.Ex7.m1.11.11.1.1.1.1.1.1.1"><mo id="S3.Ex7.m1.11.11.1.1.1.1.1.1.1.2">[</mo><mrow id="S3.Ex7.m1.11.11.1.1.1.1.1.1.1.1"><mi id="S3.Ex7.m1.11.11.1.1.1.1.1.1.1.1.3">ϕ</mi><mo lspace="0em" rspace="0em" id="S3.Ex7.m1.11.11.1.1.1.1.1.1.1.1.2">​</mo><mrow id="S3.Ex7.m1.11.11.1.1.1.1.1.1.1.1.1.1"><mo stretchy="false" id="S3.Ex7.m1.11.11.1.1.1.1.1.1.1.1.1.1.2">(</mo><mrow id="S3.Ex7.m1.11.11.1.1.1.1.1.1.1.1.1.1.1"><mrow id="S3.Ex7.m1.11.11.1.1.1.1.1.1.1.1.1.1.1.3"><mi id="S3.Ex7.m1.11.11.1.1.1.1.1.1.1.1.1.1.1.3.2">Q</mi><mo lspace="0em" rspace="0em" id="S3.Ex7.m1.11.11.1.1.1.1.1.1.1.1.1.1.1.3.1">​</mo><mrow id="S3.Ex7.m1.11.11.1.1.1.1.1.1.1.1.1.1.1.3.3.2"><mo stretchy="false" id="S3.Ex7.m1.11.11.1.1.1.1.1.1.1.1.1.1.1.3.3.2.1">(</mo><mi id="S3.Ex7.m1.8.8">s</mi><mo id="S3.Ex7.m1.11.11.1.1.1.1.1.1.1.1.1.1.1.3.3.2.2">,</mo><mi id="S3.Ex7.m1.9.9">a</mi><mo stretchy="false" id="S3.Ex7.m1.11.11.1.1.1.1.1.1.1.1.1.1.1.3.3.2.3">)</mo></mrow></mrow><mo id="S3.Ex7.m1.11.11.1.1.1.1.1.1.1.1.1.1.1.2">−</mo><mrow id="S3.Ex7.m1.11.11.1.1.1.1.1.1.1.1.1.1.1.1"><mi id="S3.Ex7.m1.11.11.1.1.1.1.1.1.1.1.1.1.1.1.3">γ</mi><mo lspace="0em" rspace="0em" id="S3.Ex7.m1.11.11.1.1.1.1.1.1.1.1.1.1.1.1.2">​</mo><msub id="S3.Ex7.m1.11.11.1.1.1.1.1.1.1.1.1.1.1.1.4"><mi id="S3.Ex7.m1.11.11.1.1.1.1.1.1.1.1.1.1.1.1.4.2">𝔼</mi><mrow id="S3.Ex7.m1.4.4.2"><msup id="S3.Ex7.m1.4.4.2.3"><mi id="S3.Ex7.m1.4.4.2.3.2">s</mi><mo id="S3.Ex7.m1.4.4.2.3.3">′</mo></msup><mo id="S3.Ex7.m1.4.4.2.4">∼</mo><mi class="ltx_font_mathcaligraphic" id="S3.Ex7.m1.4.4.2.5">𝒫</mi><mrow id="S3.Ex7.m1.4.4.2.6"><mo stretchy="false" id="S3.Ex7.m1.4.4.2.6.1">(</mo><mo lspace="0em" rspace="0em" id="S3.Ex7.m1.4.4.2.6.2">⋅</mo><mo fence="false" rspace="0.167em" stretchy="false" id="S3.Ex7.m1.4.4.2.6.3">|</mo><mi id="S3.Ex7.m1.3.3.1.1">s</mi><mo id="S3.Ex7.m1.4.4.2.6.4">,</mo><mi id="S3.Ex7.m1.4.4.2.2">a</mi><mo stretchy="false" id="S3.Ex7.m1.4.4.2.6.5">)</mo></mrow></mrow></msub><mo lspace="0em" rspace="0em" id="S3.Ex7.m1.11.11.1.1.1.1.1.1.1.1.1.1.1.1.2a">​</mo><mrow id="S3.Ex7.m1.11.11.1.1.1.1.1.1.1.1.1.1.1.1.1.1"><mo id="S3.Ex7.m1.11.11.1.1.1.1.1.1.1.1.1.1.1.1.1.1.2">[</mo><mrow id="S3.Ex7.m1.11.11.1.1.1.1.1.1.1.1.1.1.1.1.1.1.1"><mi id="S3.Ex7.m1.11.11.1.1.1.1.1.1.1.1.1.1.1.1.1.1.1.3">V</mi><mo lspace="0em" rspace="0em" id="S3.Ex7.m1.11.11.1.1.1.1.1.1.1.1.1.1.1.1.1.1.1.2">​</mo><mrow id="S3.Ex7.m1.11.11.1.1.1.1.1.1.1.1.1.1.1.1.1.1.1.1.1"><mo stretchy="false" id="S3.Ex7.m1.11.11.1.1.1.1.1.1.1.1.1.1.1.1.1.1.1.1.1.2">(</mo><msup id="S3.Ex7.m1.11.11.1.1.1.1.1.1.1.1.1.1.1.1.1.1.1.1.1.1"><mi id="S3.Ex7.m1.11.11.1.1.1.1.1.1.1.1.1.1.1.1.1.1.1.1.1.1.2">s</mi><mo id="S3.Ex7.m1.11.11.1.1.1.1.1.1.1.1.1.1.1.1.1.1.1.1.1.1.3">′</mo></msup><mo stretchy="false" id="S3.Ex7.m1.11.11.1.1.1.1.1.1.1.1.1.1.1.1.1.1.1.1.1.3">)</mo></mrow></mrow><mo id="S3.Ex7.m1.11.11.1.1.1.1.1.1.1.1.1.1.1.1.1.1.3">]</mo></mrow></mrow></mrow><mo stretchy="false" id="S3.Ex7.m1.11.11.1.1.1.1.1.1.1.1.1.1.3">)</mo></mrow></mrow><mo id="S3.Ex7.m1.11.11.1.1.1.1.1.1.1.3">]</mo></mrow></mrow></mrow><mo id="S3.Ex7.m1.11.11.1.1.2.3">−</mo><mrow id="S3.Ex7.m1.11.11.1.1.2.2"><msub id="S3.Ex7.m1.11.11.1.1.2.2.3"><mi id="S3.Ex7.m1.11.11.1.1.2.2.3.2">𝔼</mi><mrow id="S3.Ex7.m1.6.6.2"><mrow id="S3.Ex7.m1.6.6.2.2.1"><mi id="S3.Ex7.m1.5.5.1.1">s</mi><mo id="S3.Ex7.m1.6.6.2.2.1.2">,</mo><msup id="S3.Ex7.m1.6.6.2.2.1.1"><mi id="S3.Ex7.m1.6.6.2.2.1.1.2">s</mi><mo id="S3.Ex7.m1.6.6.2.2.1.1.3">′</mo></msup></mrow><mo id="S3.Ex7.m1.6.6.2.3">∼</mo><mi id="S3.Ex7.m1.6.6.2.4">ρ</mi></mrow></msub><mo lspace="0em" rspace="0em" id="S3.Ex7.m1.11.11.1.1.2.2.2">​</mo><mrow id="S3.Ex7.m1.11.11.1.1.2.2.1.1"><mo id="S3.Ex7.m1.11.11.1.1.2.2.1.1.2">[</mo><mrow id="S3.Ex7.m1.11.11.1.1.2.2.1.1.1"><mrow id="S3.Ex7.m1.11.11.1.1.2.2.1.1.1.3"><mi id="S3.Ex7.m1.11.11.1.1.2.2.1.1.1.3.2">V</mi><mo lspace="0em" rspace="0em" id="S3.Ex7.m1.11.11.1.1.2.2.1.1.1.3.1">​</mo><mrow id="S3.Ex7.m1.11.11.1.1.2.2.1.1.1.3.3.2"><mo stretchy="false" id="S3.Ex7.m1.11.11.1.1.2.2.1.1.1.3.3.2.1">(</mo><mi id="S3.Ex7.m1.10.10">s</mi><mo stretchy="false" id="S3.Ex7.m1.11.11.1.1.2.2.1.1.1.3.3.2.2">)</mo></mrow></mrow><mo id="S3.Ex7.m1.11.11.1.1.2.2.1.1.1.2">−</mo><mrow id="S3.Ex7.m1.11.11.1.1.2.2.1.1.1.1"><mi id="S3.Ex7.m1.11.11.1.1.2.2.1.1.1.1.3">γ</mi><mo lspace="0em" rspace="0em" id="S3.Ex7.m1.11.11.1.1.2.2.1.1.1.1.2">​</mo><mi id="S3.Ex7.m1.11.11.1.1.2.2.1.1.1.1.4">V</mi><mo lspace="0em" rspace="0em" id="S3.Ex7.m1.11.11.1.1.2.2.1.1.1.1.2a">​</mo><mrow id="S3.Ex7.m1.11.11.1.1.2.2.1.1.1.1.1.1"><mo stretchy="false" id="S3.Ex7.m1.11.11.1.1.2.2.1.1.1.1.1.1.2">(</mo><msup id="S3.Ex7.m1.11.11.1.1.2.2.1.1.1.1.1.1.1"><mi id="S3.Ex7.m1.11.11.1.1.2.2.1.1.1.1.1.1.1.2">s</mi><mo id="S3.Ex7.m1.11.11.1.1.2.2.1.1.1.1.1.1.1.3">′</mo></msup><mo stretchy="false" id="S3.Ex7.m1.11.11.1.1.2.2.1.1.1.1.1.1.3">)</mo></mrow></mrow></mrow><mo id="S3.Ex7.m1.11.11.1.1.2.2.1.1.3">]</mo></mrow></mrow></mrow></mrow><mo id="S3.Ex7.m1.11.11.1.2">,</mo></mrow><annotation encoding="application/x-tex" id="S3.Ex7.m1.11b">\displaystyle=\sup_{Q}\mathcal{J}(Q)=\sup_{Q}\mathbb{E}_{s,a\sim\rho_{\text{data}}}\left[\phi(Q(s,a)-\gamma\mathbb{E}_{s^{\prime}\sim\mathcal{P}(\cdot|s,a)}\left[V(s^{\prime})\right])\right]-\mathbb{E}_{s,s^{\prime}\sim\rho}\left[V(s)-\gamma V(s^{\prime})\right],</annotation></semantics></math></td>
<td class="ltx_eqn_cell ltx_eqn_center_padright"></td>
</tr></tbody>
</table>
<p id="S3.Thmtheorem1.p1.8" class="ltx_p"><span id="S3.Thmtheorem1.p1.8.8" class="ltx_text ltx_font_italic">where <math id="S3.Thmtheorem1.p1.1.1.m1.1" class="ltx_Math" alttext="\phi" display="inline"><semantics id="S3.Thmtheorem1.p1.1.1.m1.1a"><mi id="S3.Thmtheorem1.p1.1.1.m1.1.1" xref="S3.Thmtheorem1.p1.1.1.m1.1.1.cmml">ϕ</mi><annotation-xml encoding="MathML-Content" id="S3.Thmtheorem1.p1.1.1.m1.1b"><ci id="S3.Thmtheorem1.p1.1.1.m1.1.1.cmml" xref="S3.Thmtheorem1.p1.1.1.m1.1.1">italic-ϕ</ci></annotation-xml><annotation encoding="application/x-tex" id="S3.Thmtheorem1.p1.1.1.m1.1c">\phi</annotation></semantics></math> is a concave function and <math id="S3.Thmtheorem1.p1.2.2.m2.2" class="ltx_Math" alttext="\mathbb{E}_{s,s^{\prime}\sim\rho}" display="inline"><semantics id="S3.Thmtheorem1.p1.2.2.m2.2a"><msub id="S3.Thmtheorem1.p1.2.2.m2.2.3" xref="S3.Thmtheorem1.p1.2.2.m2.2.3.cmml"><mi id="S3.Thmtheorem1.p1.2.2.m2.2.3.2" xref="S3.Thmtheorem1.p1.2.2.m2.2.3.2.cmml">𝔼</mi><mrow id="S3.Thmtheorem1.p1.2.2.m2.2.2.2" xref="S3.Thmtheorem1.p1.2.2.m2.2.2.2.cmml"><mrow id="S3.Thmtheorem1.p1.2.2.m2.2.2.2.2.1" xref="S3.Thmtheorem1.p1.2.2.m2.2.2.2.2.2.cmml"><mi id="S3.Thmtheorem1.p1.2.2.m2.1.1.1.1" xref="S3.Thmtheorem1.p1.2.2.m2.1.1.1.1.cmml">s</mi><mo id="S3.Thmtheorem1.p1.2.2.m2.2.2.2.2.1.2" xref="S3.Thmtheorem1.p1.2.2.m2.2.2.2.2.2.cmml">,</mo><msup id="S3.Thmtheorem1.p1.2.2.m2.2.2.2.2.1.1" xref="S3.Thmtheorem1.p1.2.2.m2.2.2.2.2.1.1.cmml"><mi id="S3.Thmtheorem1.p1.2.2.m2.2.2.2.2.1.1.2" xref="S3.Thmtheorem1.p1.2.2.m2.2.2.2.2.1.1.2.cmml">s</mi><mo id="S3.Thmtheorem1.p1.2.2.m2.2.2.2.2.1.1.3" xref="S3.Thmtheorem1.p1.2.2.m2.2.2.2.2.1.1.3.cmml">′</mo></msup></mrow><mo id="S3.Thmtheorem1.p1.2.2.m2.2.2.2.3" xref="S3.Thmtheorem1.p1.2.2.m2.2.2.2.3.cmml">∼</mo><mi id="S3.Thmtheorem1.p1.2.2.m2.2.2.2.4" xref="S3.Thmtheorem1.p1.2.2.m2.2.2.2.4.cmml">ρ</mi></mrow></msub><annotation-xml encoding="MathML-Content" id="S3.Thmtheorem1.p1.2.2.m2.2b"><apply id="S3.Thmtheorem1.p1.2.2.m2.2.3.cmml" xref="S3.Thmtheorem1.p1.2.2.m2.2.3"><csymbol cd="ambiguous" id="S3.Thmtheorem1.p1.2.2.m2.2.3.1.cmml" xref="S3.Thmtheorem1.p1.2.2.m2.2.3">subscript</csymbol><ci id="S3.Thmtheorem1.p1.2.2.m2.2.3.2.cmml" xref="S3.Thmtheorem1.p1.2.2.m2.2.3.2">𝔼</ci><apply id="S3.Thmtheorem1.p1.2.2.m2.2.2.2.cmml" xref="S3.Thmtheorem1.p1.2.2.m2.2.2.2"><csymbol cd="latexml" id="S3.Thmtheorem1.p1.2.2.m2.2.2.2.3.cmml" xref="S3.Thmtheorem1.p1.2.2.m2.2.2.2.3">similar-to</csymbol><list id="S3.Thmtheorem1.p1.2.2.m2.2.2.2.2.2.cmml" xref="S3.Thmtheorem1.p1.2.2.m2.2.2.2.2.1"><ci id="S3.Thmtheorem1.p1.2.2.m2.1.1.1.1.cmml" xref="S3.Thmtheorem1.p1.2.2.m2.1.1.1.1">𝑠</ci><apply id="S3.Thmtheorem1.p1.2.2.m2.2.2.2.2.1.1.cmml" xref="S3.Thmtheorem1.p1.2.2.m2.2.2.2.2.1.1"><csymbol cd="ambiguous" id="S3.Thmtheorem1.p1.2.2.m2.2.2.2.2.1.1.1.cmml" xref="S3.Thmtheorem1.p1.2.2.m2.2.2.2.2.1.1">superscript</csymbol><ci id="S3.Thmtheorem1.p1.2.2.m2.2.2.2.2.1.1.2.cmml" xref="S3.Thmtheorem1.p1.2.2.m2.2.2.2.2.1.1.2">𝑠</ci><ci id="S3.Thmtheorem1.p1.2.2.m2.2.2.2.2.1.1.3.cmml" xref="S3.Thmtheorem1.p1.2.2.m2.2.2.2.2.1.1.3">′</ci></apply></list><ci id="S3.Thmtheorem1.p1.2.2.m2.2.2.2.4.cmml" xref="S3.Thmtheorem1.p1.2.2.m2.2.2.2.4">𝜌</ci></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="S3.Thmtheorem1.p1.2.2.m2.2c">\mathbb{E}_{s,s^{\prime}\sim\rho}</annotation></semantics></math> denotes an expectation over sampled states <math id="S3.Thmtheorem1.p1.3.3.m3.1" class="ltx_Math" alttext="s" display="inline"><semantics id="S3.Thmtheorem1.p1.3.3.m3.1a"><mi id="S3.Thmtheorem1.p1.3.3.m3.1.1" xref="S3.Thmtheorem1.p1.3.3.m3.1.1.cmml">s</mi><annotation-xml encoding="MathML-Content" id="S3.Thmtheorem1.p1.3.3.m3.1b"><ci id="S3.Thmtheorem1.p1.3.3.m3.1.1.cmml" xref="S3.Thmtheorem1.p1.3.3.m3.1.1">𝑠</ci></annotation-xml><annotation encoding="application/x-tex" id="S3.Thmtheorem1.p1.3.3.m3.1c">s</annotation></semantics></math> and successor states <math id="S3.Thmtheorem1.p1.4.4.m4.1" class="ltx_Math" alttext="s^{\prime}" display="inline"><semantics id="S3.Thmtheorem1.p1.4.4.m4.1a"><msup id="S3.Thmtheorem1.p1.4.4.m4.1.1" xref="S3.Thmtheorem1.p1.4.4.m4.1.1.cmml"><mi id="S3.Thmtheorem1.p1.4.4.m4.1.1.2" xref="S3.Thmtheorem1.p1.4.4.m4.1.1.2.cmml">s</mi><mo id="S3.Thmtheorem1.p1.4.4.m4.1.1.3" xref="S3.Thmtheorem1.p1.4.4.m4.1.1.3.cmml">′</mo></msup><annotation-xml encoding="MathML-Content" id="S3.Thmtheorem1.p1.4.4.m4.1b"><apply id="S3.Thmtheorem1.p1.4.4.m4.1.1.cmml" xref="S3.Thmtheorem1.p1.4.4.m4.1.1"><csymbol cd="ambiguous" id="S3.Thmtheorem1.p1.4.4.m4.1.1.1.cmml" xref="S3.Thmtheorem1.p1.4.4.m4.1.1">superscript</csymbol><ci id="S3.Thmtheorem1.p1.4.4.m4.1.1.2.cmml" xref="S3.Thmtheorem1.p1.4.4.m4.1.1.2">𝑠</ci><ci id="S3.Thmtheorem1.p1.4.4.m4.1.1.3.cmml" xref="S3.Thmtheorem1.p1.4.4.m4.1.1.3">′</ci></apply></annotation-xml><annotation encoding="application/x-tex" id="S3.Thmtheorem1.p1.4.4.m4.1c">s^{\prime}</annotation></semantics></math>, for any occupancy <math id="S3.Thmtheorem1.p1.5.5.m5.1" class="ltx_Math" alttext="\rho" display="inline"><semantics id="S3.Thmtheorem1.p1.5.5.m5.1a"><mi id="S3.Thmtheorem1.p1.5.5.m5.1.1" xref="S3.Thmtheorem1.p1.5.5.m5.1.1.cmml">ρ</mi><annotation-xml encoding="MathML-Content" id="S3.Thmtheorem1.p1.5.5.m5.1b"><ci id="S3.Thmtheorem1.p1.5.5.m5.1.1.cmml" xref="S3.Thmtheorem1.p1.5.5.m5.1.1">𝜌</ci></annotation-xml><annotation encoding="application/x-tex" id="S3.Thmtheorem1.p1.5.5.m5.1c">\rho</annotation></semantics></math>. <math id="S3.Thmtheorem1.p1.6.6.m6.1" class="ltx_Math" alttext="V(s)" display="inline"><semantics id="S3.Thmtheorem1.p1.6.6.m6.1a"><mrow id="S3.Thmtheorem1.p1.6.6.m6.1.2" xref="S3.Thmtheorem1.p1.6.6.m6.1.2.cmml"><mi id="S3.Thmtheorem1.p1.6.6.m6.1.2.2" xref="S3.Thmtheorem1.p1.6.6.m6.1.2.2.cmml">V</mi><mo lspace="0em" rspace="0em" id="S3.Thmtheorem1.p1.6.6.m6.1.2.1" xref="S3.Thmtheorem1.p1.6.6.m6.1.2.1.cmml">​</mo><mrow id="S3.Thmtheorem1.p1.6.6.m6.1.2.3.2" xref="S3.Thmtheorem1.p1.6.6.m6.1.2.cmml"><mo stretchy="false" id="S3.Thmtheorem1.p1.6.6.m6.1.2.3.2.1" xref="S3.Thmtheorem1.p1.6.6.m6.1.2.cmml">(</mo><mi id="S3.Thmtheorem1.p1.6.6.m6.1.1" xref="S3.Thmtheorem1.p1.6.6.m6.1.1.cmml">s</mi><mo stretchy="false" id="S3.Thmtheorem1.p1.6.6.m6.1.2.3.2.2" xref="S3.Thmtheorem1.p1.6.6.m6.1.2.cmml">)</mo></mrow></mrow><annotation-xml encoding="MathML-Content" id="S3.Thmtheorem1.p1.6.6.m6.1b"><apply id="S3.Thmtheorem1.p1.6.6.m6.1.2.cmml" xref="S3.Thmtheorem1.p1.6.6.m6.1.2"><times id="S3.Thmtheorem1.p1.6.6.m6.1.2.1.cmml" xref="S3.Thmtheorem1.p1.6.6.m6.1.2.1"></times><ci id="S3.Thmtheorem1.p1.6.6.m6.1.2.2.cmml" xref="S3.Thmtheorem1.p1.6.6.m6.1.2.2">𝑉</ci><ci id="S3.Thmtheorem1.p1.6.6.m6.1.1.cmml" xref="S3.Thmtheorem1.p1.6.6.m6.1.1">𝑠</ci></apply></annotation-xml><annotation encoding="application/x-tex" id="S3.Thmtheorem1.p1.6.6.m6.1c">V(s)</annotation></semantics></math> (without <math id="S3.Thmtheorem1.p1.7.7.m7.1" class="ltx_Math" alttext="\theta" display="inline"><semantics id="S3.Thmtheorem1.p1.7.7.m7.1a"><mi id="S3.Thmtheorem1.p1.7.7.m7.1.1" xref="S3.Thmtheorem1.p1.7.7.m7.1.1.cmml">θ</mi><annotation-xml encoding="MathML-Content" id="S3.Thmtheorem1.p1.7.7.m7.1b"><ci id="S3.Thmtheorem1.p1.7.7.m7.1.1.cmml" xref="S3.Thmtheorem1.p1.7.7.m7.1.1">𝜃</ci></annotation-xml><annotation encoding="application/x-tex" id="S3.Thmtheorem1.p1.7.7.m7.1c">\theta</annotation></semantics></math>) is given by <math id="S3.Thmtheorem1.p1.8.8.m8.3" class="ltx_Math" alttext="V(s)=\log\sum_{a^{\prime}\in\mathcal{A}}\exp Q(s,a^{\prime})" display="inline"><semantics id="S3.Thmtheorem1.p1.8.8.m8.3a"><mrow id="S3.Thmtheorem1.p1.8.8.m8.3.3" xref="S3.Thmtheorem1.p1.8.8.m8.3.3.cmml"><mrow id="S3.Thmtheorem1.p1.8.8.m8.3.3.3" xref="S3.Thmtheorem1.p1.8.8.m8.3.3.3.cmml"><mi id="S3.Thmtheorem1.p1.8.8.m8.3.3.3.2" xref="S3.Thmtheorem1.p1.8.8.m8.3.3.3.2.cmml">V</mi><mo lspace="0em" rspace="0em" id="S3.Thmtheorem1.p1.8.8.m8.3.3.3.1" xref="S3.Thmtheorem1.p1.8.8.m8.3.3.3.1.cmml">​</mo><mrow id="S3.Thmtheorem1.p1.8.8.m8.3.3.3.3.2" xref="S3.Thmtheorem1.p1.8.8.m8.3.3.3.cmml"><mo stretchy="false" id="S3.Thmtheorem1.p1.8.8.m8.3.3.3.3.2.1" xref="S3.Thmtheorem1.p1.8.8.m8.3.3.3.cmml">(</mo><mi id="S3.Thmtheorem1.p1.8.8.m8.1.1" xref="S3.Thmtheorem1.p1.8.8.m8.1.1.cmml">s</mi><mo stretchy="false" id="S3.Thmtheorem1.p1.8.8.m8.3.3.3.3.2.2" xref="S3.Thmtheorem1.p1.8.8.m8.3.3.3.cmml">)</mo></mrow></mrow><mo id="S3.Thmtheorem1.p1.8.8.m8.3.3.2" xref="S3.Thmtheorem1.p1.8.8.m8.3.3.2.cmml">=</mo><mrow id="S3.Thmtheorem1.p1.8.8.m8.3.3.1" xref="S3.Thmtheorem1.p1.8.8.m8.3.3.1.cmml"><mi id="S3.Thmtheorem1.p1.8.8.m8.3.3.1.3" xref="S3.Thmtheorem1.p1.8.8.m8.3.3.1.3.cmml">log</mi><mo lspace="0em" rspace="0em" id="S3.Thmtheorem1.p1.8.8.m8.3.3.1.2" xref="S3.Thmtheorem1.p1.8.8.m8.3.3.1.2.cmml">​</mo><mrow id="S3.Thmtheorem1.p1.8.8.m8.3.3.1.1" xref="S3.Thmtheorem1.p1.8.8.m8.3.3.1.1.cmml"><msub id="S3.Thmtheorem1.p1.8.8.m8.3.3.1.1.2" xref="S3.Thmtheorem1.p1.8.8.m8.3.3.1.1.2.cmml"><mo id="S3.Thmtheorem1.p1.8.8.m8.3.3.1.1.2.2" xref="S3.Thmtheorem1.p1.8.8.m8.3.3.1.1.2.2.cmml">∑</mo><mrow id="S3.Thmtheorem1.p1.8.8.m8.3.3.1.1.2.3" xref="S3.Thmtheorem1.p1.8.8.m8.3.3.1.1.2.3.cmml"><msup id="S3.Thmtheorem1.p1.8.8.m8.3.3.1.1.2.3.2" xref="S3.Thmtheorem1.p1.8.8.m8.3.3.1.1.2.3.2.cmml"><mi id="S3.Thmtheorem1.p1.8.8.m8.3.3.1.1.2.3.2.2" xref="S3.Thmtheorem1.p1.8.8.m8.3.3.1.1.2.3.2.2.cmml">a</mi><mo id="S3.Thmtheorem1.p1.8.8.m8.3.3.1.1.2.3.2.3" xref="S3.Thmtheorem1.p1.8.8.m8.3.3.1.1.2.3.2.3.cmml">′</mo></msup><mo id="S3.Thmtheorem1.p1.8.8.m8.3.3.1.1.2.3.1" xref="S3.Thmtheorem1.p1.8.8.m8.3.3.1.1.2.3.1.cmml">∈</mo><mi class="ltx_font_mathcaligraphic" id="S3.Thmtheorem1.p1.8.8.m8.3.3.1.1.2.3.3" xref="S3.Thmtheorem1.p1.8.8.m8.3.3.1.1.2.3.3.cmml">𝒜</mi></mrow></msub><mrow id="S3.Thmtheorem1.p1.8.8.m8.3.3.1.1.1" xref="S3.Thmtheorem1.p1.8.8.m8.3.3.1.1.1.cmml"><mrow id="S3.Thmtheorem1.p1.8.8.m8.3.3.1.1.1.3" xref="S3.Thmtheorem1.p1.8.8.m8.3.3.1.1.1.3.cmml"><mi id="S3.Thmtheorem1.p1.8.8.m8.3.3.1.1.1.3.1" xref="S3.Thmtheorem1.p1.8.8.m8.3.3.1.1.1.3.1.cmml">exp</mi><mo lspace="0.167em" id="S3.Thmtheorem1.p1.8.8.m8.3.3.1.1.1.3a" xref="S3.Thmtheorem1.p1.8.8.m8.3.3.1.1.1.3.cmml">⁡</mo><mi id="S3.Thmtheorem1.p1.8.8.m8.3.3.1.1.1.3.2" xref="S3.Thmtheorem1.p1.8.8.m8.3.3.1.1.1.3.2.cmml">Q</mi></mrow><mo lspace="0em" rspace="0em" id="S3.Thmtheorem1.p1.8.8.m8.3.3.1.1.1.2" xref="S3.Thmtheorem1.p1.8.8.m8.3.3.1.1.1.2.cmml">​</mo><mrow id="S3.Thmtheorem1.p1.8.8.m8.3.3.1.1.1.1.1" xref="S3.Thmtheorem1.p1.8.8.m8.3.3.1.1.1.1.2.cmml"><mo stretchy="false" id="S3.Thmtheorem1.p1.8.8.m8.3.3.1.1.1.1.1.2" xref="S3.Thmtheorem1.p1.8.8.m8.3.3.1.1.1.1.2.cmml">(</mo><mi id="S3.Thmtheorem1.p1.8.8.m8.2.2" xref="S3.Thmtheorem1.p1.8.8.m8.2.2.cmml">s</mi><mo id="S3.Thmtheorem1.p1.8.8.m8.3.3.1.1.1.1.1.3" xref="S3.Thmtheorem1.p1.8.8.m8.3.3.1.1.1.1.2.cmml">,</mo><msup id="S3.Thmtheorem1.p1.8.8.m8.3.3.1.1.1.1.1.1" xref="S3.Thmtheorem1.p1.8.8.m8.3.3.1.1.1.1.1.1.cmml"><mi id="S3.Thmtheorem1.p1.8.8.m8.3.3.1.1.1.1.1.1.2" xref="S3.Thmtheorem1.p1.8.8.m8.3.3.1.1.1.1.1.1.2.cmml">a</mi><mo id="S3.Thmtheorem1.p1.8.8.m8.3.3.1.1.1.1.1.1.3" xref="S3.Thmtheorem1.p1.8.8.m8.3.3.1.1.1.1.1.1.3.cmml">′</mo></msup><mo stretchy="false" id="S3.Thmtheorem1.p1.8.8.m8.3.3.1.1.1.1.1.4" xref="S3.Thmtheorem1.p1.8.8.m8.3.3.1.1.1.1.2.cmml">)</mo></mrow></mrow></mrow></mrow></mrow><annotation-xml encoding="MathML-Content" id="S3.Thmtheorem1.p1.8.8.m8.3b"><apply id="S3.Thmtheorem1.p1.8.8.m8.3.3.cmml" xref="S3.Thmtheorem1.p1.8.8.m8.3.3"><eq id="S3.Thmtheorem1.p1.8.8.m8.3.3.2.cmml" xref="S3.Thmtheorem1.p1.8.8.m8.3.3.2"></eq><apply id="S3.Thmtheorem1.p1.8.8.m8.3.3.3.cmml" xref="S3.Thmtheorem1.p1.8.8.m8.3.3.3"><times id="S3.Thmtheorem1.p1.8.8.m8.3.3.3.1.cmml" xref="S3.Thmtheorem1.p1.8.8.m8.3.3.3.1"></times><ci id="S3.Thmtheorem1.p1.8.8.m8.3.3.3.2.cmml" xref="S3.Thmtheorem1.p1.8.8.m8.3.3.3.2">𝑉</ci><ci id="S3.Thmtheorem1.p1.8.8.m8.1.1.cmml" xref="S3.Thmtheorem1.p1.8.8.m8.1.1">𝑠</ci></apply><apply id="S3.Thmtheorem1.p1.8.8.m8.3.3.1.cmml" xref="S3.Thmtheorem1.p1.8.8.m8.3.3.1"><times id="S3.Thmtheorem1.p1.8.8.m8.3.3.1.2.cmml" xref="S3.Thmtheorem1.p1.8.8.m8.3.3.1.2"></times><log id="S3.Thmtheorem1.p1.8.8.m8.3.3.1.3.cmml" xref="S3.Thmtheorem1.p1.8.8.m8.3.3.1.3"></log><apply id="S3.Thmtheorem1.p1.8.8.m8.3.3.1.1.cmml" xref="S3.Thmtheorem1.p1.8.8.m8.3.3.1.1"><apply id="S3.Thmtheorem1.p1.8.8.m8.3.3.1.1.2.cmml" xref="S3.Thmtheorem1.p1.8.8.m8.3.3.1.1.2"><csymbol cd="ambiguous" id="S3.Thmtheorem1.p1.8.8.m8.3.3.1.1.2.1.cmml" xref="S3.Thmtheorem1.p1.8.8.m8.3.3.1.1.2">subscript</csymbol><sum id="S3.Thmtheorem1.p1.8.8.m8.3.3.1.1.2.2.cmml" xref="S3.Thmtheorem1.p1.8.8.m8.3.3.1.1.2.2"></sum><apply id="S3.Thmtheorem1.p1.8.8.m8.3.3.1.1.2.3.cmml" xref="S3.Thmtheorem1.p1.8.8.m8.3.3.1.1.2.3"><in id="S3.Thmtheorem1.p1.8.8.m8.3.3.1.1.2.3.1.cmml" xref="S3.Thmtheorem1.p1.8.8.m8.3.3.1.1.2.3.1"></in><apply id="S3.Thmtheorem1.p1.8.8.m8.3.3.1.1.2.3.2.cmml" xref="S3.Thmtheorem1.p1.8.8.m8.3.3.1.1.2.3.2"><csymbol cd="ambiguous" id="S3.Thmtheorem1.p1.8.8.m8.3.3.1.1.2.3.2.1.cmml" xref="S3.Thmtheorem1.p1.8.8.m8.3.3.1.1.2.3.2">superscript</csymbol><ci id="S3.Thmtheorem1.p1.8.8.m8.3.3.1.1.2.3.2.2.cmml" xref="S3.Thmtheorem1.p1.8.8.m8.3.3.1.1.2.3.2.2">𝑎</ci><ci id="S3.Thmtheorem1.p1.8.8.m8.3.3.1.1.2.3.2.3.cmml" xref="S3.Thmtheorem1.p1.8.8.m8.3.3.1.1.2.3.2.3">′</ci></apply><ci id="S3.Thmtheorem1.p1.8.8.m8.3.3.1.1.2.3.3.cmml" xref="S3.Thmtheorem1.p1.8.8.m8.3.3.1.1.2.3.3">𝒜</ci></apply></apply><apply id="S3.Thmtheorem1.p1.8.8.m8.3.3.1.1.1.cmml" xref="S3.Thmtheorem1.p1.8.8.m8.3.3.1.1.1"><times id="S3.Thmtheorem1.p1.8.8.m8.3.3.1.1.1.2.cmml" xref="S3.Thmtheorem1.p1.8.8.m8.3.3.1.1.1.2"></times><apply id="S3.Thmtheorem1.p1.8.8.m8.3.3.1.1.1.3.cmml" xref="S3.Thmtheorem1.p1.8.8.m8.3.3.1.1.1.3"><exp id="S3.Thmtheorem1.p1.8.8.m8.3.3.1.1.1.3.1.cmml" xref="S3.Thmtheorem1.p1.8.8.m8.3.3.1.1.1.3.1"></exp><ci id="S3.Thmtheorem1.p1.8.8.m8.3.3.1.1.1.3.2.cmml" xref="S3.Thmtheorem1.p1.8.8.m8.3.3.1.1.1.3.2">𝑄</ci></apply><interval closure="open" id="S3.Thmtheorem1.p1.8.8.m8.3.3.1.1.1.1.2.cmml" xref="S3.Thmtheorem1.p1.8.8.m8.3.3.1.1.1.1.1"><ci id="S3.Thmtheorem1.p1.8.8.m8.2.2.cmml" xref="S3.Thmtheorem1.p1.8.8.m8.2.2">𝑠</ci><apply id="S3.Thmtheorem1.p1.8.8.m8.3.3.1.1.1.1.1.1.cmml" xref="S3.Thmtheorem1.p1.8.8.m8.3.3.1.1.1.1.1.1"><csymbol cd="ambiguous" id="S3.Thmtheorem1.p1.8.8.m8.3.3.1.1.1.1.1.1.1.cmml" xref="S3.Thmtheorem1.p1.8.8.m8.3.3.1.1.1.1.1.1">superscript</csymbol><ci id="S3.Thmtheorem1.p1.8.8.m8.3.3.1.1.1.1.1.1.2.cmml" xref="S3.Thmtheorem1.p1.8.8.m8.3.3.1.1.1.1.1.1.2">𝑎</ci><ci id="S3.Thmtheorem1.p1.8.8.m8.3.3.1.1.1.1.1.1.3.cmml" xref="S3.Thmtheorem1.p1.8.8.m8.3.3.1.1.1.1.1.1.3">′</ci></apply></interval></apply></apply></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="S3.Thmtheorem1.p1.8.8.m8.3c">V(s)=\log\sum_{a^{\prime}\in\mathcal{A}}\exp Q(s,a^{\prime})</annotation></semantics></math></span></p>
</div>
</div>
<div id="S3.SS2.SSS1.1" class="ltx_proof">
<h6 class="ltx_title ltx_runin ltx_font_italic ltx_title_proof">Proof.</h6>
<div id="S3.SS2.SSS1.1.p1" class="ltx_para">
<p id="S3.SS2.SSS1.1.p1.11" class="ltx_p">The full proof is given in detail in the appendix. As a sketch, the first equality holds from the previous section. The second is obtained by replacing <math id="S3.SS2.SSS1.1.p1.1.m1.1" class="ltx_Math" alttext="r" display="inline"><semantics id="S3.SS2.SSS1.1.p1.1.m1.1a"><mi id="S3.SS2.SSS1.1.p1.1.m1.1.1" xref="S3.SS2.SSS1.1.p1.1.m1.1.1.cmml">r</mi><annotation-xml encoding="MathML-Content" id="S3.SS2.SSS1.1.p1.1.m1.1b"><ci id="S3.SS2.SSS1.1.p1.1.m1.1.1.cmml" xref="S3.SS2.SSS1.1.p1.1.m1.1.1">𝑟</ci></annotation-xml><annotation encoding="application/x-tex" id="S3.SS2.SSS1.1.p1.1.m1.1c">r</annotation></semantics></math> with <math id="S3.SS2.SSS1.1.p1.2.m2.1" class="ltx_Math" alttext="\mathcal{T}^{\theta}Q" display="inline"><semantics id="S3.SS2.SSS1.1.p1.2.m2.1a"><mrow id="S3.SS2.SSS1.1.p1.2.m2.1.1" xref="S3.SS2.SSS1.1.p1.2.m2.1.1.cmml"><msup id="S3.SS2.SSS1.1.p1.2.m2.1.1.2" xref="S3.SS2.SSS1.1.p1.2.m2.1.1.2.cmml"><mi class="ltx_font_mathcaligraphic" id="S3.SS2.SSS1.1.p1.2.m2.1.1.2.2" xref="S3.SS2.SSS1.1.p1.2.m2.1.1.2.2.cmml">𝒯</mi><mi id="S3.SS2.SSS1.1.p1.2.m2.1.1.2.3" xref="S3.SS2.SSS1.1.p1.2.m2.1.1.2.3.cmml">θ</mi></msup><mo lspace="0em" rspace="0em" id="S3.SS2.SSS1.1.p1.2.m2.1.1.1" xref="S3.SS2.SSS1.1.p1.2.m2.1.1.1.cmml">​</mo><mi id="S3.SS2.SSS1.1.p1.2.m2.1.1.3" xref="S3.SS2.SSS1.1.p1.2.m2.1.1.3.cmml">Q</mi></mrow><annotation-xml encoding="MathML-Content" id="S3.SS2.SSS1.1.p1.2.m2.1b"><apply id="S3.SS2.SSS1.1.p1.2.m2.1.1.cmml" xref="S3.SS2.SSS1.1.p1.2.m2.1.1"><times id="S3.SS2.SSS1.1.p1.2.m2.1.1.1.cmml" xref="S3.SS2.SSS1.1.p1.2.m2.1.1.1"></times><apply id="S3.SS2.SSS1.1.p1.2.m2.1.1.2.cmml" xref="S3.SS2.SSS1.1.p1.2.m2.1.1.2"><csymbol cd="ambiguous" id="S3.SS2.SSS1.1.p1.2.m2.1.1.2.1.cmml" xref="S3.SS2.SSS1.1.p1.2.m2.1.1.2">superscript</csymbol><ci id="S3.SS2.SSS1.1.p1.2.m2.1.1.2.2.cmml" xref="S3.SS2.SSS1.1.p1.2.m2.1.1.2.2">𝒯</ci><ci id="S3.SS2.SSS1.1.p1.2.m2.1.1.2.3.cmml" xref="S3.SS2.SSS1.1.p1.2.m2.1.1.2.3">𝜃</ci></apply><ci id="S3.SS2.SSS1.1.p1.2.m2.1.1.3.cmml" xref="S3.SS2.SSS1.1.p1.2.m2.1.1.3">𝑄</ci></apply></annotation-xml><annotation encoding="application/x-tex" id="S3.SS2.SSS1.1.p1.2.m2.1c">\mathcal{T}^{\theta}Q</annotation></semantics></math> and verifying that the two optimization problems are equal. The third line is via a telescoping sum argument first described in <cite class="ltx_cite ltx_citemacro_citep">[<a href="#bib.bib18" title="" class="ltx_ref">18</a>]</cite>. In the fourth line we replace <math id="S3.SS2.SSS1.1.p1.3.m3.1" class="ltx_Math" alttext="\psi(r)" display="inline"><semantics id="S3.SS2.SSS1.1.p1.3.m3.1a"><mrow id="S3.SS2.SSS1.1.p1.3.m3.1.2" xref="S3.SS2.SSS1.1.p1.3.m3.1.2.cmml"><mi id="S3.SS2.SSS1.1.p1.3.m3.1.2.2" xref="S3.SS2.SSS1.1.p1.3.m3.1.2.2.cmml">ψ</mi><mo lspace="0em" rspace="0em" id="S3.SS2.SSS1.1.p1.3.m3.1.2.1" xref="S3.SS2.SSS1.1.p1.3.m3.1.2.1.cmml">​</mo><mrow id="S3.SS2.SSS1.1.p1.3.m3.1.2.3.2" xref="S3.SS2.SSS1.1.p1.3.m3.1.2.cmml"><mo stretchy="false" id="S3.SS2.SSS1.1.p1.3.m3.1.2.3.2.1" xref="S3.SS2.SSS1.1.p1.3.m3.1.2.cmml">(</mo><mi id="S3.SS2.SSS1.1.p1.3.m3.1.1" xref="S3.SS2.SSS1.1.p1.3.m3.1.1.cmml">r</mi><mo stretchy="false" id="S3.SS2.SSS1.1.p1.3.m3.1.2.3.2.2" xref="S3.SS2.SSS1.1.p1.3.m3.1.2.cmml">)</mo></mrow></mrow><annotation-xml encoding="MathML-Content" id="S3.SS2.SSS1.1.p1.3.m3.1b"><apply id="S3.SS2.SSS1.1.p1.3.m3.1.2.cmml" xref="S3.SS2.SSS1.1.p1.3.m3.1.2"><times id="S3.SS2.SSS1.1.p1.3.m3.1.2.1.cmml" xref="S3.SS2.SSS1.1.p1.3.m3.1.2.1"></times><ci id="S3.SS2.SSS1.1.p1.3.m3.1.2.2.cmml" xref="S3.SS2.SSS1.1.p1.3.m3.1.2.2">𝜓</ci><ci id="S3.SS2.SSS1.1.p1.3.m3.1.1.cmml" xref="S3.SS2.SSS1.1.p1.3.m3.1.1">𝑟</ci></apply></annotation-xml><annotation encoding="application/x-tex" id="S3.SS2.SSS1.1.p1.3.m3.1c">\psi(r)</annotation></semantics></math> with a simpler regularizer <math id="S3.SS2.SSS1.1.p1.4.m4.5" class="ltx_Math" alttext="\mathbb{E}_{s,a\sim\rho_{\text{data}}}\left[g(r(s,a))\right]" display="inline"><semantics id="S3.SS2.SSS1.1.p1.4.m4.5a"><mrow id="S3.SS2.SSS1.1.p1.4.m4.5.5" xref="S3.SS2.SSS1.1.p1.4.m4.5.5.cmml"><msub id="S3.SS2.SSS1.1.p1.4.m4.5.5.3" xref="S3.SS2.SSS1.1.p1.4.m4.5.5.3.cmml"><mi id="S3.SS2.SSS1.1.p1.4.m4.5.5.3.2" xref="S3.SS2.SSS1.1.p1.4.m4.5.5.3.2.cmml">𝔼</mi><mrow id="S3.SS2.SSS1.1.p1.4.m4.2.2.2" xref="S3.SS2.SSS1.1.p1.4.m4.2.2.2.cmml"><mrow id="S3.SS2.SSS1.1.p1.4.m4.2.2.2.4.2" xref="S3.SS2.SSS1.1.p1.4.m4.2.2.2.4.1.cmml"><mi id="S3.SS2.SSS1.1.p1.4.m4.1.1.1.1" xref="S3.SS2.SSS1.1.p1.4.m4.1.1.1.1.cmml">s</mi><mo id="S3.SS2.SSS1.1.p1.4.m4.2.2.2.4.2.1" xref="S3.SS2.SSS1.1.p1.4.m4.2.2.2.4.1.cmml">,</mo><mi id="S3.SS2.SSS1.1.p1.4.m4.2.2.2.2" xref="S3.SS2.SSS1.1.p1.4.m4.2.2.2.2.cmml">a</mi></mrow><mo id="S3.SS2.SSS1.1.p1.4.m4.2.2.2.3" xref="S3.SS2.SSS1.1.p1.4.m4.2.2.2.3.cmml">∼</mo><msub id="S3.SS2.SSS1.1.p1.4.m4.2.2.2.5" xref="S3.SS2.SSS1.1.p1.4.m4.2.2.2.5.cmml"><mi id="S3.SS2.SSS1.1.p1.4.m4.2.2.2.5.2" xref="S3.SS2.SSS1.1.p1.4.m4.2.2.2.5.2.cmml">ρ</mi><mtext id="S3.SS2.SSS1.1.p1.4.m4.2.2.2.5.3" xref="S3.SS2.SSS1.1.p1.4.m4.2.2.2.5.3a.cmml">data</mtext></msub></mrow></msub><mo lspace="0em" rspace="0em" id="S3.SS2.SSS1.1.p1.4.m4.5.5.2" xref="S3.SS2.SSS1.1.p1.4.m4.5.5.2.cmml">​</mo><mrow id="S3.SS2.SSS1.1.p1.4.m4.5.5.1.1" xref="S3.SS2.SSS1.1.p1.4.m4.5.5.1.2.cmml"><mo id="S3.SS2.SSS1.1.p1.4.m4.5.5.1.1.2" xref="S3.SS2.SSS1.1.p1.4.m4.5.5.1.2.1.cmml">[</mo><mrow id="S3.SS2.SSS1.1.p1.4.m4.5.5.1.1.1" xref="S3.SS2.SSS1.1.p1.4.m4.5.5.1.1.1.cmml"><mi id="S3.SS2.SSS1.1.p1.4.m4.5.5.1.1.1.3" xref="S3.SS2.SSS1.1.p1.4.m4.5.5.1.1.1.3.cmml">g</mi><mo lspace="0em" rspace="0em" id="S3.SS2.SSS1.1.p1.4.m4.5.5.1.1.1.2" xref="S3.SS2.SSS1.1.p1.4.m4.5.5.1.1.1.2.cmml">​</mo><mrow id="S3.SS2.SSS1.1.p1.4.m4.5.5.1.1.1.1.1" xref="S3.SS2.SSS1.1.p1.4.m4.5.5.1.1.1.1.1.1.cmml"><mo stretchy="false" id="S3.SS2.SSS1.1.p1.4.m4.5.5.1.1.1.1.1.2" xref="S3.SS2.SSS1.1.p1.4.m4.5.5.1.1.1.1.1.1.cmml">(</mo><mrow id="S3.SS2.SSS1.1.p1.4.m4.5.5.1.1.1.1.1.1" xref="S3.SS2.SSS1.1.p1.4.m4.5.5.1.1.1.1.1.1.cmml"><mi id="S3.SS2.SSS1.1.p1.4.m4.5.5.1.1.1.1.1.1.2" xref="S3.SS2.SSS1.1.p1.4.m4.5.5.1.1.1.1.1.1.2.cmml">r</mi><mo lspace="0em" rspace="0em" id="S3.SS2.SSS1.1.p1.4.m4.5.5.1.1.1.1.1.1.1" xref="S3.SS2.SSS1.1.p1.4.m4.5.5.1.1.1.1.1.1.1.cmml">​</mo><mrow id="S3.SS2.SSS1.1.p1.4.m4.5.5.1.1.1.1.1.1.3.2" xref="S3.SS2.SSS1.1.p1.4.m4.5.5.1.1.1.1.1.1.3.1.cmml"><mo stretchy="false" id="S3.SS2.SSS1.1.p1.4.m4.5.5.1.1.1.1.1.1.3.2.1" xref="S3.SS2.SSS1.1.p1.4.m4.5.5.1.1.1.1.1.1.3.1.cmml">(</mo><mi id="S3.SS2.SSS1.1.p1.4.m4.3.3" xref="S3.SS2.SSS1.1.p1.4.m4.3.3.cmml">s</mi><mo id="S3.SS2.SSS1.1.p1.4.m4.5.5.1.1.1.1.1.1.3.2.2" xref="S3.SS2.SSS1.1.p1.4.m4.5.5.1.1.1.1.1.1.3.1.cmml">,</mo><mi id="S3.SS2.SSS1.1.p1.4.m4.4.4" xref="S3.SS2.SSS1.1.p1.4.m4.4.4.cmml">a</mi><mo stretchy="false" id="S3.SS2.SSS1.1.p1.4.m4.5.5.1.1.1.1.1.1.3.2.3" xref="S3.SS2.SSS1.1.p1.4.m4.5.5.1.1.1.1.1.1.3.1.cmml">)</mo></mrow></mrow><mo stretchy="false" id="S3.SS2.SSS1.1.p1.4.m4.5.5.1.1.1.1.1.3" xref="S3.SS2.SSS1.1.p1.4.m4.5.5.1.1.1.1.1.1.cmml">)</mo></mrow></mrow><mo id="S3.SS2.SSS1.1.p1.4.m4.5.5.1.1.3" xref="S3.SS2.SSS1.1.p1.4.m4.5.5.1.2.1.cmml">]</mo></mrow></mrow><annotation-xml encoding="MathML-Content" id="S3.SS2.SSS1.1.p1.4.m4.5b"><apply id="S3.SS2.SSS1.1.p1.4.m4.5.5.cmml" xref="S3.SS2.SSS1.1.p1.4.m4.5.5"><times id="S3.SS2.SSS1.1.p1.4.m4.5.5.2.cmml" xref="S3.SS2.SSS1.1.p1.4.m4.5.5.2"></times><apply id="S3.SS2.SSS1.1.p1.4.m4.5.5.3.cmml" xref="S3.SS2.SSS1.1.p1.4.m4.5.5.3"><csymbol cd="ambiguous" id="S3.SS2.SSS1.1.p1.4.m4.5.5.3.1.cmml" xref="S3.SS2.SSS1.1.p1.4.m4.5.5.3">subscript</csymbol><ci id="S3.SS2.SSS1.1.p1.4.m4.5.5.3.2.cmml" xref="S3.SS2.SSS1.1.p1.4.m4.5.5.3.2">𝔼</ci><apply id="S3.SS2.SSS1.1.p1.4.m4.2.2.2.cmml" xref="S3.SS2.SSS1.1.p1.4.m4.2.2.2"><csymbol cd="latexml" id="S3.SS2.SSS1.1.p1.4.m4.2.2.2.3.cmml" xref="S3.SS2.SSS1.1.p1.4.m4.2.2.2.3">similar-to</csymbol><list id="S3.SS2.SSS1.1.p1.4.m4.2.2.2.4.1.cmml" xref="S3.SS2.SSS1.1.p1.4.m4.2.2.2.4.2"><ci id="S3.SS2.SSS1.1.p1.4.m4.1.1.1.1.cmml" xref="S3.SS2.SSS1.1.p1.4.m4.1.1.1.1">𝑠</ci><ci id="S3.SS2.SSS1.1.p1.4.m4.2.2.2.2.cmml" xref="S3.SS2.SSS1.1.p1.4.m4.2.2.2.2">𝑎</ci></list><apply id="S3.SS2.SSS1.1.p1.4.m4.2.2.2.5.cmml" xref="S3.SS2.SSS1.1.p1.4.m4.2.2.2.5"><csymbol cd="ambiguous" id="S3.SS2.SSS1.1.p1.4.m4.2.2.2.5.1.cmml" xref="S3.SS2.SSS1.1.p1.4.m4.2.2.2.5">subscript</csymbol><ci id="S3.SS2.SSS1.1.p1.4.m4.2.2.2.5.2.cmml" xref="S3.SS2.SSS1.1.p1.4.m4.2.2.2.5.2">𝜌</ci><ci id="S3.SS2.SSS1.1.p1.4.m4.2.2.2.5.3a.cmml" xref="S3.SS2.SSS1.1.p1.4.m4.2.2.2.5.3"><mtext mathsize="50%" id="S3.SS2.SSS1.1.p1.4.m4.2.2.2.5.3.cmml" xref="S3.SS2.SSS1.1.p1.4.m4.2.2.2.5.3">data</mtext></ci></apply></apply></apply><apply id="S3.SS2.SSS1.1.p1.4.m4.5.5.1.2.cmml" xref="S3.SS2.SSS1.1.p1.4.m4.5.5.1.1"><csymbol cd="latexml" id="S3.SS2.SSS1.1.p1.4.m4.5.5.1.2.1.cmml" xref="S3.SS2.SSS1.1.p1.4.m4.5.5.1.1.2">delimited-[]</csymbol><apply id="S3.SS2.SSS1.1.p1.4.m4.5.5.1.1.1.cmml" xref="S3.SS2.SSS1.1.p1.4.m4.5.5.1.1.1"><times id="S3.SS2.SSS1.1.p1.4.m4.5.5.1.1.1.2.cmml" xref="S3.SS2.SSS1.1.p1.4.m4.5.5.1.1.1.2"></times><ci id="S3.SS2.SSS1.1.p1.4.m4.5.5.1.1.1.3.cmml" xref="S3.SS2.SSS1.1.p1.4.m4.5.5.1.1.1.3">𝑔</ci><apply id="S3.SS2.SSS1.1.p1.4.m4.5.5.1.1.1.1.1.1.cmml" xref="S3.SS2.SSS1.1.p1.4.m4.5.5.1.1.1.1.1"><times id="S3.SS2.SSS1.1.p1.4.m4.5.5.1.1.1.1.1.1.1.cmml" xref="S3.SS2.SSS1.1.p1.4.m4.5.5.1.1.1.1.1.1.1"></times><ci id="S3.SS2.SSS1.1.p1.4.m4.5.5.1.1.1.1.1.1.2.cmml" xref="S3.SS2.SSS1.1.p1.4.m4.5.5.1.1.1.1.1.1.2">𝑟</ci><interval closure="open" id="S3.SS2.SSS1.1.p1.4.m4.5.5.1.1.1.1.1.1.3.1.cmml" xref="S3.SS2.SSS1.1.p1.4.m4.5.5.1.1.1.1.1.1.3.2"><ci id="S3.SS2.SSS1.1.p1.4.m4.3.3.cmml" xref="S3.SS2.SSS1.1.p1.4.m4.3.3">𝑠</ci><ci id="S3.SS2.SSS1.1.p1.4.m4.4.4.cmml" xref="S3.SS2.SSS1.1.p1.4.m4.4.4">𝑎</ci></interval></apply></apply></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="S3.SS2.SSS1.1.p1.4.m4.5c">\mathbb{E}_{s,a\sim\rho_{\text{data}}}\left[g(r(s,a))\right]</annotation></semantics></math>, where <math id="S3.SS2.SSS1.1.p1.5.m5.2" class="ltx_Math" alttext="g(r)=r-\phi(r)" display="inline"><semantics id="S3.SS2.SSS1.1.p1.5.m5.2a"><mrow id="S3.SS2.SSS1.1.p1.5.m5.2.3" xref="S3.SS2.SSS1.1.p1.5.m5.2.3.cmml"><mrow id="S3.SS2.SSS1.1.p1.5.m5.2.3.2" xref="S3.SS2.SSS1.1.p1.5.m5.2.3.2.cmml"><mi id="S3.SS2.SSS1.1.p1.5.m5.2.3.2.2" xref="S3.SS2.SSS1.1.p1.5.m5.2.3.2.2.cmml">g</mi><mo lspace="0em" rspace="0em" id="S3.SS2.SSS1.1.p1.5.m5.2.3.2.1" xref="S3.SS2.SSS1.1.p1.5.m5.2.3.2.1.cmml">​</mo><mrow id="S3.SS2.SSS1.1.p1.5.m5.2.3.2.3.2" xref="S3.SS2.SSS1.1.p1.5.m5.2.3.2.cmml"><mo stretchy="false" id="S3.SS2.SSS1.1.p1.5.m5.2.3.2.3.2.1" xref="S3.SS2.SSS1.1.p1.5.m5.2.3.2.cmml">(</mo><mi id="S3.SS2.SSS1.1.p1.5.m5.1.1" xref="S3.SS2.SSS1.1.p1.5.m5.1.1.cmml">r</mi><mo stretchy="false" id="S3.SS2.SSS1.1.p1.5.m5.2.3.2.3.2.2" xref="S3.SS2.SSS1.1.p1.5.m5.2.3.2.cmml">)</mo></mrow></mrow><mo id="S3.SS2.SSS1.1.p1.5.m5.2.3.1" xref="S3.SS2.SSS1.1.p1.5.m5.2.3.1.cmml">=</mo><mrow id="S3.SS2.SSS1.1.p1.5.m5.2.3.3" xref="S3.SS2.SSS1.1.p1.5.m5.2.3.3.cmml"><mi id="S3.SS2.SSS1.1.p1.5.m5.2.3.3.2" xref="S3.SS2.SSS1.1.p1.5.m5.2.3.3.2.cmml">r</mi><mo id="S3.SS2.SSS1.1.p1.5.m5.2.3.3.1" xref="S3.SS2.SSS1.1.p1.5.m5.2.3.3.1.cmml">−</mo><mrow id="S3.SS2.SSS1.1.p1.5.m5.2.3.3.3" xref="S3.SS2.SSS1.1.p1.5.m5.2.3.3.3.cmml"><mi id="S3.SS2.SSS1.1.p1.5.m5.2.3.3.3.2" xref="S3.SS2.SSS1.1.p1.5.m5.2.3.3.3.2.cmml">ϕ</mi><mo lspace="0em" rspace="0em" id="S3.SS2.SSS1.1.p1.5.m5.2.3.3.3.1" xref="S3.SS2.SSS1.1.p1.5.m5.2.3.3.3.1.cmml">​</mo><mrow id="S3.SS2.SSS1.1.p1.5.m5.2.3.3.3.3.2" xref="S3.SS2.SSS1.1.p1.5.m5.2.3.3.3.cmml"><mo stretchy="false" id="S3.SS2.SSS1.1.p1.5.m5.2.3.3.3.3.2.1" xref="S3.SS2.SSS1.1.p1.5.m5.2.3.3.3.cmml">(</mo><mi id="S3.SS2.SSS1.1.p1.5.m5.2.2" xref="S3.SS2.SSS1.1.p1.5.m5.2.2.cmml">r</mi><mo stretchy="false" id="S3.SS2.SSS1.1.p1.5.m5.2.3.3.3.3.2.2" xref="S3.SS2.SSS1.1.p1.5.m5.2.3.3.3.cmml">)</mo></mrow></mrow></mrow></mrow><annotation-xml encoding="MathML-Content" id="S3.SS2.SSS1.1.p1.5.m5.2b"><apply id="S3.SS2.SSS1.1.p1.5.m5.2.3.cmml" xref="S3.SS2.SSS1.1.p1.5.m5.2.3"><eq id="S3.SS2.SSS1.1.p1.5.m5.2.3.1.cmml" xref="S3.SS2.SSS1.1.p1.5.m5.2.3.1"></eq><apply id="S3.SS2.SSS1.1.p1.5.m5.2.3.2.cmml" xref="S3.SS2.SSS1.1.p1.5.m5.2.3.2"><times id="S3.SS2.SSS1.1.p1.5.m5.2.3.2.1.cmml" xref="S3.SS2.SSS1.1.p1.5.m5.2.3.2.1"></times><ci id="S3.SS2.SSS1.1.p1.5.m5.2.3.2.2.cmml" xref="S3.SS2.SSS1.1.p1.5.m5.2.3.2.2">𝑔</ci><ci id="S3.SS2.SSS1.1.p1.5.m5.1.1.cmml" xref="S3.SS2.SSS1.1.p1.5.m5.1.1">𝑟</ci></apply><apply id="S3.SS2.SSS1.1.p1.5.m5.2.3.3.cmml" xref="S3.SS2.SSS1.1.p1.5.m5.2.3.3"><minus id="S3.SS2.SSS1.1.p1.5.m5.2.3.3.1.cmml" xref="S3.SS2.SSS1.1.p1.5.m5.2.3.3.1"></minus><ci id="S3.SS2.SSS1.1.p1.5.m5.2.3.3.2.cmml" xref="S3.SS2.SSS1.1.p1.5.m5.2.3.3.2">𝑟</ci><apply id="S3.SS2.SSS1.1.p1.5.m5.2.3.3.3.cmml" xref="S3.SS2.SSS1.1.p1.5.m5.2.3.3.3"><times id="S3.SS2.SSS1.1.p1.5.m5.2.3.3.3.1.cmml" xref="S3.SS2.SSS1.1.p1.5.m5.2.3.3.3.1"></times><ci id="S3.SS2.SSS1.1.p1.5.m5.2.3.3.3.2.cmml" xref="S3.SS2.SSS1.1.p1.5.m5.2.3.3.3.2">italic-ϕ</ci><ci id="S3.SS2.SSS1.1.p1.5.m5.2.2.cmml" xref="S3.SS2.SSS1.1.p1.5.m5.2.2">𝑟</ci></apply></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="S3.SS2.SSS1.1.p1.5.m5.2c">g(r)=r-\phi(r)</annotation></semantics></math> if <math id="S3.SS2.SSS1.1.p1.6.m6.1" class="ltx_Math" alttext="r\in\Omega" display="inline"><semantics id="S3.SS2.SSS1.1.p1.6.m6.1a"><mrow id="S3.SS2.SSS1.1.p1.6.m6.1.1" xref="S3.SS2.SSS1.1.p1.6.m6.1.1.cmml"><mi id="S3.SS2.SSS1.1.p1.6.m6.1.1.2" xref="S3.SS2.SSS1.1.p1.6.m6.1.1.2.cmml">r</mi><mo id="S3.SS2.SSS1.1.p1.6.m6.1.1.1" xref="S3.SS2.SSS1.1.p1.6.m6.1.1.1.cmml">∈</mo><mi mathvariant="normal" id="S3.SS2.SSS1.1.p1.6.m6.1.1.3" xref="S3.SS2.SSS1.1.p1.6.m6.1.1.3.cmml">Ω</mi></mrow><annotation-xml encoding="MathML-Content" id="S3.SS2.SSS1.1.p1.6.m6.1b"><apply id="S3.SS2.SSS1.1.p1.6.m6.1.1.cmml" xref="S3.SS2.SSS1.1.p1.6.m6.1.1"><in id="S3.SS2.SSS1.1.p1.6.m6.1.1.1.cmml" xref="S3.SS2.SSS1.1.p1.6.m6.1.1.1"></in><ci id="S3.SS2.SSS1.1.p1.6.m6.1.1.2.cmml" xref="S3.SS2.SSS1.1.p1.6.m6.1.1.2">𝑟</ci><ci id="S3.SS2.SSS1.1.p1.6.m6.1.1.3.cmml" xref="S3.SS2.SSS1.1.p1.6.m6.1.1.3">Ω</ci></apply></annotation-xml><annotation encoding="application/x-tex" id="S3.SS2.SSS1.1.p1.6.m6.1c">r\in\Omega</annotation></semantics></math>, and infinity otherwise. In the fifth line we expand the telescoping sum in a different way, allowing us to incorporate samples from any policy. In the final line we parameterize the policy from the <math id="S3.SS2.SSS1.1.p1.7.m7.1" class="ltx_Math" alttext="Q" display="inline"><semantics id="S3.SS2.SSS1.1.p1.7.m7.1a"><mi id="S3.SS2.SSS1.1.p1.7.m7.1.1" xref="S3.SS2.SSS1.1.p1.7.m7.1.1.cmml">Q</mi><annotation-xml encoding="MathML-Content" id="S3.SS2.SSS1.1.p1.7.m7.1b"><ci id="S3.SS2.SSS1.1.p1.7.m7.1.1.cmml" xref="S3.SS2.SSS1.1.p1.7.m7.1.1">𝑄</ci></annotation-xml><annotation encoding="application/x-tex" id="S3.SS2.SSS1.1.p1.7.m7.1c">Q</annotation></semantics></math>-values, setting <math id="S3.SS2.SSS1.1.p1.8.m8.5" class="ltx_Math" alttext="\log p_{Q}(a|s)=Q(s,a)-\log\sum_{a^{\prime}\in\mathcal{A}}\exp Q(s,a^{\prime})" display="inline"><semantics id="S3.SS2.SSS1.1.p1.8.m8.5a"><mrow id="S3.SS2.SSS1.1.p1.8.m8.5.5" xref="S3.SS2.SSS1.1.p1.8.m8.5.5.cmml"><mrow id="S3.SS2.SSS1.1.p1.8.m8.4.4.1" xref="S3.SS2.SSS1.1.p1.8.m8.4.4.1.cmml"><mrow id="S3.SS2.SSS1.1.p1.8.m8.4.4.1.3" xref="S3.SS2.SSS1.1.p1.8.m8.4.4.1.3.cmml"><mi id="S3.SS2.SSS1.1.p1.8.m8.4.4.1.3.1" xref="S3.SS2.SSS1.1.p1.8.m8.4.4.1.3.1.cmml">log</mi><mo lspace="0.167em" id="S3.SS2.SSS1.1.p1.8.m8.4.4.1.3a" xref="S3.SS2.SSS1.1.p1.8.m8.4.4.1.3.cmml">⁡</mo><msub id="S3.SS2.SSS1.1.p1.8.m8.4.4.1.3.2" xref="S3.SS2.SSS1.1.p1.8.m8.4.4.1.3.2.cmml"><mi id="S3.SS2.SSS1.1.p1.8.m8.4.4.1.3.2.2" xref="S3.SS2.SSS1.1.p1.8.m8.4.4.1.3.2.2.cmml">p</mi><mi id="S3.SS2.SSS1.1.p1.8.m8.4.4.1.3.2.3" xref="S3.SS2.SSS1.1.p1.8.m8.4.4.1.3.2.3.cmml">Q</mi></msub></mrow><mo lspace="0em" rspace="0em" id="S3.SS2.SSS1.1.p1.8.m8.4.4.1.2" xref="S3.SS2.SSS1.1.p1.8.m8.4.4.1.2.cmml">​</mo><mrow id="S3.SS2.SSS1.1.p1.8.m8.4.4.1.1.1" xref="S3.SS2.SSS1.1.p1.8.m8.4.4.1.1.1.1.cmml"><mo stretchy="false" id="S3.SS2.SSS1.1.p1.8.m8.4.4.1.1.1.2" xref="S3.SS2.SSS1.1.p1.8.m8.4.4.1.1.1.1.cmml">(</mo><mrow id="S3.SS2.SSS1.1.p1.8.m8.4.4.1.1.1.1" xref="S3.SS2.SSS1.1.p1.8.m8.4.4.1.1.1.1.cmml"><mi id="S3.SS2.SSS1.1.p1.8.m8.4.4.1.1.1.1.2" xref="S3.SS2.SSS1.1.p1.8.m8.4.4.1.1.1.1.2.cmml">a</mi><mo fence="false" id="S3.SS2.SSS1.1.p1.8.m8.4.4.1.1.1.1.1" xref="S3.SS2.SSS1.1.p1.8.m8.4.4.1.1.1.1.1.cmml">|</mo><mi id="S3.SS2.SSS1.1.p1.8.m8.4.4.1.1.1.1.3" xref="S3.SS2.SSS1.1.p1.8.m8.4.4.1.1.1.1.3.cmml">s</mi></mrow><mo stretchy="false" id="S3.SS2.SSS1.1.p1.8.m8.4.4.1.1.1.3" xref="S3.SS2.SSS1.1.p1.8.m8.4.4.1.1.1.1.cmml">)</mo></mrow></mrow><mo id="S3.SS2.SSS1.1.p1.8.m8.5.5.3" xref="S3.SS2.SSS1.1.p1.8.m8.5.5.3.cmml">=</mo><mrow id="S3.SS2.SSS1.1.p1.8.m8.5.5.2" xref="S3.SS2.SSS1.1.p1.8.m8.5.5.2.cmml"><mrow id="S3.SS2.SSS1.1.p1.8.m8.5.5.2.3" xref="S3.SS2.SSS1.1.p1.8.m8.5.5.2.3.cmml"><mi id="S3.SS2.SSS1.1.p1.8.m8.5.5.2.3.2" xref="S3.SS2.SSS1.1.p1.8.m8.5.5.2.3.2.cmml">Q</mi><mo lspace="0em" rspace="0em" id="S3.SS2.SSS1.1.p1.8.m8.5.5.2.3.1" xref="S3.SS2.SSS1.1.p1.8.m8.5.5.2.3.1.cmml">​</mo><mrow id="S3.SS2.SSS1.1.p1.8.m8.5.5.2.3.3.2" xref="S3.SS2.SSS1.1.p1.8.m8.5.5.2.3.3.1.cmml"><mo stretchy="false" id="S3.SS2.SSS1.1.p1.8.m8.5.5.2.3.3.2.1" xref="S3.SS2.SSS1.1.p1.8.m8.5.5.2.3.3.1.cmml">(</mo><mi id="S3.SS2.SSS1.1.p1.8.m8.1.1" xref="S3.SS2.SSS1.1.p1.8.m8.1.1.cmml">s</mi><mo id="S3.SS2.SSS1.1.p1.8.m8.5.5.2.3.3.2.2" xref="S3.SS2.SSS1.1.p1.8.m8.5.5.2.3.3.1.cmml">,</mo><mi id="S3.SS2.SSS1.1.p1.8.m8.2.2" xref="S3.SS2.SSS1.1.p1.8.m8.2.2.cmml">a</mi><mo stretchy="false" id="S3.SS2.SSS1.1.p1.8.m8.5.5.2.3.3.2.3" xref="S3.SS2.SSS1.1.p1.8.m8.5.5.2.3.3.1.cmml">)</mo></mrow></mrow><mo id="S3.SS2.SSS1.1.p1.8.m8.5.5.2.2" xref="S3.SS2.SSS1.1.p1.8.m8.5.5.2.2.cmml">−</mo><mrow id="S3.SS2.SSS1.1.p1.8.m8.5.5.2.1" xref="S3.SS2.SSS1.1.p1.8.m8.5.5.2.1.cmml"><mi id="S3.SS2.SSS1.1.p1.8.m8.5.5.2.1.3" xref="S3.SS2.SSS1.1.p1.8.m8.5.5.2.1.3.cmml">log</mi><mo lspace="0em" rspace="0em" id="S3.SS2.SSS1.1.p1.8.m8.5.5.2.1.2" xref="S3.SS2.SSS1.1.p1.8.m8.5.5.2.1.2.cmml">​</mo><mrow id="S3.SS2.SSS1.1.p1.8.m8.5.5.2.1.1" xref="S3.SS2.SSS1.1.p1.8.m8.5.5.2.1.1.cmml"><msub id="S3.SS2.SSS1.1.p1.8.m8.5.5.2.1.1.2" xref="S3.SS2.SSS1.1.p1.8.m8.5.5.2.1.1.2.cmml"><mo id="S3.SS2.SSS1.1.p1.8.m8.5.5.2.1.1.2.2" xref="S3.SS2.SSS1.1.p1.8.m8.5.5.2.1.1.2.2.cmml">∑</mo><mrow id="S3.SS2.SSS1.1.p1.8.m8.5.5.2.1.1.2.3" xref="S3.SS2.SSS1.1.p1.8.m8.5.5.2.1.1.2.3.cmml"><msup id="S3.SS2.SSS1.1.p1.8.m8.5.5.2.1.1.2.3.2" xref="S3.SS2.SSS1.1.p1.8.m8.5.5.2.1.1.2.3.2.cmml"><mi id="S3.SS2.SSS1.1.p1.8.m8.5.5.2.1.1.2.3.2.2" xref="S3.SS2.SSS1.1.p1.8.m8.5.5.2.1.1.2.3.2.2.cmml">a</mi><mo id="S3.SS2.SSS1.1.p1.8.m8.5.5.2.1.1.2.3.2.3" xref="S3.SS2.SSS1.1.p1.8.m8.5.5.2.1.1.2.3.2.3.cmml">′</mo></msup><mo id="S3.SS2.SSS1.1.p1.8.m8.5.5.2.1.1.2.3.1" xref="S3.SS2.SSS1.1.p1.8.m8.5.5.2.1.1.2.3.1.cmml">∈</mo><mi class="ltx_font_mathcaligraphic" id="S3.SS2.SSS1.1.p1.8.m8.5.5.2.1.1.2.3.3" xref="S3.SS2.SSS1.1.p1.8.m8.5.5.2.1.1.2.3.3.cmml">𝒜</mi></mrow></msub><mrow id="S3.SS2.SSS1.1.p1.8.m8.5.5.2.1.1.1" xref="S3.SS2.SSS1.1.p1.8.m8.5.5.2.1.1.1.cmml"><mrow id="S3.SS2.SSS1.1.p1.8.m8.5.5.2.1.1.1.3" xref="S3.SS2.SSS1.1.p1.8.m8.5.5.2.1.1.1.3.cmml"><mi id="S3.SS2.SSS1.1.p1.8.m8.5.5.2.1.1.1.3.1" xref="S3.SS2.SSS1.1.p1.8.m8.5.5.2.1.1.1.3.1.cmml">exp</mi><mo lspace="0.167em" id="S3.SS2.SSS1.1.p1.8.m8.5.5.2.1.1.1.3a" xref="S3.SS2.SSS1.1.p1.8.m8.5.5.2.1.1.1.3.cmml">⁡</mo><mi id="S3.SS2.SSS1.1.p1.8.m8.5.5.2.1.1.1.3.2" xref="S3.SS2.SSS1.1.p1.8.m8.5.5.2.1.1.1.3.2.cmml">Q</mi></mrow><mo lspace="0em" rspace="0em" id="S3.SS2.SSS1.1.p1.8.m8.5.5.2.1.1.1.2" xref="S3.SS2.SSS1.1.p1.8.m8.5.5.2.1.1.1.2.cmml">​</mo><mrow id="S3.SS2.SSS1.1.p1.8.m8.5.5.2.1.1.1.1.1" xref="S3.SS2.SSS1.1.p1.8.m8.5.5.2.1.1.1.1.2.cmml"><mo stretchy="false" id="S3.SS2.SSS1.1.p1.8.m8.5.5.2.1.1.1.1.1.2" xref="S3.SS2.SSS1.1.p1.8.m8.5.5.2.1.1.1.1.2.cmml">(</mo><mi id="S3.SS2.SSS1.1.p1.8.m8.3.3" xref="S3.SS2.SSS1.1.p1.8.m8.3.3.cmml">s</mi><mo id="S3.SS2.SSS1.1.p1.8.m8.5.5.2.1.1.1.1.1.3" xref="S3.SS2.SSS1.1.p1.8.m8.5.5.2.1.1.1.1.2.cmml">,</mo><msup id="S3.SS2.SSS1.1.p1.8.m8.5.5.2.1.1.1.1.1.1" xref="S3.SS2.SSS1.1.p1.8.m8.5.5.2.1.1.1.1.1.1.cmml"><mi id="S3.SS2.SSS1.1.p1.8.m8.5.5.2.1.1.1.1.1.1.2" xref="S3.SS2.SSS1.1.p1.8.m8.5.5.2.1.1.1.1.1.1.2.cmml">a</mi><mo id="S3.SS2.SSS1.1.p1.8.m8.5.5.2.1.1.1.1.1.1.3" xref="S3.SS2.SSS1.1.p1.8.m8.5.5.2.1.1.1.1.1.1.3.cmml">′</mo></msup><mo stretchy="false" id="S3.SS2.SSS1.1.p1.8.m8.5.5.2.1.1.1.1.1.4" xref="S3.SS2.SSS1.1.p1.8.m8.5.5.2.1.1.1.1.2.cmml">)</mo></mrow></mrow></mrow></mrow></mrow></mrow><annotation-xml encoding="MathML-Content" id="S3.SS2.SSS1.1.p1.8.m8.5b"><apply id="S3.SS2.SSS1.1.p1.8.m8.5.5.cmml" xref="S3.SS2.SSS1.1.p1.8.m8.5.5"><eq id="S3.SS2.SSS1.1.p1.8.m8.5.5.3.cmml" xref="S3.SS2.SSS1.1.p1.8.m8.5.5.3"></eq><apply id="S3.SS2.SSS1.1.p1.8.m8.4.4.1.cmml" xref="S3.SS2.SSS1.1.p1.8.m8.4.4.1"><times id="S3.SS2.SSS1.1.p1.8.m8.4.4.1.2.cmml" xref="S3.SS2.SSS1.1.p1.8.m8.4.4.1.2"></times><apply id="S3.SS2.SSS1.1.p1.8.m8.4.4.1.3.cmml" xref="S3.SS2.SSS1.1.p1.8.m8.4.4.1.3"><log id="S3.SS2.SSS1.1.p1.8.m8.4.4.1.3.1.cmml" xref="S3.SS2.SSS1.1.p1.8.m8.4.4.1.3.1"></log><apply id="S3.SS2.SSS1.1.p1.8.m8.4.4.1.3.2.cmml" xref="S3.SS2.SSS1.1.p1.8.m8.4.4.1.3.2"><csymbol cd="ambiguous" id="S3.SS2.SSS1.1.p1.8.m8.4.4.1.3.2.1.cmml" xref="S3.SS2.SSS1.1.p1.8.m8.4.4.1.3.2">subscript</csymbol><ci id="S3.SS2.SSS1.1.p1.8.m8.4.4.1.3.2.2.cmml" xref="S3.SS2.SSS1.1.p1.8.m8.4.4.1.3.2.2">𝑝</ci><ci id="S3.SS2.SSS1.1.p1.8.m8.4.4.1.3.2.3.cmml" xref="S3.SS2.SSS1.1.p1.8.m8.4.4.1.3.2.3">𝑄</ci></apply></apply><apply id="S3.SS2.SSS1.1.p1.8.m8.4.4.1.1.1.1.cmml" xref="S3.SS2.SSS1.1.p1.8.m8.4.4.1.1.1"><csymbol cd="latexml" id="S3.SS2.SSS1.1.p1.8.m8.4.4.1.1.1.1.1.cmml" xref="S3.SS2.SSS1.1.p1.8.m8.4.4.1.1.1.1.1">conditional</csymbol><ci id="S3.SS2.SSS1.1.p1.8.m8.4.4.1.1.1.1.2.cmml" xref="S3.SS2.SSS1.1.p1.8.m8.4.4.1.1.1.1.2">𝑎</ci><ci id="S3.SS2.SSS1.1.p1.8.m8.4.4.1.1.1.1.3.cmml" xref="S3.SS2.SSS1.1.p1.8.m8.4.4.1.1.1.1.3">𝑠</ci></apply></apply><apply id="S3.SS2.SSS1.1.p1.8.m8.5.5.2.cmml" xref="S3.SS2.SSS1.1.p1.8.m8.5.5.2"><minus id="S3.SS2.SSS1.1.p1.8.m8.5.5.2.2.cmml" xref="S3.SS2.SSS1.1.p1.8.m8.5.5.2.2"></minus><apply id="S3.SS2.SSS1.1.p1.8.m8.5.5.2.3.cmml" xref="S3.SS2.SSS1.1.p1.8.m8.5.5.2.3"><times id="S3.SS2.SSS1.1.p1.8.m8.5.5.2.3.1.cmml" xref="S3.SS2.SSS1.1.p1.8.m8.5.5.2.3.1"></times><ci id="S3.SS2.SSS1.1.p1.8.m8.5.5.2.3.2.cmml" xref="S3.SS2.SSS1.1.p1.8.m8.5.5.2.3.2">𝑄</ci><interval closure="open" id="S3.SS2.SSS1.1.p1.8.m8.5.5.2.3.3.1.cmml" xref="S3.SS2.SSS1.1.p1.8.m8.5.5.2.3.3.2"><ci id="S3.SS2.SSS1.1.p1.8.m8.1.1.cmml" xref="S3.SS2.SSS1.1.p1.8.m8.1.1">𝑠</ci><ci id="S3.SS2.SSS1.1.p1.8.m8.2.2.cmml" xref="S3.SS2.SSS1.1.p1.8.m8.2.2">𝑎</ci></interval></apply><apply id="S3.SS2.SSS1.1.p1.8.m8.5.5.2.1.cmml" xref="S3.SS2.SSS1.1.p1.8.m8.5.5.2.1"><times id="S3.SS2.SSS1.1.p1.8.m8.5.5.2.1.2.cmml" xref="S3.SS2.SSS1.1.p1.8.m8.5.5.2.1.2"></times><log id="S3.SS2.SSS1.1.p1.8.m8.5.5.2.1.3.cmml" xref="S3.SS2.SSS1.1.p1.8.m8.5.5.2.1.3"></log><apply id="S3.SS2.SSS1.1.p1.8.m8.5.5.2.1.1.cmml" xref="S3.SS2.SSS1.1.p1.8.m8.5.5.2.1.1"><apply id="S3.SS2.SSS1.1.p1.8.m8.5.5.2.1.1.2.cmml" xref="S3.SS2.SSS1.1.p1.8.m8.5.5.2.1.1.2"><csymbol cd="ambiguous" id="S3.SS2.SSS1.1.p1.8.m8.5.5.2.1.1.2.1.cmml" xref="S3.SS2.SSS1.1.p1.8.m8.5.5.2.1.1.2">subscript</csymbol><sum id="S3.SS2.SSS1.1.p1.8.m8.5.5.2.1.1.2.2.cmml" xref="S3.SS2.SSS1.1.p1.8.m8.5.5.2.1.1.2.2"></sum><apply id="S3.SS2.SSS1.1.p1.8.m8.5.5.2.1.1.2.3.cmml" xref="S3.SS2.SSS1.1.p1.8.m8.5.5.2.1.1.2.3"><in id="S3.SS2.SSS1.1.p1.8.m8.5.5.2.1.1.2.3.1.cmml" xref="S3.SS2.SSS1.1.p1.8.m8.5.5.2.1.1.2.3.1"></in><apply id="S3.SS2.SSS1.1.p1.8.m8.5.5.2.1.1.2.3.2.cmml" xref="S3.SS2.SSS1.1.p1.8.m8.5.5.2.1.1.2.3.2"><csymbol cd="ambiguous" id="S3.SS2.SSS1.1.p1.8.m8.5.5.2.1.1.2.3.2.1.cmml" xref="S3.SS2.SSS1.1.p1.8.m8.5.5.2.1.1.2.3.2">superscript</csymbol><ci id="S3.SS2.SSS1.1.p1.8.m8.5.5.2.1.1.2.3.2.2.cmml" xref="S3.SS2.SSS1.1.p1.8.m8.5.5.2.1.1.2.3.2.2">𝑎</ci><ci id="S3.SS2.SSS1.1.p1.8.m8.5.5.2.1.1.2.3.2.3.cmml" xref="S3.SS2.SSS1.1.p1.8.m8.5.5.2.1.1.2.3.2.3">′</ci></apply><ci id="S3.SS2.SSS1.1.p1.8.m8.5.5.2.1.1.2.3.3.cmml" xref="S3.SS2.SSS1.1.p1.8.m8.5.5.2.1.1.2.3.3">𝒜</ci></apply></apply><apply id="S3.SS2.SSS1.1.p1.8.m8.5.5.2.1.1.1.cmml" xref="S3.SS2.SSS1.1.p1.8.m8.5.5.2.1.1.1"><times id="S3.SS2.SSS1.1.p1.8.m8.5.5.2.1.1.1.2.cmml" xref="S3.SS2.SSS1.1.p1.8.m8.5.5.2.1.1.1.2"></times><apply id="S3.SS2.SSS1.1.p1.8.m8.5.5.2.1.1.1.3.cmml" xref="S3.SS2.SSS1.1.p1.8.m8.5.5.2.1.1.1.3"><exp id="S3.SS2.SSS1.1.p1.8.m8.5.5.2.1.1.1.3.1.cmml" xref="S3.SS2.SSS1.1.p1.8.m8.5.5.2.1.1.1.3.1"></exp><ci id="S3.SS2.SSS1.1.p1.8.m8.5.5.2.1.1.1.3.2.cmml" xref="S3.SS2.SSS1.1.p1.8.m8.5.5.2.1.1.1.3.2">𝑄</ci></apply><interval closure="open" id="S3.SS2.SSS1.1.p1.8.m8.5.5.2.1.1.1.1.2.cmml" xref="S3.SS2.SSS1.1.p1.8.m8.5.5.2.1.1.1.1.1"><ci id="S3.SS2.SSS1.1.p1.8.m8.3.3.cmml" xref="S3.SS2.SSS1.1.p1.8.m8.3.3">𝑠</ci><apply id="S3.SS2.SSS1.1.p1.8.m8.5.5.2.1.1.1.1.1.1.cmml" xref="S3.SS2.SSS1.1.p1.8.m8.5.5.2.1.1.1.1.1.1"><csymbol cd="ambiguous" id="S3.SS2.SSS1.1.p1.8.m8.5.5.2.1.1.1.1.1.1.1.cmml" xref="S3.SS2.SSS1.1.p1.8.m8.5.5.2.1.1.1.1.1.1">superscript</csymbol><ci id="S3.SS2.SSS1.1.p1.8.m8.5.5.2.1.1.1.1.1.1.2.cmml" xref="S3.SS2.SSS1.1.p1.8.m8.5.5.2.1.1.1.1.1.1.2">𝑎</ci><ci id="S3.SS2.SSS1.1.p1.8.m8.5.5.2.1.1.1.1.1.1.3.cmml" xref="S3.SS2.SSS1.1.p1.8.m8.5.5.2.1.1.1.1.1.1.3">′</ci></apply></interval></apply></apply></apply></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="S3.SS2.SSS1.1.p1.8.m8.5c">\log p_{Q}(a|s)=Q(s,a)-\log\sum_{a^{\prime}\in\mathcal{A}}\exp Q(s,a^{\prime})</annotation></semantics></math>. We then show that the optimization problem over <math id="S3.SS2.SSS1.1.p1.9.m9.2" class="ltx_Math" alttext="(Q,p_{Q})" display="inline"><semantics id="S3.SS2.SSS1.1.p1.9.m9.2a"><mrow id="S3.SS2.SSS1.1.p1.9.m9.2.2.1" xref="S3.SS2.SSS1.1.p1.9.m9.2.2.2.cmml"><mo stretchy="false" id="S3.SS2.SSS1.1.p1.9.m9.2.2.1.2" xref="S3.SS2.SSS1.1.p1.9.m9.2.2.2.cmml">(</mo><mi id="S3.SS2.SSS1.1.p1.9.m9.1.1" xref="S3.SS2.SSS1.1.p1.9.m9.1.1.cmml">Q</mi><mo id="S3.SS2.SSS1.1.p1.9.m9.2.2.1.3" xref="S3.SS2.SSS1.1.p1.9.m9.2.2.2.cmml">,</mo><msub id="S3.SS2.SSS1.1.p1.9.m9.2.2.1.1" xref="S3.SS2.SSS1.1.p1.9.m9.2.2.1.1.cmml"><mi id="S3.SS2.SSS1.1.p1.9.m9.2.2.1.1.2" xref="S3.SS2.SSS1.1.p1.9.m9.2.2.1.1.2.cmml">p</mi><mi id="S3.SS2.SSS1.1.p1.9.m9.2.2.1.1.3" xref="S3.SS2.SSS1.1.p1.9.m9.2.2.1.1.3.cmml">Q</mi></msub><mo stretchy="false" id="S3.SS2.SSS1.1.p1.9.m9.2.2.1.4" xref="S3.SS2.SSS1.1.p1.9.m9.2.2.2.cmml">)</mo></mrow><annotation-xml encoding="MathML-Content" id="S3.SS2.SSS1.1.p1.9.m9.2b"><interval closure="open" id="S3.SS2.SSS1.1.p1.9.m9.2.2.2.cmml" xref="S3.SS2.SSS1.1.p1.9.m9.2.2.1"><ci id="S3.SS2.SSS1.1.p1.9.m9.1.1.cmml" xref="S3.SS2.SSS1.1.p1.9.m9.1.1">𝑄</ci><apply id="S3.SS2.SSS1.1.p1.9.m9.2.2.1.1.cmml" xref="S3.SS2.SSS1.1.p1.9.m9.2.2.1.1"><csymbol cd="ambiguous" id="S3.SS2.SSS1.1.p1.9.m9.2.2.1.1.1.cmml" xref="S3.SS2.SSS1.1.p1.9.m9.2.2.1.1">subscript</csymbol><ci id="S3.SS2.SSS1.1.p1.9.m9.2.2.1.1.2.cmml" xref="S3.SS2.SSS1.1.p1.9.m9.2.2.1.1.2">𝑝</ci><ci id="S3.SS2.SSS1.1.p1.9.m9.2.2.1.1.3.cmml" xref="S3.SS2.SSS1.1.p1.9.m9.2.2.1.1.3">𝑄</ci></apply></interval></annotation-xml><annotation encoding="application/x-tex" id="S3.SS2.SSS1.1.p1.9.m9.2c">(Q,p_{Q})</annotation></semantics></math> has the same optimum as the optimization over <math id="S3.SS2.SSS1.1.p1.10.m10.2" class="ltx_Math" alttext="Q,\theta" display="inline"><semantics id="S3.SS2.SSS1.1.p1.10.m10.2a"><mrow id="S3.SS2.SSS1.1.p1.10.m10.2.3.2" xref="S3.SS2.SSS1.1.p1.10.m10.2.3.1.cmml"><mi id="S3.SS2.SSS1.1.p1.10.m10.1.1" xref="S3.SS2.SSS1.1.p1.10.m10.1.1.cmml">Q</mi><mo id="S3.SS2.SSS1.1.p1.10.m10.2.3.2.1" xref="S3.SS2.SSS1.1.p1.10.m10.2.3.1.cmml">,</mo><mi id="S3.SS2.SSS1.1.p1.10.m10.2.2" xref="S3.SS2.SSS1.1.p1.10.m10.2.2.cmml">θ</mi></mrow><annotation-xml encoding="MathML-Content" id="S3.SS2.SSS1.1.p1.10.m10.2b"><list id="S3.SS2.SSS1.1.p1.10.m10.2.3.1.cmml" xref="S3.SS2.SSS1.1.p1.10.m10.2.3.2"><ci id="S3.SS2.SSS1.1.p1.10.m10.1.1.cmml" xref="S3.SS2.SSS1.1.p1.10.m10.1.1">𝑄</ci><ci id="S3.SS2.SSS1.1.p1.10.m10.2.2.cmml" xref="S3.SS2.SSS1.1.p1.10.m10.2.2">𝜃</ci></list></annotation-xml><annotation encoding="application/x-tex" id="S3.SS2.SSS1.1.p1.10.m10.2c">Q,\theta</annotation></semantics></math>, allowing us to eliminate <math id="S3.SS2.SSS1.1.p1.11.m11.1" class="ltx_Math" alttext="\theta" display="inline"><semantics id="S3.SS2.SSS1.1.p1.11.m11.1a"><mi id="S3.SS2.SSS1.1.p1.11.m11.1.1" xref="S3.SS2.SSS1.1.p1.11.m11.1.1.cmml">θ</mi><annotation-xml encoding="MathML-Content" id="S3.SS2.SSS1.1.p1.11.m11.1b"><ci id="S3.SS2.SSS1.1.p1.11.m11.1.1.cmml" xref="S3.SS2.SSS1.1.p1.11.m11.1.1">𝜃</ci></annotation-xml><annotation encoding="application/x-tex" id="S3.SS2.SSS1.1.p1.11.m11.1c">\theta</annotation></semantics></math> from the optimization entirely.
∎</p>
</div>
</div>
<div id="S3.SS2.SSS1.p2" class="ltx_para">
<p id="S3.SS2.SSS1.p2.5" class="ltx_p">Because the <math id="S3.SS2.SSS1.p2.1.m1.1" class="ltx_Math" alttext="Q" display="inline"><semantics id="S3.SS2.SSS1.p2.1.m1.1a"><mi id="S3.SS2.SSS1.p2.1.m1.1.1" xref="S3.SS2.SSS1.p2.1.m1.1.1.cmml">Q</mi><annotation-xml encoding="MathML-Content" id="S3.SS2.SSS1.p2.1.m1.1b"><ci id="S3.SS2.SSS1.p2.1.m1.1.1.cmml" xref="S3.SS2.SSS1.p2.1.m1.1.1">𝑄</ci></annotation-xml><annotation encoding="application/x-tex" id="S3.SS2.SSS1.p2.1.m1.1c">Q</annotation></semantics></math>-value directly gives the logits of the optimal policy via <math id="S3.SS2.SSS1.p2.2.m2.5" class="ltx_Math" alttext="\log p_{Q}(a|s)=Q(s,a)-\log\sum_{a^{\prime}\in\mathcal{A}}\exp Q(s,a^{\prime})" display="inline"><semantics id="S3.SS2.SSS1.p2.2.m2.5a"><mrow id="S3.SS2.SSS1.p2.2.m2.5.5" xref="S3.SS2.SSS1.p2.2.m2.5.5.cmml"><mrow id="S3.SS2.SSS1.p2.2.m2.4.4.1" xref="S3.SS2.SSS1.p2.2.m2.4.4.1.cmml"><mrow id="S3.SS2.SSS1.p2.2.m2.4.4.1.3" xref="S3.SS2.SSS1.p2.2.m2.4.4.1.3.cmml"><mi id="S3.SS2.SSS1.p2.2.m2.4.4.1.3.1" xref="S3.SS2.SSS1.p2.2.m2.4.4.1.3.1.cmml">log</mi><mo lspace="0.167em" id="S3.SS2.SSS1.p2.2.m2.4.4.1.3a" xref="S3.SS2.SSS1.p2.2.m2.4.4.1.3.cmml">⁡</mo><msub id="S3.SS2.SSS1.p2.2.m2.4.4.1.3.2" xref="S3.SS2.SSS1.p2.2.m2.4.4.1.3.2.cmml"><mi id="S3.SS2.SSS1.p2.2.m2.4.4.1.3.2.2" xref="S3.SS2.SSS1.p2.2.m2.4.4.1.3.2.2.cmml">p</mi><mi id="S3.SS2.SSS1.p2.2.m2.4.4.1.3.2.3" xref="S3.SS2.SSS1.p2.2.m2.4.4.1.3.2.3.cmml">Q</mi></msub></mrow><mo lspace="0em" rspace="0em" id="S3.SS2.SSS1.p2.2.m2.4.4.1.2" xref="S3.SS2.SSS1.p2.2.m2.4.4.1.2.cmml">​</mo><mrow id="S3.SS2.SSS1.p2.2.m2.4.4.1.1.1" xref="S3.SS2.SSS1.p2.2.m2.4.4.1.1.1.1.cmml"><mo stretchy="false" id="S3.SS2.SSS1.p2.2.m2.4.4.1.1.1.2" xref="S3.SS2.SSS1.p2.2.m2.4.4.1.1.1.1.cmml">(</mo><mrow id="S3.SS2.SSS1.p2.2.m2.4.4.1.1.1.1" xref="S3.SS2.SSS1.p2.2.m2.4.4.1.1.1.1.cmml"><mi id="S3.SS2.SSS1.p2.2.m2.4.4.1.1.1.1.2" xref="S3.SS2.SSS1.p2.2.m2.4.4.1.1.1.1.2.cmml">a</mi><mo fence="false" id="S3.SS2.SSS1.p2.2.m2.4.4.1.1.1.1.1" xref="S3.SS2.SSS1.p2.2.m2.4.4.1.1.1.1.1.cmml">|</mo><mi id="S3.SS2.SSS1.p2.2.m2.4.4.1.1.1.1.3" xref="S3.SS2.SSS1.p2.2.m2.4.4.1.1.1.1.3.cmml">s</mi></mrow><mo stretchy="false" id="S3.SS2.SSS1.p2.2.m2.4.4.1.1.1.3" xref="S3.SS2.SSS1.p2.2.m2.4.4.1.1.1.1.cmml">)</mo></mrow></mrow><mo id="S3.SS2.SSS1.p2.2.m2.5.5.3" xref="S3.SS2.SSS1.p2.2.m2.5.5.3.cmml">=</mo><mrow id="S3.SS2.SSS1.p2.2.m2.5.5.2" xref="S3.SS2.SSS1.p2.2.m2.5.5.2.cmml"><mrow id="S3.SS2.SSS1.p2.2.m2.5.5.2.3" xref="S3.SS2.SSS1.p2.2.m2.5.5.2.3.cmml"><mi id="S3.SS2.SSS1.p2.2.m2.5.5.2.3.2" xref="S3.SS2.SSS1.p2.2.m2.5.5.2.3.2.cmml">Q</mi><mo lspace="0em" rspace="0em" id="S3.SS2.SSS1.p2.2.m2.5.5.2.3.1" xref="S3.SS2.SSS1.p2.2.m2.5.5.2.3.1.cmml">​</mo><mrow id="S3.SS2.SSS1.p2.2.m2.5.5.2.3.3.2" xref="S3.SS2.SSS1.p2.2.m2.5.5.2.3.3.1.cmml"><mo stretchy="false" id="S3.SS2.SSS1.p2.2.m2.5.5.2.3.3.2.1" xref="S3.SS2.SSS1.p2.2.m2.5.5.2.3.3.1.cmml">(</mo><mi id="S3.SS2.SSS1.p2.2.m2.1.1" xref="S3.SS2.SSS1.p2.2.m2.1.1.cmml">s</mi><mo id="S3.SS2.SSS1.p2.2.m2.5.5.2.3.3.2.2" xref="S3.SS2.SSS1.p2.2.m2.5.5.2.3.3.1.cmml">,</mo><mi id="S3.SS2.SSS1.p2.2.m2.2.2" xref="S3.SS2.SSS1.p2.2.m2.2.2.cmml">a</mi><mo stretchy="false" id="S3.SS2.SSS1.p2.2.m2.5.5.2.3.3.2.3" xref="S3.SS2.SSS1.p2.2.m2.5.5.2.3.3.1.cmml">)</mo></mrow></mrow><mo id="S3.SS2.SSS1.p2.2.m2.5.5.2.2" xref="S3.SS2.SSS1.p2.2.m2.5.5.2.2.cmml">−</mo><mrow id="S3.SS2.SSS1.p2.2.m2.5.5.2.1" xref="S3.SS2.SSS1.p2.2.m2.5.5.2.1.cmml"><mi id="S3.SS2.SSS1.p2.2.m2.5.5.2.1.3" xref="S3.SS2.SSS1.p2.2.m2.5.5.2.1.3.cmml">log</mi><mo lspace="0em" rspace="0em" id="S3.SS2.SSS1.p2.2.m2.5.5.2.1.2" xref="S3.SS2.SSS1.p2.2.m2.5.5.2.1.2.cmml">​</mo><mrow id="S3.SS2.SSS1.p2.2.m2.5.5.2.1.1" xref="S3.SS2.SSS1.p2.2.m2.5.5.2.1.1.cmml"><msub id="S3.SS2.SSS1.p2.2.m2.5.5.2.1.1.2" xref="S3.SS2.SSS1.p2.2.m2.5.5.2.1.1.2.cmml"><mo id="S3.SS2.SSS1.p2.2.m2.5.5.2.1.1.2.2" xref="S3.SS2.SSS1.p2.2.m2.5.5.2.1.1.2.2.cmml">∑</mo><mrow id="S3.SS2.SSS1.p2.2.m2.5.5.2.1.1.2.3" xref="S3.SS2.SSS1.p2.2.m2.5.5.2.1.1.2.3.cmml"><msup id="S3.SS2.SSS1.p2.2.m2.5.5.2.1.1.2.3.2" xref="S3.SS2.SSS1.p2.2.m2.5.5.2.1.1.2.3.2.cmml"><mi id="S3.SS2.SSS1.p2.2.m2.5.5.2.1.1.2.3.2.2" xref="S3.SS2.SSS1.p2.2.m2.5.5.2.1.1.2.3.2.2.cmml">a</mi><mo id="S3.SS2.SSS1.p2.2.m2.5.5.2.1.1.2.3.2.3" xref="S3.SS2.SSS1.p2.2.m2.5.5.2.1.1.2.3.2.3.cmml">′</mo></msup><mo id="S3.SS2.SSS1.p2.2.m2.5.5.2.1.1.2.3.1" xref="S3.SS2.SSS1.p2.2.m2.5.5.2.1.1.2.3.1.cmml">∈</mo><mi class="ltx_font_mathcaligraphic" id="S3.SS2.SSS1.p2.2.m2.5.5.2.1.1.2.3.3" xref="S3.SS2.SSS1.p2.2.m2.5.5.2.1.1.2.3.3.cmml">𝒜</mi></mrow></msub><mrow id="S3.SS2.SSS1.p2.2.m2.5.5.2.1.1.1" xref="S3.SS2.SSS1.p2.2.m2.5.5.2.1.1.1.cmml"><mrow id="S3.SS2.SSS1.p2.2.m2.5.5.2.1.1.1.3" xref="S3.SS2.SSS1.p2.2.m2.5.5.2.1.1.1.3.cmml"><mi id="S3.SS2.SSS1.p2.2.m2.5.5.2.1.1.1.3.1" xref="S3.SS2.SSS1.p2.2.m2.5.5.2.1.1.1.3.1.cmml">exp</mi><mo lspace="0.167em" id="S3.SS2.SSS1.p2.2.m2.5.5.2.1.1.1.3a" xref="S3.SS2.SSS1.p2.2.m2.5.5.2.1.1.1.3.cmml">⁡</mo><mi id="S3.SS2.SSS1.p2.2.m2.5.5.2.1.1.1.3.2" xref="S3.SS2.SSS1.p2.2.m2.5.5.2.1.1.1.3.2.cmml">Q</mi></mrow><mo lspace="0em" rspace="0em" id="S3.SS2.SSS1.p2.2.m2.5.5.2.1.1.1.2" xref="S3.SS2.SSS1.p2.2.m2.5.5.2.1.1.1.2.cmml">​</mo><mrow id="S3.SS2.SSS1.p2.2.m2.5.5.2.1.1.1.1.1" xref="S3.SS2.SSS1.p2.2.m2.5.5.2.1.1.1.1.2.cmml"><mo stretchy="false" id="S3.SS2.SSS1.p2.2.m2.5.5.2.1.1.1.1.1.2" xref="S3.SS2.SSS1.p2.2.m2.5.5.2.1.1.1.1.2.cmml">(</mo><mi id="S3.SS2.SSS1.p2.2.m2.3.3" xref="S3.SS2.SSS1.p2.2.m2.3.3.cmml">s</mi><mo id="S3.SS2.SSS1.p2.2.m2.5.5.2.1.1.1.1.1.3" xref="S3.SS2.SSS1.p2.2.m2.5.5.2.1.1.1.1.2.cmml">,</mo><msup id="S3.SS2.SSS1.p2.2.m2.5.5.2.1.1.1.1.1.1" xref="S3.SS2.SSS1.p2.2.m2.5.5.2.1.1.1.1.1.1.cmml"><mi id="S3.SS2.SSS1.p2.2.m2.5.5.2.1.1.1.1.1.1.2" xref="S3.SS2.SSS1.p2.2.m2.5.5.2.1.1.1.1.1.1.2.cmml">a</mi><mo id="S3.SS2.SSS1.p2.2.m2.5.5.2.1.1.1.1.1.1.3" xref="S3.SS2.SSS1.p2.2.m2.5.5.2.1.1.1.1.1.1.3.cmml">′</mo></msup><mo stretchy="false" id="S3.SS2.SSS1.p2.2.m2.5.5.2.1.1.1.1.1.4" xref="S3.SS2.SSS1.p2.2.m2.5.5.2.1.1.1.1.2.cmml">)</mo></mrow></mrow></mrow></mrow></mrow></mrow><annotation-xml encoding="MathML-Content" id="S3.SS2.SSS1.p2.2.m2.5b"><apply id="S3.SS2.SSS1.p2.2.m2.5.5.cmml" xref="S3.SS2.SSS1.p2.2.m2.5.5"><eq id="S3.SS2.SSS1.p2.2.m2.5.5.3.cmml" xref="S3.SS2.SSS1.p2.2.m2.5.5.3"></eq><apply id="S3.SS2.SSS1.p2.2.m2.4.4.1.cmml" xref="S3.SS2.SSS1.p2.2.m2.4.4.1"><times id="S3.SS2.SSS1.p2.2.m2.4.4.1.2.cmml" xref="S3.SS2.SSS1.p2.2.m2.4.4.1.2"></times><apply id="S3.SS2.SSS1.p2.2.m2.4.4.1.3.cmml" xref="S3.SS2.SSS1.p2.2.m2.4.4.1.3"><log id="S3.SS2.SSS1.p2.2.m2.4.4.1.3.1.cmml" xref="S3.SS2.SSS1.p2.2.m2.4.4.1.3.1"></log><apply id="S3.SS2.SSS1.p2.2.m2.4.4.1.3.2.cmml" xref="S3.SS2.SSS1.p2.2.m2.4.4.1.3.2"><csymbol cd="ambiguous" id="S3.SS2.SSS1.p2.2.m2.4.4.1.3.2.1.cmml" xref="S3.SS2.SSS1.p2.2.m2.4.4.1.3.2">subscript</csymbol><ci id="S3.SS2.SSS1.p2.2.m2.4.4.1.3.2.2.cmml" xref="S3.SS2.SSS1.p2.2.m2.4.4.1.3.2.2">𝑝</ci><ci id="S3.SS2.SSS1.p2.2.m2.4.4.1.3.2.3.cmml" xref="S3.SS2.SSS1.p2.2.m2.4.4.1.3.2.3">𝑄</ci></apply></apply><apply id="S3.SS2.SSS1.p2.2.m2.4.4.1.1.1.1.cmml" xref="S3.SS2.SSS1.p2.2.m2.4.4.1.1.1"><csymbol cd="latexml" id="S3.SS2.SSS1.p2.2.m2.4.4.1.1.1.1.1.cmml" xref="S3.SS2.SSS1.p2.2.m2.4.4.1.1.1.1.1">conditional</csymbol><ci id="S3.SS2.SSS1.p2.2.m2.4.4.1.1.1.1.2.cmml" xref="S3.SS2.SSS1.p2.2.m2.4.4.1.1.1.1.2">𝑎</ci><ci id="S3.SS2.SSS1.p2.2.m2.4.4.1.1.1.1.3.cmml" xref="S3.SS2.SSS1.p2.2.m2.4.4.1.1.1.1.3">𝑠</ci></apply></apply><apply id="S3.SS2.SSS1.p2.2.m2.5.5.2.cmml" xref="S3.SS2.SSS1.p2.2.m2.5.5.2"><minus id="S3.SS2.SSS1.p2.2.m2.5.5.2.2.cmml" xref="S3.SS2.SSS1.p2.2.m2.5.5.2.2"></minus><apply id="S3.SS2.SSS1.p2.2.m2.5.5.2.3.cmml" xref="S3.SS2.SSS1.p2.2.m2.5.5.2.3"><times id="S3.SS2.SSS1.p2.2.m2.5.5.2.3.1.cmml" xref="S3.SS2.SSS1.p2.2.m2.5.5.2.3.1"></times><ci id="S3.SS2.SSS1.p2.2.m2.5.5.2.3.2.cmml" xref="S3.SS2.SSS1.p2.2.m2.5.5.2.3.2">𝑄</ci><interval closure="open" id="S3.SS2.SSS1.p2.2.m2.5.5.2.3.3.1.cmml" xref="S3.SS2.SSS1.p2.2.m2.5.5.2.3.3.2"><ci id="S3.SS2.SSS1.p2.2.m2.1.1.cmml" xref="S3.SS2.SSS1.p2.2.m2.1.1">𝑠</ci><ci id="S3.SS2.SSS1.p2.2.m2.2.2.cmml" xref="S3.SS2.SSS1.p2.2.m2.2.2">𝑎</ci></interval></apply><apply id="S3.SS2.SSS1.p2.2.m2.5.5.2.1.cmml" xref="S3.SS2.SSS1.p2.2.m2.5.5.2.1"><times id="S3.SS2.SSS1.p2.2.m2.5.5.2.1.2.cmml" xref="S3.SS2.SSS1.p2.2.m2.5.5.2.1.2"></times><log id="S3.SS2.SSS1.p2.2.m2.5.5.2.1.3.cmml" xref="S3.SS2.SSS1.p2.2.m2.5.5.2.1.3"></log><apply id="S3.SS2.SSS1.p2.2.m2.5.5.2.1.1.cmml" xref="S3.SS2.SSS1.p2.2.m2.5.5.2.1.1"><apply id="S3.SS2.SSS1.p2.2.m2.5.5.2.1.1.2.cmml" xref="S3.SS2.SSS1.p2.2.m2.5.5.2.1.1.2"><csymbol cd="ambiguous" id="S3.SS2.SSS1.p2.2.m2.5.5.2.1.1.2.1.cmml" xref="S3.SS2.SSS1.p2.2.m2.5.5.2.1.1.2">subscript</csymbol><sum id="S3.SS2.SSS1.p2.2.m2.5.5.2.1.1.2.2.cmml" xref="S3.SS2.SSS1.p2.2.m2.5.5.2.1.1.2.2"></sum><apply id="S3.SS2.SSS1.p2.2.m2.5.5.2.1.1.2.3.cmml" xref="S3.SS2.SSS1.p2.2.m2.5.5.2.1.1.2.3"><in id="S3.SS2.SSS1.p2.2.m2.5.5.2.1.1.2.3.1.cmml" xref="S3.SS2.SSS1.p2.2.m2.5.5.2.1.1.2.3.1"></in><apply id="S3.SS2.SSS1.p2.2.m2.5.5.2.1.1.2.3.2.cmml" xref="S3.SS2.SSS1.p2.2.m2.5.5.2.1.1.2.3.2"><csymbol cd="ambiguous" id="S3.SS2.SSS1.p2.2.m2.5.5.2.1.1.2.3.2.1.cmml" xref="S3.SS2.SSS1.p2.2.m2.5.5.2.1.1.2.3.2">superscript</csymbol><ci id="S3.SS2.SSS1.p2.2.m2.5.5.2.1.1.2.3.2.2.cmml" xref="S3.SS2.SSS1.p2.2.m2.5.5.2.1.1.2.3.2.2">𝑎</ci><ci id="S3.SS2.SSS1.p2.2.m2.5.5.2.1.1.2.3.2.3.cmml" xref="S3.SS2.SSS1.p2.2.m2.5.5.2.1.1.2.3.2.3">′</ci></apply><ci id="S3.SS2.SSS1.p2.2.m2.5.5.2.1.1.2.3.3.cmml" xref="S3.SS2.SSS1.p2.2.m2.5.5.2.1.1.2.3.3">𝒜</ci></apply></apply><apply id="S3.SS2.SSS1.p2.2.m2.5.5.2.1.1.1.cmml" xref="S3.SS2.SSS1.p2.2.m2.5.5.2.1.1.1"><times id="S3.SS2.SSS1.p2.2.m2.5.5.2.1.1.1.2.cmml" xref="S3.SS2.SSS1.p2.2.m2.5.5.2.1.1.1.2"></times><apply id="S3.SS2.SSS1.p2.2.m2.5.5.2.1.1.1.3.cmml" xref="S3.SS2.SSS1.p2.2.m2.5.5.2.1.1.1.3"><exp id="S3.SS2.SSS1.p2.2.m2.5.5.2.1.1.1.3.1.cmml" xref="S3.SS2.SSS1.p2.2.m2.5.5.2.1.1.1.3.1"></exp><ci id="S3.SS2.SSS1.p2.2.m2.5.5.2.1.1.1.3.2.cmml" xref="S3.SS2.SSS1.p2.2.m2.5.5.2.1.1.1.3.2">𝑄</ci></apply><interval closure="open" id="S3.SS2.SSS1.p2.2.m2.5.5.2.1.1.1.1.2.cmml" xref="S3.SS2.SSS1.p2.2.m2.5.5.2.1.1.1.1.1"><ci id="S3.SS2.SSS1.p2.2.m2.3.3.cmml" xref="S3.SS2.SSS1.p2.2.m2.3.3">𝑠</ci><apply id="S3.SS2.SSS1.p2.2.m2.5.5.2.1.1.1.1.1.1.cmml" xref="S3.SS2.SSS1.p2.2.m2.5.5.2.1.1.1.1.1.1"><csymbol cd="ambiguous" id="S3.SS2.SSS1.p2.2.m2.5.5.2.1.1.1.1.1.1.1.cmml" xref="S3.SS2.SSS1.p2.2.m2.5.5.2.1.1.1.1.1.1">superscript</csymbol><ci id="S3.SS2.SSS1.p2.2.m2.5.5.2.1.1.1.1.1.1.2.cmml" xref="S3.SS2.SSS1.p2.2.m2.5.5.2.1.1.1.1.1.1.2">𝑎</ci><ci id="S3.SS2.SSS1.p2.2.m2.5.5.2.1.1.1.1.1.1.3.cmml" xref="S3.SS2.SSS1.p2.2.m2.5.5.2.1.1.1.1.1.1.3">′</ci></apply></interval></apply></apply></apply></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="S3.SS2.SSS1.p2.2.m2.5c">\log p_{Q}(a|s)=Q(s,a)-\log\sum_{a^{\prime}\in\mathcal{A}}\exp Q(s,a^{\prime})</annotation></semantics></math>, we relabel <math id="S3.SS2.SSS1.p2.3.m3.1" class="ltx_Math" alttext="Q" display="inline"><semantics id="S3.SS2.SSS1.p2.3.m3.1a"><mi id="S3.SS2.SSS1.p2.3.m3.1.1" xref="S3.SS2.SSS1.p2.3.m3.1.1.cmml">Q</mi><annotation-xml encoding="MathML-Content" id="S3.SS2.SSS1.p2.3.m3.1b"><ci id="S3.SS2.SSS1.p2.3.m3.1.1.cmml" xref="S3.SS2.SSS1.p2.3.m3.1.1">𝑄</ci></annotation-xml><annotation encoding="application/x-tex" id="S3.SS2.SSS1.p2.3.m3.1c">Q</annotation></semantics></math> as <math id="S3.SS2.SSS1.p2.4.m4.1" class="ltx_Math" alttext="\ell_{\theta}" display="inline"><semantics id="S3.SS2.SSS1.p2.4.m4.1a"><msub id="S3.SS2.SSS1.p2.4.m4.1.1" xref="S3.SS2.SSS1.p2.4.m4.1.1.cmml"><mi mathvariant="normal" id="S3.SS2.SSS1.p2.4.m4.1.1.2" xref="S3.SS2.SSS1.p2.4.m4.1.1.2.cmml">ℓ</mi><mi id="S3.SS2.SSS1.p2.4.m4.1.1.3" xref="S3.SS2.SSS1.p2.4.m4.1.1.3.cmml">θ</mi></msub><annotation-xml encoding="MathML-Content" id="S3.SS2.SSS1.p2.4.m4.1b"><apply id="S3.SS2.SSS1.p2.4.m4.1.1.cmml" xref="S3.SS2.SSS1.p2.4.m4.1.1"><csymbol cd="ambiguous" id="S3.SS2.SSS1.p2.4.m4.1.1.1.cmml" xref="S3.SS2.SSS1.p2.4.m4.1.1">subscript</csymbol><ci id="S3.SS2.SSS1.p2.4.m4.1.1.2.cmml" xref="S3.SS2.SSS1.p2.4.m4.1.1.2">ℓ</ci><ci id="S3.SS2.SSS1.p2.4.m4.1.1.3.cmml" xref="S3.SS2.SSS1.p2.4.m4.1.1.3">𝜃</ci></apply></annotation-xml><annotation encoding="application/x-tex" id="S3.SS2.SSS1.p2.4.m4.1c">\ell_{\theta}</annotation></semantics></math> to make the connection to logits more clear. This results in the fully supervised objective over the logits of a policy <math id="S3.SS2.SSS1.p2.5.m5.1" class="ltx_Math" alttext="\ell_{\theta}" display="inline"><semantics id="S3.SS2.SSS1.p2.5.m5.1a"><msub id="S3.SS2.SSS1.p2.5.m5.1.1" xref="S3.SS2.SSS1.p2.5.m5.1.1.cmml"><mi mathvariant="normal" id="S3.SS2.SSS1.p2.5.m5.1.1.2" xref="S3.SS2.SSS1.p2.5.m5.1.1.2.cmml">ℓ</mi><mi id="S3.SS2.SSS1.p2.5.m5.1.1.3" xref="S3.SS2.SSS1.p2.5.m5.1.1.3.cmml">θ</mi></msub><annotation-xml encoding="MathML-Content" id="S3.SS2.SSS1.p2.5.m5.1b"><apply id="S3.SS2.SSS1.p2.5.m5.1.1.cmml" xref="S3.SS2.SSS1.p2.5.m5.1.1"><csymbol cd="ambiguous" id="S3.SS2.SSS1.p2.5.m5.1.1.1.cmml" xref="S3.SS2.SSS1.p2.5.m5.1.1">subscript</csymbol><ci id="S3.SS2.SSS1.p2.5.m5.1.1.2.cmml" xref="S3.SS2.SSS1.p2.5.m5.1.1.2">ℓ</ci><ci id="S3.SS2.SSS1.p2.5.m5.1.1.3.cmml" xref="S3.SS2.SSS1.p2.5.m5.1.1.3">𝜃</ci></apply></annotation-xml><annotation encoding="application/x-tex" id="S3.SS2.SSS1.p2.5.m5.1c">\ell_{\theta}</annotation></semantics></math></p>
<table id="A9.EGx6" class="ltx_equationgroup ltx_eqn_align ltx_eqn_table">

<tbody id="S3.E6"><tr class="ltx_equation ltx_eqn_row ltx_align_baseline">
<td class="ltx_eqn_cell ltx_eqn_center_padleft"></td>
<td class="ltx_td ltx_align_right ltx_eqn_cell"><math id="S3.E6.m1.1" class="ltx_Math" alttext="\displaystyle\mathcal{J}(\ell_{\theta})=" display="inline"><semantics id="S3.E6.m1.1a"><mrow id="S3.E6.m1.1.1" xref="S3.E6.m1.1.1.cmml"><mrow id="S3.E6.m1.1.1.1" xref="S3.E6.m1.1.1.1.cmml"><mi class="ltx_font_mathcaligraphic" id="S3.E6.m1.1.1.1.3" xref="S3.E6.m1.1.1.1.3.cmml">𝒥</mi><mo lspace="0em" rspace="0em" id="S3.E6.m1.1.1.1.2" xref="S3.E6.m1.1.1.1.2.cmml">​</mo><mrow id="S3.E6.m1.1.1.1.1.1" xref="S3.E6.m1.1.1.1.1.1.1.cmml"><mo stretchy="false" id="S3.E6.m1.1.1.1.1.1.2" xref="S3.E6.m1.1.1.1.1.1.1.cmml">(</mo><msub id="S3.E6.m1.1.1.1.1.1.1" xref="S3.E6.m1.1.1.1.1.1.1.cmml"><mi mathvariant="normal" id="S3.E6.m1.1.1.1.1.1.1.2" xref="S3.E6.m1.1.1.1.1.1.1.2.cmml">ℓ</mi><mi id="S3.E6.m1.1.1.1.1.1.1.3" xref="S3.E6.m1.1.1.1.1.1.1.3.cmml">θ</mi></msub><mo stretchy="false" id="S3.E6.m1.1.1.1.1.1.3" xref="S3.E6.m1.1.1.1.1.1.1.cmml">)</mo></mrow></mrow><mo id="S3.E6.m1.1.1.2" xref="S3.E6.m1.1.1.2.cmml">=</mo><mi id="S3.E6.m1.1.1.3" xref="S3.E6.m1.1.1.3.cmml"></mi></mrow><annotation-xml encoding="MathML-Content" id="S3.E6.m1.1b"><apply id="S3.E6.m1.1.1.cmml" xref="S3.E6.m1.1.1"><eq id="S3.E6.m1.1.1.2.cmml" xref="S3.E6.m1.1.1.2"></eq><apply id="S3.E6.m1.1.1.1.cmml" xref="S3.E6.m1.1.1.1"><times id="S3.E6.m1.1.1.1.2.cmml" xref="S3.E6.m1.1.1.1.2"></times><ci id="S3.E6.m1.1.1.1.3.cmml" xref="S3.E6.m1.1.1.1.3">𝒥</ci><apply id="S3.E6.m1.1.1.1.1.1.1.cmml" xref="S3.E6.m1.1.1.1.1.1"><csymbol cd="ambiguous" id="S3.E6.m1.1.1.1.1.1.1.1.cmml" xref="S3.E6.m1.1.1.1.1.1">subscript</csymbol><ci id="S3.E6.m1.1.1.1.1.1.1.2.cmml" xref="S3.E6.m1.1.1.1.1.1.1.2">ℓ</ci><ci id="S3.E6.m1.1.1.1.1.1.1.3.cmml" xref="S3.E6.m1.1.1.1.1.1.1.3">𝜃</ci></apply></apply><csymbol cd="latexml" id="S3.E6.m1.1.1.3.cmml" xref="S3.E6.m1.1.1.3">absent</csymbol></apply></annotation-xml><annotation encoding="application/x-tex" id="S3.E6.m1.1c">\displaystyle\mathcal{J}(\ell_{\theta})=</annotation></semantics></math></td>
<td class="ltx_td ltx_align_left ltx_eqn_cell"><math id="S3.E6.m2.5" class="ltx_math_unparsed" alttext="\displaystyle\frac{1}{\alpha}\mathbb{E}_{s,a,s^{\prime}\sim\rho_{\text{data}}}\left[\phi(\alpha\ell_{\theta}(a|s)-\alpha\gamma V(s^{\prime})\right]-\frac{1}{2}\mathbb{E}_{s,s^{\prime}\sim\rho_{\text{data}}}\left[V(s)-\gamma V(s^{\prime})\right]" display="inline"><semantics id="S3.E6.m2.5a"><mrow id="S3.E6.m2.5b"><mstyle displaystyle="true" id="S3.E6.m2.5.6"><mfrac id="S3.E6.m2.5.6a"><mn id="S3.E6.m2.5.6.2">1</mn><mi id="S3.E6.m2.5.6.3">α</mi></mfrac></mstyle><msub id="S3.E6.m2.5.7"><mi id="S3.E6.m2.5.7.2">𝔼</mi><mrow id="S3.E6.m2.3.3.3"><mrow id="S3.E6.m2.3.3.3.3.1"><mi id="S3.E6.m2.1.1.1.1">s</mi><mo id="S3.E6.m2.3.3.3.3.1.2">,</mo><mi id="S3.E6.m2.2.2.2.2">a</mi><mo id="S3.E6.m2.3.3.3.3.1.3">,</mo><msup id="S3.E6.m2.3.3.3.3.1.1"><mi id="S3.E6.m2.3.3.3.3.1.1.2">s</mi><mo id="S3.E6.m2.3.3.3.3.1.1.3">′</mo></msup></mrow><mo id="S3.E6.m2.3.3.3.4">∼</mo><msub id="S3.E6.m2.3.3.3.5"><mi id="S3.E6.m2.3.3.3.5.2">ρ</mi><mtext id="S3.E6.m2.3.3.3.5.3">data</mtext></msub></mrow></msub><mrow id="S3.E6.m2.5.8"><mo id="S3.E6.m2.5.8.1">[</mo><mi id="S3.E6.m2.5.8.2">ϕ</mi><mrow id="S3.E6.m2.5.8.3"><mo stretchy="false" id="S3.E6.m2.5.8.3.1">(</mo><mi id="S3.E6.m2.5.8.3.2">α</mi><msub id="S3.E6.m2.5.8.3.3"><mi mathvariant="normal" id="S3.E6.m2.5.8.3.3.2">ℓ</mi><mi id="S3.E6.m2.5.8.3.3.3">θ</mi></msub><mrow id="S3.E6.m2.5.8.3.4"><mo stretchy="false" id="S3.E6.m2.5.8.3.4.1">(</mo><mi id="S3.E6.m2.5.8.3.4.2">a</mi><mo fence="false" rspace="0.167em" stretchy="false" id="S3.E6.m2.5.8.3.4.3">|</mo><mi id="S3.E6.m2.5.8.3.4.4">s</mi><mo stretchy="false" id="S3.E6.m2.5.8.3.4.5">)</mo></mrow><mo id="S3.E6.m2.5.8.3.5">−</mo><mi id="S3.E6.m2.5.8.3.6">α</mi><mi id="S3.E6.m2.5.8.3.7">γ</mi><mi id="S3.E6.m2.5.8.3.8">V</mi><mrow id="S3.E6.m2.5.8.3.9"><mo stretchy="false" id="S3.E6.m2.5.8.3.9.1">(</mo><msup id="S3.E6.m2.5.8.3.9.2"><mi id="S3.E6.m2.5.8.3.9.2.2">s</mi><mo id="S3.E6.m2.5.8.3.9.2.3">′</mo></msup><mo stretchy="false" id="S3.E6.m2.5.8.3.9.3">)</mo></mrow><mo id="S3.E6.m2.5.8.3.10">]</mo></mrow><mo id="S3.E6.m2.5.8.4">−</mo><mstyle displaystyle="true" id="S3.E6.m2.5.8.5"><mfrac id="S3.E6.m2.5.8.5a"><mn id="S3.E6.m2.5.8.5.2">1</mn><mn id="S3.E6.m2.5.8.5.3">2</mn></mfrac></mstyle><msub id="S3.E6.m2.5.8.6"><mi id="S3.E6.m2.5.8.6.2">𝔼</mi><mrow id="S3.E6.m2.5.5.2"><mrow id="S3.E6.m2.5.5.2.2.1"><mi id="S3.E6.m2.4.4.1.1">s</mi><mo id="S3.E6.m2.5.5.2.2.1.2">,</mo><msup id="S3.E6.m2.5.5.2.2.1.1"><mi id="S3.E6.m2.5.5.2.2.1.1.2">s</mi><mo id="S3.E6.m2.5.5.2.2.1.1.3">′</mo></msup></mrow><mo id="S3.E6.m2.5.5.2.3">∼</mo><msub id="S3.E6.m2.5.5.2.4"><mi id="S3.E6.m2.5.5.2.4.2">ρ</mi><mtext id="S3.E6.m2.5.5.2.4.3">data</mtext></msub></mrow></msub><mrow id="S3.E6.m2.5.8.7"><mo id="S3.E6.m2.5.8.7.1">[</mo><mi id="S3.E6.m2.5.8.7.2">V</mi><mrow id="S3.E6.m2.5.8.7.3"><mo stretchy="false" id="S3.E6.m2.5.8.7.3.1">(</mo><mi id="S3.E6.m2.5.8.7.3.2">s</mi><mo stretchy="false" id="S3.E6.m2.5.8.7.3.3">)</mo></mrow><mo id="S3.E6.m2.5.8.7.4">−</mo><mi id="S3.E6.m2.5.8.7.5">γ</mi><mi id="S3.E6.m2.5.8.7.6">V</mi><mrow id="S3.E6.m2.5.8.7.7"><mo stretchy="false" id="S3.E6.m2.5.8.7.7.1">(</mo><msup id="S3.E6.m2.5.8.7.7.2"><mi id="S3.E6.m2.5.8.7.7.2.2">s</mi><mo id="S3.E6.m2.5.8.7.7.2.3">′</mo></msup><mo stretchy="false" id="S3.E6.m2.5.8.7.7.3">)</mo></mrow><mo id="S3.E6.m2.5.8.7.8">]</mo></mrow></mrow></mrow><annotation encoding="application/x-tex" id="S3.E6.m2.5c">\displaystyle\frac{1}{\alpha}\mathbb{E}_{s,a,s^{\prime}\sim\rho_{\text{data}}}\left[\phi(\alpha\ell_{\theta}(a|s)-\alpha\gamma V(s^{\prime})\right]-\frac{1}{2}\mathbb{E}_{s,s^{\prime}\sim\rho_{\text{data}}}\left[V(s)-\gamma V(s^{\prime})\right]</annotation></semantics></math></td>
<td class="ltx_eqn_cell ltx_eqn_center_padright"></td>
<td rowspan="1" class="ltx_eqn_cell ltx_eqn_eqno ltx_align_middle ltx_align_right"><span class="ltx_tag ltx_tag_equation ltx_align_right">(6)</span></td>
</tr></tbody>
<tbody id="S3.Ex8"><tr class="ltx_equation ltx_eqn_row ltx_align_baseline">
<td class="ltx_eqn_cell ltx_eqn_center_padleft"></td>
<td class="ltx_td ltx_eqn_cell"></td>
<td class="ltx_td ltx_align_left ltx_eqn_cell"><math id="S3.Ex8.m1.4" class="ltx_Math" alttext="\displaystyle-\frac{1}{2}\mathbb{E}_{s,s^{\prime}\sim\rho_{\theta}}\left[V(s)-\gamma V(s^{\prime})\right]," display="inline"><semantics id="S3.Ex8.m1.4a"><mrow id="S3.Ex8.m1.4.4.1" xref="S3.Ex8.m1.4.4.1.1.cmml"><mrow id="S3.Ex8.m1.4.4.1.1" xref="S3.Ex8.m1.4.4.1.1.cmml"><mo id="S3.Ex8.m1.4.4.1.1a" xref="S3.Ex8.m1.4.4.1.1.cmml">−</mo><mrow id="S3.Ex8.m1.4.4.1.1.1" xref="S3.Ex8.m1.4.4.1.1.1.cmml"><mstyle displaystyle="true" id="S3.Ex8.m1.4.4.1.1.1.3" xref="S3.Ex8.m1.4.4.1.1.1.3.cmml"><mfrac id="S3.Ex8.m1.4.4.1.1.1.3a" xref="S3.Ex8.m1.4.4.1.1.1.3.cmml"><mn id="S3.Ex8.m1.4.4.1.1.1.3.2" xref="S3.Ex8.m1.4.4.1.1.1.3.2.cmml">1</mn><mn id="S3.Ex8.m1.4.4.1.1.1.3.3" xref="S3.Ex8.m1.4.4.1.1.1.3.3.cmml">2</mn></mfrac></mstyle><mo lspace="0em" rspace="0em" id="S3.Ex8.m1.4.4.1.1.1.2" xref="S3.Ex8.m1.4.4.1.1.1.2.cmml">​</mo><msub id="S3.Ex8.m1.4.4.1.1.1.4" xref="S3.Ex8.m1.4.4.1.1.1.4.cmml"><mi id="S3.Ex8.m1.4.4.1.1.1.4.2" xref="S3.Ex8.m1.4.4.1.1.1.4.2.cmml">𝔼</mi><mrow id="S3.Ex8.m1.2.2.2" xref="S3.Ex8.m1.2.2.2.cmml"><mrow id="S3.Ex8.m1.2.2.2.2.1" xref="S3.Ex8.m1.2.2.2.2.2.cmml"><mi id="S3.Ex8.m1.1.1.1.1" xref="S3.Ex8.m1.1.1.1.1.cmml">s</mi><mo id="S3.Ex8.m1.2.2.2.2.1.2" xref="S3.Ex8.m1.2.2.2.2.2.cmml">,</mo><msup id="S3.Ex8.m1.2.2.2.2.1.1" xref="S3.Ex8.m1.2.2.2.2.1.1.cmml"><mi id="S3.Ex8.m1.2.2.2.2.1.1.2" xref="S3.Ex8.m1.2.2.2.2.1.1.2.cmml">s</mi><mo id="S3.Ex8.m1.2.2.2.2.1.1.3" xref="S3.Ex8.m1.2.2.2.2.1.1.3.cmml">′</mo></msup></mrow><mo id="S3.Ex8.m1.2.2.2.3" xref="S3.Ex8.m1.2.2.2.3.cmml">∼</mo><msub id="S3.Ex8.m1.2.2.2.4" xref="S3.Ex8.m1.2.2.2.4.cmml"><mi id="S3.Ex8.m1.2.2.2.4.2" xref="S3.Ex8.m1.2.2.2.4.2.cmml">ρ</mi><mi id="S3.Ex8.m1.2.2.2.4.3" xref="S3.Ex8.m1.2.2.2.4.3.cmml">θ</mi></msub></mrow></msub><mo lspace="0em" rspace="0em" id="S3.Ex8.m1.4.4.1.1.1.2a" xref="S3.Ex8.m1.4.4.1.1.1.2.cmml">​</mo><mrow id="S3.Ex8.m1.4.4.1.1.1.1.1" xref="S3.Ex8.m1.4.4.1.1.1.1.2.cmml"><mo id="S3.Ex8.m1.4.4.1.1.1.1.1.2" xref="S3.Ex8.m1.4.4.1.1.1.1.2.1.cmml">[</mo><mrow id="S3.Ex8.m1.4.4.1.1.1.1.1.1" xref="S3.Ex8.m1.4.4.1.1.1.1.1.1.cmml"><mrow id="S3.Ex8.m1.4.4.1.1.1.1.1.1.3" xref="S3.Ex8.m1.4.4.1.1.1.1.1.1.3.cmml"><mi id="S3.Ex8.m1.4.4.1.1.1.1.1.1.3.2" xref="S3.Ex8.m1.4.4.1.1.1.1.1.1.3.2.cmml">V</mi><mo lspace="0em" rspace="0em" id="S3.Ex8.m1.4.4.1.1.1.1.1.1.3.1" xref="S3.Ex8.m1.4.4.1.1.1.1.1.1.3.1.cmml">​</mo><mrow id="S3.Ex8.m1.4.4.1.1.1.1.1.1.3.3.2" xref="S3.Ex8.m1.4.4.1.1.1.1.1.1.3.cmml"><mo stretchy="false" id="S3.Ex8.m1.4.4.1.1.1.1.1.1.3.3.2.1" xref="S3.Ex8.m1.4.4.1.1.1.1.1.1.3.cmml">(</mo><mi id="S3.Ex8.m1.3.3" xref="S3.Ex8.m1.3.3.cmml">s</mi><mo stretchy="false" id="S3.Ex8.m1.4.4.1.1.1.1.1.1.3.3.2.2" xref="S3.Ex8.m1.4.4.1.1.1.1.1.1.3.cmml">)</mo></mrow></mrow><mo id="S3.Ex8.m1.4.4.1.1.1.1.1.1.2" xref="S3.Ex8.m1.4.4.1.1.1.1.1.1.2.cmml">−</mo><mrow id="S3.Ex8.m1.4.4.1.1.1.1.1.1.1" xref="S3.Ex8.m1.4.4.1.1.1.1.1.1.1.cmml"><mi id="S3.Ex8.m1.4.4.1.1.1.1.1.1.1.3" xref="S3.Ex8.m1.4.4.1.1.1.1.1.1.1.3.cmml">γ</mi><mo lspace="0em" rspace="0em" id="S3.Ex8.m1.4.4.1.1.1.1.1.1.1.2" xref="S3.Ex8.m1.4.4.1.1.1.1.1.1.1.2.cmml">​</mo><mi id="S3.Ex8.m1.4.4.1.1.1.1.1.1.1.4" xref="S3.Ex8.m1.4.4.1.1.1.1.1.1.1.4.cmml">V</mi><mo lspace="0em" rspace="0em" id="S3.Ex8.m1.4.4.1.1.1.1.1.1.1.2a" xref="S3.Ex8.m1.4.4.1.1.1.1.1.1.1.2.cmml">​</mo><mrow id="S3.Ex8.m1.4.4.1.1.1.1.1.1.1.1.1" xref="S3.Ex8.m1.4.4.1.1.1.1.1.1.1.1.1.1.cmml"><mo stretchy="false" id="S3.Ex8.m1.4.4.1.1.1.1.1.1.1.1.1.2" xref="S3.Ex8.m1.4.4.1.1.1.1.1.1.1.1.1.1.cmml">(</mo><msup id="S3.Ex8.m1.4.4.1.1.1.1.1.1.1.1.1.1" xref="S3.Ex8.m1.4.4.1.1.1.1.1.1.1.1.1.1.cmml"><mi id="S3.Ex8.m1.4.4.1.1.1.1.1.1.1.1.1.1.2" xref="S3.Ex8.m1.4.4.1.1.1.1.1.1.1.1.1.1.2.cmml">s</mi><mo id="S3.Ex8.m1.4.4.1.1.1.1.1.1.1.1.1.1.3" xref="S3.Ex8.m1.4.4.1.1.1.1.1.1.1.1.1.1.3.cmml">′</mo></msup><mo stretchy="false" id="S3.Ex8.m1.4.4.1.1.1.1.1.1.1.1.1.3" xref="S3.Ex8.m1.4.4.1.1.1.1.1.1.1.1.1.1.cmml">)</mo></mrow></mrow></mrow><mo id="S3.Ex8.m1.4.4.1.1.1.1.1.3" xref="S3.Ex8.m1.4.4.1.1.1.1.2.1.cmml">]</mo></mrow></mrow></mrow><mo id="S3.Ex8.m1.4.4.1.2" xref="S3.Ex8.m1.4.4.1.1.cmml">,</mo></mrow><annotation-xml encoding="MathML-Content" id="S3.Ex8.m1.4b"><apply id="S3.Ex8.m1.4.4.1.1.cmml" xref="S3.Ex8.m1.4.4.1"><minus id="S3.Ex8.m1.4.4.1.1.2.cmml" xref="S3.Ex8.m1.4.4.1"></minus><apply id="S3.Ex8.m1.4.4.1.1.1.cmml" xref="S3.Ex8.m1.4.4.1.1.1"><times id="S3.Ex8.m1.4.4.1.1.1.2.cmml" xref="S3.Ex8.m1.4.4.1.1.1.2"></times><apply id="S3.Ex8.m1.4.4.1.1.1.3.cmml" xref="S3.Ex8.m1.4.4.1.1.1.3"><divide id="S3.Ex8.m1.4.4.1.1.1.3.1.cmml" xref="S3.Ex8.m1.4.4.1.1.1.3"></divide><cn type="integer" id="S3.Ex8.m1.4.4.1.1.1.3.2.cmml" xref="S3.Ex8.m1.4.4.1.1.1.3.2">1</cn><cn type="integer" id="S3.Ex8.m1.4.4.1.1.1.3.3.cmml" xref="S3.Ex8.m1.4.4.1.1.1.3.3">2</cn></apply><apply id="S3.Ex8.m1.4.4.1.1.1.4.cmml" xref="S3.Ex8.m1.4.4.1.1.1.4"><csymbol cd="ambiguous" id="S3.Ex8.m1.4.4.1.1.1.4.1.cmml" xref="S3.Ex8.m1.4.4.1.1.1.4">subscript</csymbol><ci id="S3.Ex8.m1.4.4.1.1.1.4.2.cmml" xref="S3.Ex8.m1.4.4.1.1.1.4.2">𝔼</ci><apply id="S3.Ex8.m1.2.2.2.cmml" xref="S3.Ex8.m1.2.2.2"><csymbol cd="latexml" id="S3.Ex8.m1.2.2.2.3.cmml" xref="S3.Ex8.m1.2.2.2.3">similar-to</csymbol><list id="S3.Ex8.m1.2.2.2.2.2.cmml" xref="S3.Ex8.m1.2.2.2.2.1"><ci id="S3.Ex8.m1.1.1.1.1.cmml" xref="S3.Ex8.m1.1.1.1.1">𝑠</ci><apply id="S3.Ex8.m1.2.2.2.2.1.1.cmml" xref="S3.Ex8.m1.2.2.2.2.1.1"><csymbol cd="ambiguous" id="S3.Ex8.m1.2.2.2.2.1.1.1.cmml" xref="S3.Ex8.m1.2.2.2.2.1.1">superscript</csymbol><ci id="S3.Ex8.m1.2.2.2.2.1.1.2.cmml" xref="S3.Ex8.m1.2.2.2.2.1.1.2">𝑠</ci><ci id="S3.Ex8.m1.2.2.2.2.1.1.3.cmml" xref="S3.Ex8.m1.2.2.2.2.1.1.3">′</ci></apply></list><apply id="S3.Ex8.m1.2.2.2.4.cmml" xref="S3.Ex8.m1.2.2.2.4"><csymbol cd="ambiguous" id="S3.Ex8.m1.2.2.2.4.1.cmml" xref="S3.Ex8.m1.2.2.2.4">subscript</csymbol><ci id="S3.Ex8.m1.2.2.2.4.2.cmml" xref="S3.Ex8.m1.2.2.2.4.2">𝜌</ci><ci id="S3.Ex8.m1.2.2.2.4.3.cmml" xref="S3.Ex8.m1.2.2.2.4.3">𝜃</ci></apply></apply></apply><apply id="S3.Ex8.m1.4.4.1.1.1.1.2.cmml" xref="S3.Ex8.m1.4.4.1.1.1.1.1"><csymbol cd="latexml" id="S3.Ex8.m1.4.4.1.1.1.1.2.1.cmml" xref="S3.Ex8.m1.4.4.1.1.1.1.1.2">delimited-[]</csymbol><apply id="S3.Ex8.m1.4.4.1.1.1.1.1.1.cmml" xref="S3.Ex8.m1.4.4.1.1.1.1.1.1"><minus id="S3.Ex8.m1.4.4.1.1.1.1.1.1.2.cmml" xref="S3.Ex8.m1.4.4.1.1.1.1.1.1.2"></minus><apply id="S3.Ex8.m1.4.4.1.1.1.1.1.1.3.cmml" xref="S3.Ex8.m1.4.4.1.1.1.1.1.1.3"><times id="S3.Ex8.m1.4.4.1.1.1.1.1.1.3.1.cmml" xref="S3.Ex8.m1.4.4.1.1.1.1.1.1.3.1"></times><ci id="S3.Ex8.m1.4.4.1.1.1.1.1.1.3.2.cmml" xref="S3.Ex8.m1.4.4.1.1.1.1.1.1.3.2">𝑉</ci><ci id="S3.Ex8.m1.3.3.cmml" xref="S3.Ex8.m1.3.3">𝑠</ci></apply><apply id="S3.Ex8.m1.4.4.1.1.1.1.1.1.1.cmml" xref="S3.Ex8.m1.4.4.1.1.1.1.1.1.1"><times id="S3.Ex8.m1.4.4.1.1.1.1.1.1.1.2.cmml" xref="S3.Ex8.m1.4.4.1.1.1.1.1.1.1.2"></times><ci id="S3.Ex8.m1.4.4.1.1.1.1.1.1.1.3.cmml" xref="S3.Ex8.m1.4.4.1.1.1.1.1.1.1.3">𝛾</ci><ci id="S3.Ex8.m1.4.4.1.1.1.1.1.1.1.4.cmml" xref="S3.Ex8.m1.4.4.1.1.1.1.1.1.1.4">𝑉</ci><apply id="S3.Ex8.m1.4.4.1.1.1.1.1.1.1.1.1.1.cmml" xref="S3.Ex8.m1.4.4.1.1.1.1.1.1.1.1.1"><csymbol cd="ambiguous" id="S3.Ex8.m1.4.4.1.1.1.1.1.1.1.1.1.1.1.cmml" xref="S3.Ex8.m1.4.4.1.1.1.1.1.1.1.1.1">superscript</csymbol><ci id="S3.Ex8.m1.4.4.1.1.1.1.1.1.1.1.1.1.2.cmml" xref="S3.Ex8.m1.4.4.1.1.1.1.1.1.1.1.1.1.2">𝑠</ci><ci id="S3.Ex8.m1.4.4.1.1.1.1.1.1.1.1.1.1.3.cmml" xref="S3.Ex8.m1.4.4.1.1.1.1.1.1.1.1.1.1.3">′</ci></apply></apply></apply></apply></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="S3.Ex8.m1.4c">\displaystyle-\frac{1}{2}\mathbb{E}_{s,s^{\prime}\sim\rho_{\theta}}\left[V(s)-\gamma V(s^{\prime})\right],</annotation></semantics></math></td>
<td class="ltx_eqn_cell ltx_eqn_center_padright"></td>
</tr></tbody>
</table>
<p id="S3.SS2.SSS1.p2.11" class="ltx_p">where <math id="S3.SS2.SSS1.p2.6.m1.3" class="ltx_Math" alttext="(s,a,s^{\prime})\sim\rho" display="inline"><semantics id="S3.SS2.SSS1.p2.6.m1.3a"><mrow id="S3.SS2.SSS1.p2.6.m1.3.3" xref="S3.SS2.SSS1.p2.6.m1.3.3.cmml"><mrow id="S3.SS2.SSS1.p2.6.m1.3.3.1.1" xref="S3.SS2.SSS1.p2.6.m1.3.3.1.2.cmml"><mo stretchy="false" id="S3.SS2.SSS1.p2.6.m1.3.3.1.1.2" xref="S3.SS2.SSS1.p2.6.m1.3.3.1.2.cmml">(</mo><mi id="S3.SS2.SSS1.p2.6.m1.1.1" xref="S3.SS2.SSS1.p2.6.m1.1.1.cmml">s</mi><mo id="S3.SS2.SSS1.p2.6.m1.3.3.1.1.3" xref="S3.SS2.SSS1.p2.6.m1.3.3.1.2.cmml">,</mo><mi id="S3.SS2.SSS1.p2.6.m1.2.2" xref="S3.SS2.SSS1.p2.6.m1.2.2.cmml">a</mi><mo id="S3.SS2.SSS1.p2.6.m1.3.3.1.1.4" xref="S3.SS2.SSS1.p2.6.m1.3.3.1.2.cmml">,</mo><msup id="S3.SS2.SSS1.p2.6.m1.3.3.1.1.1" xref="S3.SS2.SSS1.p2.6.m1.3.3.1.1.1.cmml"><mi id="S3.SS2.SSS1.p2.6.m1.3.3.1.1.1.2" xref="S3.SS2.SSS1.p2.6.m1.3.3.1.1.1.2.cmml">s</mi><mo id="S3.SS2.SSS1.p2.6.m1.3.3.1.1.1.3" xref="S3.SS2.SSS1.p2.6.m1.3.3.1.1.1.3.cmml">′</mo></msup><mo stretchy="false" id="S3.SS2.SSS1.p2.6.m1.3.3.1.1.5" xref="S3.SS2.SSS1.p2.6.m1.3.3.1.2.cmml">)</mo></mrow><mo id="S3.SS2.SSS1.p2.6.m1.3.3.2" xref="S3.SS2.SSS1.p2.6.m1.3.3.2.cmml">∼</mo><mi id="S3.SS2.SSS1.p2.6.m1.3.3.3" xref="S3.SS2.SSS1.p2.6.m1.3.3.3.cmml">ρ</mi></mrow><annotation-xml encoding="MathML-Content" id="S3.SS2.SSS1.p2.6.m1.3b"><apply id="S3.SS2.SSS1.p2.6.m1.3.3.cmml" xref="S3.SS2.SSS1.p2.6.m1.3.3"><csymbol cd="latexml" id="S3.SS2.SSS1.p2.6.m1.3.3.2.cmml" xref="S3.SS2.SSS1.p2.6.m1.3.3.2">similar-to</csymbol><vector id="S3.SS2.SSS1.p2.6.m1.3.3.1.2.cmml" xref="S3.SS2.SSS1.p2.6.m1.3.3.1.1"><ci id="S3.SS2.SSS1.p2.6.m1.1.1.cmml" xref="S3.SS2.SSS1.p2.6.m1.1.1">𝑠</ci><ci id="S3.SS2.SSS1.p2.6.m1.2.2.cmml" xref="S3.SS2.SSS1.p2.6.m1.2.2">𝑎</ci><apply id="S3.SS2.SSS1.p2.6.m1.3.3.1.1.1.cmml" xref="S3.SS2.SSS1.p2.6.m1.3.3.1.1.1"><csymbol cd="ambiguous" id="S3.SS2.SSS1.p2.6.m1.3.3.1.1.1.1.cmml" xref="S3.SS2.SSS1.p2.6.m1.3.3.1.1.1">superscript</csymbol><ci id="S3.SS2.SSS1.p2.6.m1.3.3.1.1.1.2.cmml" xref="S3.SS2.SSS1.p2.6.m1.3.3.1.1.1.2">𝑠</ci><ci id="S3.SS2.SSS1.p2.6.m1.3.3.1.1.1.3.cmml" xref="S3.SS2.SSS1.p2.6.m1.3.3.1.1.1.3">′</ci></apply></vector><ci id="S3.SS2.SSS1.p2.6.m1.3.3.3.cmml" xref="S3.SS2.SSS1.p2.6.m1.3.3.3">𝜌</ci></apply></annotation-xml><annotation encoding="application/x-tex" id="S3.SS2.SSS1.p2.6.m1.3c">(s,a,s^{\prime})\sim\rho</annotation></semantics></math> corresponds to sampling <math id="S3.SS2.SSS1.p2.7.m2.2" class="ltx_Math" alttext="s,a" display="inline"><semantics id="S3.SS2.SSS1.p2.7.m2.2a"><mrow id="S3.SS2.SSS1.p2.7.m2.2.3.2" xref="S3.SS2.SSS1.p2.7.m2.2.3.1.cmml"><mi id="S3.SS2.SSS1.p2.7.m2.1.1" xref="S3.SS2.SSS1.p2.7.m2.1.1.cmml">s</mi><mo id="S3.SS2.SSS1.p2.7.m2.2.3.2.1" xref="S3.SS2.SSS1.p2.7.m2.2.3.1.cmml">,</mo><mi id="S3.SS2.SSS1.p2.7.m2.2.2" xref="S3.SS2.SSS1.p2.7.m2.2.2.cmml">a</mi></mrow><annotation-xml encoding="MathML-Content" id="S3.SS2.SSS1.p2.7.m2.2b"><list id="S3.SS2.SSS1.p2.7.m2.2.3.1.cmml" xref="S3.SS2.SSS1.p2.7.m2.2.3.2"><ci id="S3.SS2.SSS1.p2.7.m2.1.1.cmml" xref="S3.SS2.SSS1.p2.7.m2.1.1">𝑠</ci><ci id="S3.SS2.SSS1.p2.7.m2.2.2.cmml" xref="S3.SS2.SSS1.p2.7.m2.2.2">𝑎</ci></list></annotation-xml><annotation encoding="application/x-tex" id="S3.SS2.SSS1.p2.7.m2.2c">s,a</annotation></semantics></math> from <math id="S3.SS2.SSS1.p2.8.m3.1" class="ltx_Math" alttext="\rho" display="inline"><semantics id="S3.SS2.SSS1.p2.8.m3.1a"><mi id="S3.SS2.SSS1.p2.8.m3.1.1" xref="S3.SS2.SSS1.p2.8.m3.1.1.cmml">ρ</mi><annotation-xml encoding="MathML-Content" id="S3.SS2.SSS1.p2.8.m3.1b"><ci id="S3.SS2.SSS1.p2.8.m3.1.1.cmml" xref="S3.SS2.SSS1.p2.8.m3.1.1">𝜌</ci></annotation-xml><annotation encoding="application/x-tex" id="S3.SS2.SSS1.p2.8.m3.1c">\rho</annotation></semantics></math> and <math id="S3.SS2.SSS1.p2.9.m4.1" class="ltx_Math" alttext="s^{\prime}" display="inline"><semantics id="S3.SS2.SSS1.p2.9.m4.1a"><msup id="S3.SS2.SSS1.p2.9.m4.1.1" xref="S3.SS2.SSS1.p2.9.m4.1.1.cmml"><mi id="S3.SS2.SSS1.p2.9.m4.1.1.2" xref="S3.SS2.SSS1.p2.9.m4.1.1.2.cmml">s</mi><mo id="S3.SS2.SSS1.p2.9.m4.1.1.3" xref="S3.SS2.SSS1.p2.9.m4.1.1.3.cmml">′</mo></msup><annotation-xml encoding="MathML-Content" id="S3.SS2.SSS1.p2.9.m4.1b"><apply id="S3.SS2.SSS1.p2.9.m4.1.1.cmml" xref="S3.SS2.SSS1.p2.9.m4.1.1"><csymbol cd="ambiguous" id="S3.SS2.SSS1.p2.9.m4.1.1.1.cmml" xref="S3.SS2.SSS1.p2.9.m4.1.1">superscript</csymbol><ci id="S3.SS2.SSS1.p2.9.m4.1.1.2.cmml" xref="S3.SS2.SSS1.p2.9.m4.1.1.2">𝑠</ci><ci id="S3.SS2.SSS1.p2.9.m4.1.1.3.cmml" xref="S3.SS2.SSS1.p2.9.m4.1.1.3">′</ci></apply></annotation-xml><annotation encoding="application/x-tex" id="S3.SS2.SSS1.p2.9.m4.1c">s^{\prime}</annotation></semantics></math> from <math id="S3.SS2.SSS1.p2.10.m5.1" class="ltx_math_unparsed" alttext="\mathcal{P}(\cdot|s,a)" display="inline"><semantics id="S3.SS2.SSS1.p2.10.m5.1a"><mrow id="S3.SS2.SSS1.p2.10.m5.1b"><mi class="ltx_font_mathcaligraphic" id="S3.SS2.SSS1.p2.10.m5.1.1">𝒫</mi><mrow id="S3.SS2.SSS1.p2.10.m5.1.2"><mo stretchy="false" id="S3.SS2.SSS1.p2.10.m5.1.2.1">(</mo><mo lspace="0em" rspace="0em" id="S3.SS2.SSS1.p2.10.m5.1.2.2">⋅</mo><mo fence="false" rspace="0.167em" stretchy="false" id="S3.SS2.SSS1.p2.10.m5.1.2.3">|</mo><mi id="S3.SS2.SSS1.p2.10.m5.1.2.4">s</mi><mo id="S3.SS2.SSS1.p2.10.m5.1.2.5">,</mo><mi id="S3.SS2.SSS1.p2.10.m5.1.2.6">a</mi><mo stretchy="false" id="S3.SS2.SSS1.p2.10.m5.1.2.7">)</mo></mrow></mrow><annotation encoding="application/x-tex" id="S3.SS2.SSS1.p2.10.m5.1c">\mathcal{P}(\cdot|s,a)</annotation></semantics></math>. The value function is <math id="S3.SS2.SSS1.p2.11.m6.2" class="ltx_Math" alttext="V(s)=\log\sum_{a^{\prime}\in\mathcal{A}}\exp\ell_{\theta}(a^{\prime}|s)" display="inline"><semantics id="S3.SS2.SSS1.p2.11.m6.2a"><mrow id="S3.SS2.SSS1.p2.11.m6.2.2" xref="S3.SS2.SSS1.p2.11.m6.2.2.cmml"><mrow id="S3.SS2.SSS1.p2.11.m6.2.2.3" xref="S3.SS2.SSS1.p2.11.m6.2.2.3.cmml"><mi id="S3.SS2.SSS1.p2.11.m6.2.2.3.2" xref="S3.SS2.SSS1.p2.11.m6.2.2.3.2.cmml">V</mi><mo lspace="0em" rspace="0em" id="S3.SS2.SSS1.p2.11.m6.2.2.3.1" xref="S3.SS2.SSS1.p2.11.m6.2.2.3.1.cmml">​</mo><mrow id="S3.SS2.SSS1.p2.11.m6.2.2.3.3.2" xref="S3.SS2.SSS1.p2.11.m6.2.2.3.cmml"><mo stretchy="false" id="S3.SS2.SSS1.p2.11.m6.2.2.3.3.2.1" xref="S3.SS2.SSS1.p2.11.m6.2.2.3.cmml">(</mo><mi id="S3.SS2.SSS1.p2.11.m6.1.1" xref="S3.SS2.SSS1.p2.11.m6.1.1.cmml">s</mi><mo stretchy="false" id="S3.SS2.SSS1.p2.11.m6.2.2.3.3.2.2" xref="S3.SS2.SSS1.p2.11.m6.2.2.3.cmml">)</mo></mrow></mrow><mo id="S3.SS2.SSS1.p2.11.m6.2.2.2" xref="S3.SS2.SSS1.p2.11.m6.2.2.2.cmml">=</mo><mrow id="S3.SS2.SSS1.p2.11.m6.2.2.1" xref="S3.SS2.SSS1.p2.11.m6.2.2.1.cmml"><mi id="S3.SS2.SSS1.p2.11.m6.2.2.1.3" xref="S3.SS2.SSS1.p2.11.m6.2.2.1.3.cmml">log</mi><mo lspace="0em" rspace="0em" id="S3.SS2.SSS1.p2.11.m6.2.2.1.2" xref="S3.SS2.SSS1.p2.11.m6.2.2.1.2.cmml">​</mo><mrow id="S3.SS2.SSS1.p2.11.m6.2.2.1.1" xref="S3.SS2.SSS1.p2.11.m6.2.2.1.1.cmml"><msub id="S3.SS2.SSS1.p2.11.m6.2.2.1.1.2" xref="S3.SS2.SSS1.p2.11.m6.2.2.1.1.2.cmml"><mo id="S3.SS2.SSS1.p2.11.m6.2.2.1.1.2.2" xref="S3.SS2.SSS1.p2.11.m6.2.2.1.1.2.2.cmml">∑</mo><mrow id="S3.SS2.SSS1.p2.11.m6.2.2.1.1.2.3" xref="S3.SS2.SSS1.p2.11.m6.2.2.1.1.2.3.cmml"><msup id="S3.SS2.SSS1.p2.11.m6.2.2.1.1.2.3.2" xref="S3.SS2.SSS1.p2.11.m6.2.2.1.1.2.3.2.cmml"><mi id="S3.SS2.SSS1.p2.11.m6.2.2.1.1.2.3.2.2" xref="S3.SS2.SSS1.p2.11.m6.2.2.1.1.2.3.2.2.cmml">a</mi><mo id="S3.SS2.SSS1.p2.11.m6.2.2.1.1.2.3.2.3" xref="S3.SS2.SSS1.p2.11.m6.2.2.1.1.2.3.2.3.cmml">′</mo></msup><mo id="S3.SS2.SSS1.p2.11.m6.2.2.1.1.2.3.1" xref="S3.SS2.SSS1.p2.11.m6.2.2.1.1.2.3.1.cmml">∈</mo><mi class="ltx_font_mathcaligraphic" id="S3.SS2.SSS1.p2.11.m6.2.2.1.1.2.3.3" xref="S3.SS2.SSS1.p2.11.m6.2.2.1.1.2.3.3.cmml">𝒜</mi></mrow></msub><mrow id="S3.SS2.SSS1.p2.11.m6.2.2.1.1.1" xref="S3.SS2.SSS1.p2.11.m6.2.2.1.1.1.cmml"><mrow id="S3.SS2.SSS1.p2.11.m6.2.2.1.1.1.3" xref="S3.SS2.SSS1.p2.11.m6.2.2.1.1.1.3.cmml"><mi id="S3.SS2.SSS1.p2.11.m6.2.2.1.1.1.3.1" xref="S3.SS2.SSS1.p2.11.m6.2.2.1.1.1.3.1.cmml">exp</mi><mo lspace="0.167em" id="S3.SS2.SSS1.p2.11.m6.2.2.1.1.1.3a" xref="S3.SS2.SSS1.p2.11.m6.2.2.1.1.1.3.cmml">⁡</mo><msub id="S3.SS2.SSS1.p2.11.m6.2.2.1.1.1.3.2" xref="S3.SS2.SSS1.p2.11.m6.2.2.1.1.1.3.2.cmml"><mi mathvariant="normal" id="S3.SS2.SSS1.p2.11.m6.2.2.1.1.1.3.2.2" xref="S3.SS2.SSS1.p2.11.m6.2.2.1.1.1.3.2.2.cmml">ℓ</mi><mi id="S3.SS2.SSS1.p2.11.m6.2.2.1.1.1.3.2.3" xref="S3.SS2.SSS1.p2.11.m6.2.2.1.1.1.3.2.3.cmml">θ</mi></msub></mrow><mo lspace="0em" rspace="0em" id="S3.SS2.SSS1.p2.11.m6.2.2.1.1.1.2" xref="S3.SS2.SSS1.p2.11.m6.2.2.1.1.1.2.cmml">​</mo><mrow id="S3.SS2.SSS1.p2.11.m6.2.2.1.1.1.1.1" xref="S3.SS2.SSS1.p2.11.m6.2.2.1.1.1.1.1.1.cmml"><mo stretchy="false" id="S3.SS2.SSS1.p2.11.m6.2.2.1.1.1.1.1.2" xref="S3.SS2.SSS1.p2.11.m6.2.2.1.1.1.1.1.1.cmml">(</mo><mrow id="S3.SS2.SSS1.p2.11.m6.2.2.1.1.1.1.1.1" xref="S3.SS2.SSS1.p2.11.m6.2.2.1.1.1.1.1.1.cmml"><msup id="S3.SS2.SSS1.p2.11.m6.2.2.1.1.1.1.1.1.2" xref="S3.SS2.SSS1.p2.11.m6.2.2.1.1.1.1.1.1.2.cmml"><mi id="S3.SS2.SSS1.p2.11.m6.2.2.1.1.1.1.1.1.2.2" xref="S3.SS2.SSS1.p2.11.m6.2.2.1.1.1.1.1.1.2.2.cmml">a</mi><mo id="S3.SS2.SSS1.p2.11.m6.2.2.1.1.1.1.1.1.2.3" xref="S3.SS2.SSS1.p2.11.m6.2.2.1.1.1.1.1.1.2.3.cmml">′</mo></msup><mo fence="false" id="S3.SS2.SSS1.p2.11.m6.2.2.1.1.1.1.1.1.1" xref="S3.SS2.SSS1.p2.11.m6.2.2.1.1.1.1.1.1.1.cmml">|</mo><mi id="S3.SS2.SSS1.p2.11.m6.2.2.1.1.1.1.1.1.3" xref="S3.SS2.SSS1.p2.11.m6.2.2.1.1.1.1.1.1.3.cmml">s</mi></mrow><mo stretchy="false" id="S3.SS2.SSS1.p2.11.m6.2.2.1.1.1.1.1.3" xref="S3.SS2.SSS1.p2.11.m6.2.2.1.1.1.1.1.1.cmml">)</mo></mrow></mrow></mrow></mrow></mrow><annotation-xml encoding="MathML-Content" id="S3.SS2.SSS1.p2.11.m6.2b"><apply id="S3.SS2.SSS1.p2.11.m6.2.2.cmml" xref="S3.SS2.SSS1.p2.11.m6.2.2"><eq id="S3.SS2.SSS1.p2.11.m6.2.2.2.cmml" xref="S3.SS2.SSS1.p2.11.m6.2.2.2"></eq><apply id="S3.SS2.SSS1.p2.11.m6.2.2.3.cmml" xref="S3.SS2.SSS1.p2.11.m6.2.2.3"><times id="S3.SS2.SSS1.p2.11.m6.2.2.3.1.cmml" xref="S3.SS2.SSS1.p2.11.m6.2.2.3.1"></times><ci id="S3.SS2.SSS1.p2.11.m6.2.2.3.2.cmml" xref="S3.SS2.SSS1.p2.11.m6.2.2.3.2">𝑉</ci><ci id="S3.SS2.SSS1.p2.11.m6.1.1.cmml" xref="S3.SS2.SSS1.p2.11.m6.1.1">𝑠</ci></apply><apply id="S3.SS2.SSS1.p2.11.m6.2.2.1.cmml" xref="S3.SS2.SSS1.p2.11.m6.2.2.1"><times id="S3.SS2.SSS1.p2.11.m6.2.2.1.2.cmml" xref="S3.SS2.SSS1.p2.11.m6.2.2.1.2"></times><log id="S3.SS2.SSS1.p2.11.m6.2.2.1.3.cmml" xref="S3.SS2.SSS1.p2.11.m6.2.2.1.3"></log><apply id="S3.SS2.SSS1.p2.11.m6.2.2.1.1.cmml" xref="S3.SS2.SSS1.p2.11.m6.2.2.1.1"><apply id="S3.SS2.SSS1.p2.11.m6.2.2.1.1.2.cmml" xref="S3.SS2.SSS1.p2.11.m6.2.2.1.1.2"><csymbol cd="ambiguous" id="S3.SS2.SSS1.p2.11.m6.2.2.1.1.2.1.cmml" xref="S3.SS2.SSS1.p2.11.m6.2.2.1.1.2">subscript</csymbol><sum id="S3.SS2.SSS1.p2.11.m6.2.2.1.1.2.2.cmml" xref="S3.SS2.SSS1.p2.11.m6.2.2.1.1.2.2"></sum><apply id="S3.SS2.SSS1.p2.11.m6.2.2.1.1.2.3.cmml" xref="S3.SS2.SSS1.p2.11.m6.2.2.1.1.2.3"><in id="S3.SS2.SSS1.p2.11.m6.2.2.1.1.2.3.1.cmml" xref="S3.SS2.SSS1.p2.11.m6.2.2.1.1.2.3.1"></in><apply id="S3.SS2.SSS1.p2.11.m6.2.2.1.1.2.3.2.cmml" xref="S3.SS2.SSS1.p2.11.m6.2.2.1.1.2.3.2"><csymbol cd="ambiguous" id="S3.SS2.SSS1.p2.11.m6.2.2.1.1.2.3.2.1.cmml" xref="S3.SS2.SSS1.p2.11.m6.2.2.1.1.2.3.2">superscript</csymbol><ci id="S3.SS2.SSS1.p2.11.m6.2.2.1.1.2.3.2.2.cmml" xref="S3.SS2.SSS1.p2.11.m6.2.2.1.1.2.3.2.2">𝑎</ci><ci id="S3.SS2.SSS1.p2.11.m6.2.2.1.1.2.3.2.3.cmml" xref="S3.SS2.SSS1.p2.11.m6.2.2.1.1.2.3.2.3">′</ci></apply><ci id="S3.SS2.SSS1.p2.11.m6.2.2.1.1.2.3.3.cmml" xref="S3.SS2.SSS1.p2.11.m6.2.2.1.1.2.3.3">𝒜</ci></apply></apply><apply id="S3.SS2.SSS1.p2.11.m6.2.2.1.1.1.cmml" xref="S3.SS2.SSS1.p2.11.m6.2.2.1.1.1"><times id="S3.SS2.SSS1.p2.11.m6.2.2.1.1.1.2.cmml" xref="S3.SS2.SSS1.p2.11.m6.2.2.1.1.1.2"></times><apply id="S3.SS2.SSS1.p2.11.m6.2.2.1.1.1.3.cmml" xref="S3.SS2.SSS1.p2.11.m6.2.2.1.1.1.3"><exp id="S3.SS2.SSS1.p2.11.m6.2.2.1.1.1.3.1.cmml" xref="S3.SS2.SSS1.p2.11.m6.2.2.1.1.1.3.1"></exp><apply id="S3.SS2.SSS1.p2.11.m6.2.2.1.1.1.3.2.cmml" xref="S3.SS2.SSS1.p2.11.m6.2.2.1.1.1.3.2"><csymbol cd="ambiguous" id="S3.SS2.SSS1.p2.11.m6.2.2.1.1.1.3.2.1.cmml" xref="S3.SS2.SSS1.p2.11.m6.2.2.1.1.1.3.2">subscript</csymbol><ci id="S3.SS2.SSS1.p2.11.m6.2.2.1.1.1.3.2.2.cmml" xref="S3.SS2.SSS1.p2.11.m6.2.2.1.1.1.3.2.2">ℓ</ci><ci id="S3.SS2.SSS1.p2.11.m6.2.2.1.1.1.3.2.3.cmml" xref="S3.SS2.SSS1.p2.11.m6.2.2.1.1.1.3.2.3">𝜃</ci></apply></apply><apply id="S3.SS2.SSS1.p2.11.m6.2.2.1.1.1.1.1.1.cmml" xref="S3.SS2.SSS1.p2.11.m6.2.2.1.1.1.1.1"><csymbol cd="latexml" id="S3.SS2.SSS1.p2.11.m6.2.2.1.1.1.1.1.1.1.cmml" xref="S3.SS2.SSS1.p2.11.m6.2.2.1.1.1.1.1.1.1">conditional</csymbol><apply id="S3.SS2.SSS1.p2.11.m6.2.2.1.1.1.1.1.1.2.cmml" xref="S3.SS2.SSS1.p2.11.m6.2.2.1.1.1.1.1.1.2"><csymbol cd="ambiguous" id="S3.SS2.SSS1.p2.11.m6.2.2.1.1.1.1.1.1.2.1.cmml" xref="S3.SS2.SSS1.p2.11.m6.2.2.1.1.1.1.1.1.2">superscript</csymbol><ci id="S3.SS2.SSS1.p2.11.m6.2.2.1.1.1.1.1.1.2.2.cmml" xref="S3.SS2.SSS1.p2.11.m6.2.2.1.1.1.1.1.1.2.2">𝑎</ci><ci id="S3.SS2.SSS1.p2.11.m6.2.2.1.1.1.1.1.1.2.3.cmml" xref="S3.SS2.SSS1.p2.11.m6.2.2.1.1.1.1.1.1.2.3">′</ci></apply><ci id="S3.SS2.SSS1.p2.11.m6.2.2.1.1.1.1.1.1.3.cmml" xref="S3.SS2.SSS1.p2.11.m6.2.2.1.1.1.1.1.1.3">𝑠</ci></apply></apply></apply></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="S3.SS2.SSS1.p2.11.m6.2c">V(s)=\log\sum_{a^{\prime}\in\mathcal{A}}\exp\ell_{\theta}(a^{\prime}|s)</annotation></semantics></math>.</p>
</div>
<div id="S3.SS2.SSS1.p3" class="ltx_para">
<p id="S3.SS2.SSS1.p3.6" class="ltx_p">Minimizing this objective is the same as solving <math id="S3.SS2.SSS1.p3.1.m1.3" class="ltx_Math" alttext="\min_{\theta}d_{\psi}(\rho_{\theta},\rho_{\text{data}})-\alpha H[\rho_{\theta}]" display="inline"><semantics id="S3.SS2.SSS1.p3.1.m1.3a"><mrow id="S3.SS2.SSS1.p3.1.m1.3.3" xref="S3.SS2.SSS1.p3.1.m1.3.3.cmml"><mrow id="S3.SS2.SSS1.p3.1.m1.2.2.2" xref="S3.SS2.SSS1.p3.1.m1.2.2.2.cmml"><mrow id="S3.SS2.SSS1.p3.1.m1.2.2.2.4" xref="S3.SS2.SSS1.p3.1.m1.2.2.2.4.cmml"><msub id="S3.SS2.SSS1.p3.1.m1.2.2.2.4.1" xref="S3.SS2.SSS1.p3.1.m1.2.2.2.4.1.cmml"><mi id="S3.SS2.SSS1.p3.1.m1.2.2.2.4.1.2" xref="S3.SS2.SSS1.p3.1.m1.2.2.2.4.1.2.cmml">min</mi><mi id="S3.SS2.SSS1.p3.1.m1.2.2.2.4.1.3" xref="S3.SS2.SSS1.p3.1.m1.2.2.2.4.1.3.cmml">θ</mi></msub><mo lspace="0.167em" id="S3.SS2.SSS1.p3.1.m1.2.2.2.4a" xref="S3.SS2.SSS1.p3.1.m1.2.2.2.4.cmml">⁡</mo><msub id="S3.SS2.SSS1.p3.1.m1.2.2.2.4.2" xref="S3.SS2.SSS1.p3.1.m1.2.2.2.4.2.cmml"><mi id="S3.SS2.SSS1.p3.1.m1.2.2.2.4.2.2" xref="S3.SS2.SSS1.p3.1.m1.2.2.2.4.2.2.cmml">d</mi><mi id="S3.SS2.SSS1.p3.1.m1.2.2.2.4.2.3" xref="S3.SS2.SSS1.p3.1.m1.2.2.2.4.2.3.cmml">ψ</mi></msub></mrow><mo lspace="0em" rspace="0em" id="S3.SS2.SSS1.p3.1.m1.2.2.2.3" xref="S3.SS2.SSS1.p3.1.m1.2.2.2.3.cmml">​</mo><mrow id="S3.SS2.SSS1.p3.1.m1.2.2.2.2.2" xref="S3.SS2.SSS1.p3.1.m1.2.2.2.2.3.cmml"><mo stretchy="false" id="S3.SS2.SSS1.p3.1.m1.2.2.2.2.2.3" xref="S3.SS2.SSS1.p3.1.m1.2.2.2.2.3.cmml">(</mo><msub id="S3.SS2.SSS1.p3.1.m1.1.1.1.1.1.1" xref="S3.SS2.SSS1.p3.1.m1.1.1.1.1.1.1.cmml"><mi id="S3.SS2.SSS1.p3.1.m1.1.1.1.1.1.1.2" xref="S3.SS2.SSS1.p3.1.m1.1.1.1.1.1.1.2.cmml">ρ</mi><mi id="S3.SS2.SSS1.p3.1.m1.1.1.1.1.1.1.3" xref="S3.SS2.SSS1.p3.1.m1.1.1.1.1.1.1.3.cmml">θ</mi></msub><mo id="S3.SS2.SSS1.p3.1.m1.2.2.2.2.2.4" xref="S3.SS2.SSS1.p3.1.m1.2.2.2.2.3.cmml">,</mo><msub id="S3.SS2.SSS1.p3.1.m1.2.2.2.2.2.2" xref="S3.SS2.SSS1.p3.1.m1.2.2.2.2.2.2.cmml"><mi id="S3.SS2.SSS1.p3.1.m1.2.2.2.2.2.2.2" xref="S3.SS2.SSS1.p3.1.m1.2.2.2.2.2.2.2.cmml">ρ</mi><mtext id="S3.SS2.SSS1.p3.1.m1.2.2.2.2.2.2.3" xref="S3.SS2.SSS1.p3.1.m1.2.2.2.2.2.2.3a.cmml">data</mtext></msub><mo stretchy="false" id="S3.SS2.SSS1.p3.1.m1.2.2.2.2.2.5" xref="S3.SS2.SSS1.p3.1.m1.2.2.2.2.3.cmml">)</mo></mrow></mrow><mo id="S3.SS2.SSS1.p3.1.m1.3.3.4" xref="S3.SS2.SSS1.p3.1.m1.3.3.4.cmml">−</mo><mrow id="S3.SS2.SSS1.p3.1.m1.3.3.3" xref="S3.SS2.SSS1.p3.1.m1.3.3.3.cmml"><mi id="S3.SS2.SSS1.p3.1.m1.3.3.3.3" xref="S3.SS2.SSS1.p3.1.m1.3.3.3.3.cmml">α</mi><mo lspace="0em" rspace="0em" id="S3.SS2.SSS1.p3.1.m1.3.3.3.2" xref="S3.SS2.SSS1.p3.1.m1.3.3.3.2.cmml">​</mo><mi id="S3.SS2.SSS1.p3.1.m1.3.3.3.4" xref="S3.SS2.SSS1.p3.1.m1.3.3.3.4.cmml">H</mi><mo lspace="0em" rspace="0em" id="S3.SS2.SSS1.p3.1.m1.3.3.3.2a" xref="S3.SS2.SSS1.p3.1.m1.3.3.3.2.cmml">​</mo><mrow id="S3.SS2.SSS1.p3.1.m1.3.3.3.1.1" xref="S3.SS2.SSS1.p3.1.m1.3.3.3.1.2.cmml"><mo stretchy="false" id="S3.SS2.SSS1.p3.1.m1.3.3.3.1.1.2" xref="S3.SS2.SSS1.p3.1.m1.3.3.3.1.2.1.cmml">[</mo><msub id="S3.SS2.SSS1.p3.1.m1.3.3.3.1.1.1" xref="S3.SS2.SSS1.p3.1.m1.3.3.3.1.1.1.cmml"><mi id="S3.SS2.SSS1.p3.1.m1.3.3.3.1.1.1.2" xref="S3.SS2.SSS1.p3.1.m1.3.3.3.1.1.1.2.cmml">ρ</mi><mi id="S3.SS2.SSS1.p3.1.m1.3.3.3.1.1.1.3" xref="S3.SS2.SSS1.p3.1.m1.3.3.3.1.1.1.3.cmml">θ</mi></msub><mo stretchy="false" id="S3.SS2.SSS1.p3.1.m1.3.3.3.1.1.3" xref="S3.SS2.SSS1.p3.1.m1.3.3.3.1.2.1.cmml">]</mo></mrow></mrow></mrow><annotation-xml encoding="MathML-Content" id="S3.SS2.SSS1.p3.1.m1.3b"><apply id="S3.SS2.SSS1.p3.1.m1.3.3.cmml" xref="S3.SS2.SSS1.p3.1.m1.3.3"><minus id="S3.SS2.SSS1.p3.1.m1.3.3.4.cmml" xref="S3.SS2.SSS1.p3.1.m1.3.3.4"></minus><apply id="S3.SS2.SSS1.p3.1.m1.2.2.2.cmml" xref="S3.SS2.SSS1.p3.1.m1.2.2.2"><times id="S3.SS2.SSS1.p3.1.m1.2.2.2.3.cmml" xref="S3.SS2.SSS1.p3.1.m1.2.2.2.3"></times><apply id="S3.SS2.SSS1.p3.1.m1.2.2.2.4.cmml" xref="S3.SS2.SSS1.p3.1.m1.2.2.2.4"><apply id="S3.SS2.SSS1.p3.1.m1.2.2.2.4.1.cmml" xref="S3.SS2.SSS1.p3.1.m1.2.2.2.4.1"><csymbol cd="ambiguous" id="S3.SS2.SSS1.p3.1.m1.2.2.2.4.1.1.cmml" xref="S3.SS2.SSS1.p3.1.m1.2.2.2.4.1">subscript</csymbol><min id="S3.SS2.SSS1.p3.1.m1.2.2.2.4.1.2.cmml" xref="S3.SS2.SSS1.p3.1.m1.2.2.2.4.1.2"></min><ci id="S3.SS2.SSS1.p3.1.m1.2.2.2.4.1.3.cmml" xref="S3.SS2.SSS1.p3.1.m1.2.2.2.4.1.3">𝜃</ci></apply><apply id="S3.SS2.SSS1.p3.1.m1.2.2.2.4.2.cmml" xref="S3.SS2.SSS1.p3.1.m1.2.2.2.4.2"><csymbol cd="ambiguous" id="S3.SS2.SSS1.p3.1.m1.2.2.2.4.2.1.cmml" xref="S3.SS2.SSS1.p3.1.m1.2.2.2.4.2">subscript</csymbol><ci id="S3.SS2.SSS1.p3.1.m1.2.2.2.4.2.2.cmml" xref="S3.SS2.SSS1.p3.1.m1.2.2.2.4.2.2">𝑑</ci><ci id="S3.SS2.SSS1.p3.1.m1.2.2.2.4.2.3.cmml" xref="S3.SS2.SSS1.p3.1.m1.2.2.2.4.2.3">𝜓</ci></apply></apply><interval closure="open" id="S3.SS2.SSS1.p3.1.m1.2.2.2.2.3.cmml" xref="S3.SS2.SSS1.p3.1.m1.2.2.2.2.2"><apply id="S3.SS2.SSS1.p3.1.m1.1.1.1.1.1.1.cmml" xref="S3.SS2.SSS1.p3.1.m1.1.1.1.1.1.1"><csymbol cd="ambiguous" id="S3.SS2.SSS1.p3.1.m1.1.1.1.1.1.1.1.cmml" xref="S3.SS2.SSS1.p3.1.m1.1.1.1.1.1.1">subscript</csymbol><ci id="S3.SS2.SSS1.p3.1.m1.1.1.1.1.1.1.2.cmml" xref="S3.SS2.SSS1.p3.1.m1.1.1.1.1.1.1.2">𝜌</ci><ci id="S3.SS2.SSS1.p3.1.m1.1.1.1.1.1.1.3.cmml" xref="S3.SS2.SSS1.p3.1.m1.1.1.1.1.1.1.3">𝜃</ci></apply><apply id="S3.SS2.SSS1.p3.1.m1.2.2.2.2.2.2.cmml" xref="S3.SS2.SSS1.p3.1.m1.2.2.2.2.2.2"><csymbol cd="ambiguous" id="S3.SS2.SSS1.p3.1.m1.2.2.2.2.2.2.1.cmml" xref="S3.SS2.SSS1.p3.1.m1.2.2.2.2.2.2">subscript</csymbol><ci id="S3.SS2.SSS1.p3.1.m1.2.2.2.2.2.2.2.cmml" xref="S3.SS2.SSS1.p3.1.m1.2.2.2.2.2.2.2">𝜌</ci><ci id="S3.SS2.SSS1.p3.1.m1.2.2.2.2.2.2.3a.cmml" xref="S3.SS2.SSS1.p3.1.m1.2.2.2.2.2.2.3"><mtext mathsize="70%" id="S3.SS2.SSS1.p3.1.m1.2.2.2.2.2.2.3.cmml" xref="S3.SS2.SSS1.p3.1.m1.2.2.2.2.2.2.3">data</mtext></ci></apply></interval></apply><apply id="S3.SS2.SSS1.p3.1.m1.3.3.3.cmml" xref="S3.SS2.SSS1.p3.1.m1.3.3.3"><times id="S3.SS2.SSS1.p3.1.m1.3.3.3.2.cmml" xref="S3.SS2.SSS1.p3.1.m1.3.3.3.2"></times><ci id="S3.SS2.SSS1.p3.1.m1.3.3.3.3.cmml" xref="S3.SS2.SSS1.p3.1.m1.3.3.3.3">𝛼</ci><ci id="S3.SS2.SSS1.p3.1.m1.3.3.3.4.cmml" xref="S3.SS2.SSS1.p3.1.m1.3.3.3.4">𝐻</ci><apply id="S3.SS2.SSS1.p3.1.m1.3.3.3.1.2.cmml" xref="S3.SS2.SSS1.p3.1.m1.3.3.3.1.1"><csymbol cd="latexml" id="S3.SS2.SSS1.p3.1.m1.3.3.3.1.2.1.cmml" xref="S3.SS2.SSS1.p3.1.m1.3.3.3.1.1.2">delimited-[]</csymbol><apply id="S3.SS2.SSS1.p3.1.m1.3.3.3.1.1.1.cmml" xref="S3.SS2.SSS1.p3.1.m1.3.3.3.1.1.1"><csymbol cd="ambiguous" id="S3.SS2.SSS1.p3.1.m1.3.3.3.1.1.1.1.cmml" xref="S3.SS2.SSS1.p3.1.m1.3.3.3.1.1.1">subscript</csymbol><ci id="S3.SS2.SSS1.p3.1.m1.3.3.3.1.1.1.2.cmml" xref="S3.SS2.SSS1.p3.1.m1.3.3.3.1.1.1.2">𝜌</ci><ci id="S3.SS2.SSS1.p3.1.m1.3.3.3.1.1.1.3.cmml" xref="S3.SS2.SSS1.p3.1.m1.3.3.3.1.1.1.3">𝜃</ci></apply></apply></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="S3.SS2.SSS1.p3.1.m1.3c">\min_{\theta}d_{\psi}(\rho_{\theta},\rho_{\text{data}})-\alpha H[\rho_{\theta}]</annotation></semantics></math>,
where <math id="S3.SS2.SSS1.p3.2.m2.6" class="ltx_Math" alttext="d_{\psi}(P,Q)=\sup_{r\in\Omega}\mathbb{E}_{x\sim P}\left[\phi(r(x))\right]-\mathbb{E}_{x\sim Q}\left[r(x)\right]" display="inline"><semantics id="S3.SS2.SSS1.p3.2.m2.6a"><mrow id="S3.SS2.SSS1.p3.2.m2.6.6" xref="S3.SS2.SSS1.p3.2.m2.6.6.cmml"><mrow id="S3.SS2.SSS1.p3.2.m2.6.6.4" xref="S3.SS2.SSS1.p3.2.m2.6.6.4.cmml"><msub id="S3.SS2.SSS1.p3.2.m2.6.6.4.2" xref="S3.SS2.SSS1.p3.2.m2.6.6.4.2.cmml"><mi id="S3.SS2.SSS1.p3.2.m2.6.6.4.2.2" xref="S3.SS2.SSS1.p3.2.m2.6.6.4.2.2.cmml">d</mi><mi id="S3.SS2.SSS1.p3.2.m2.6.6.4.2.3" xref="S3.SS2.SSS1.p3.2.m2.6.6.4.2.3.cmml">ψ</mi></msub><mo lspace="0em" rspace="0em" id="S3.SS2.SSS1.p3.2.m2.6.6.4.1" xref="S3.SS2.SSS1.p3.2.m2.6.6.4.1.cmml">​</mo><mrow id="S3.SS2.SSS1.p3.2.m2.6.6.4.3.2" xref="S3.SS2.SSS1.p3.2.m2.6.6.4.3.1.cmml"><mo stretchy="false" id="S3.SS2.SSS1.p3.2.m2.6.6.4.3.2.1" xref="S3.SS2.SSS1.p3.2.m2.6.6.4.3.1.cmml">(</mo><mi id="S3.SS2.SSS1.p3.2.m2.1.1" xref="S3.SS2.SSS1.p3.2.m2.1.1.cmml">P</mi><mo id="S3.SS2.SSS1.p3.2.m2.6.6.4.3.2.2" xref="S3.SS2.SSS1.p3.2.m2.6.6.4.3.1.cmml">,</mo><mi id="S3.SS2.SSS1.p3.2.m2.2.2" xref="S3.SS2.SSS1.p3.2.m2.2.2.cmml">Q</mi><mo stretchy="false" id="S3.SS2.SSS1.p3.2.m2.6.6.4.3.2.3" xref="S3.SS2.SSS1.p3.2.m2.6.6.4.3.1.cmml">)</mo></mrow></mrow><mo rspace="0.1389em" id="S3.SS2.SSS1.p3.2.m2.6.6.3" xref="S3.SS2.SSS1.p3.2.m2.6.6.3.cmml">=</mo><mrow id="S3.SS2.SSS1.p3.2.m2.6.6.2" xref="S3.SS2.SSS1.p3.2.m2.6.6.2.cmml"><mrow id="S3.SS2.SSS1.p3.2.m2.5.5.1.1" xref="S3.SS2.SSS1.p3.2.m2.5.5.1.1.cmml"><msub id="S3.SS2.SSS1.p3.2.m2.5.5.1.1.2" xref="S3.SS2.SSS1.p3.2.m2.5.5.1.1.2.cmml"><mo lspace="0.1389em" rspace="0.167em" id="S3.SS2.SSS1.p3.2.m2.5.5.1.1.2.2" xref="S3.SS2.SSS1.p3.2.m2.5.5.1.1.2.2.cmml">sup</mo><mrow id="S3.SS2.SSS1.p3.2.m2.5.5.1.1.2.3" xref="S3.SS2.SSS1.p3.2.m2.5.5.1.1.2.3.cmml"><mi id="S3.SS2.SSS1.p3.2.m2.5.5.1.1.2.3.2" xref="S3.SS2.SSS1.p3.2.m2.5.5.1.1.2.3.2.cmml">r</mi><mo id="S3.SS2.SSS1.p3.2.m2.5.5.1.1.2.3.1" xref="S3.SS2.SSS1.p3.2.m2.5.5.1.1.2.3.1.cmml">∈</mo><mi mathvariant="normal" id="S3.SS2.SSS1.p3.2.m2.5.5.1.1.2.3.3" xref="S3.SS2.SSS1.p3.2.m2.5.5.1.1.2.3.3.cmml">Ω</mi></mrow></msub><mrow id="S3.SS2.SSS1.p3.2.m2.5.5.1.1.1" xref="S3.SS2.SSS1.p3.2.m2.5.5.1.1.1.cmml"><msub id="S3.SS2.SSS1.p3.2.m2.5.5.1.1.1.3" xref="S3.SS2.SSS1.p3.2.m2.5.5.1.1.1.3.cmml"><mi id="S3.SS2.SSS1.p3.2.m2.5.5.1.1.1.3.2" xref="S3.SS2.SSS1.p3.2.m2.5.5.1.1.1.3.2.cmml">𝔼</mi><mrow id="S3.SS2.SSS1.p3.2.m2.5.5.1.1.1.3.3" xref="S3.SS2.SSS1.p3.2.m2.5.5.1.1.1.3.3.cmml"><mi id="S3.SS2.SSS1.p3.2.m2.5.5.1.1.1.3.3.2" xref="S3.SS2.SSS1.p3.2.m2.5.5.1.1.1.3.3.2.cmml">x</mi><mo id="S3.SS2.SSS1.p3.2.m2.5.5.1.1.1.3.3.1" xref="S3.SS2.SSS1.p3.2.m2.5.5.1.1.1.3.3.1.cmml">∼</mo><mi id="S3.SS2.SSS1.p3.2.m2.5.5.1.1.1.3.3.3" xref="S3.SS2.SSS1.p3.2.m2.5.5.1.1.1.3.3.3.cmml">P</mi></mrow></msub><mo lspace="0em" rspace="0em" id="S3.SS2.SSS1.p3.2.m2.5.5.1.1.1.2" xref="S3.SS2.SSS1.p3.2.m2.5.5.1.1.1.2.cmml">​</mo><mrow id="S3.SS2.SSS1.p3.2.m2.5.5.1.1.1.1.1" xref="S3.SS2.SSS1.p3.2.m2.5.5.1.1.1.1.2.cmml"><mo id="S3.SS2.SSS1.p3.2.m2.5.5.1.1.1.1.1.2" xref="S3.SS2.SSS1.p3.2.m2.5.5.1.1.1.1.2.1.cmml">[</mo><mrow id="S3.SS2.SSS1.p3.2.m2.5.5.1.1.1.1.1.1" xref="S3.SS2.SSS1.p3.2.m2.5.5.1.1.1.1.1.1.cmml"><mi id="S3.SS2.SSS1.p3.2.m2.5.5.1.1.1.1.1.1.3" xref="S3.SS2.SSS1.p3.2.m2.5.5.1.1.1.1.1.1.3.cmml">ϕ</mi><mo lspace="0em" rspace="0em" id="S3.SS2.SSS1.p3.2.m2.5.5.1.1.1.1.1.1.2" xref="S3.SS2.SSS1.p3.2.m2.5.5.1.1.1.1.1.1.2.cmml">​</mo><mrow id="S3.SS2.SSS1.p3.2.m2.5.5.1.1.1.1.1.1.1.1" xref="S3.SS2.SSS1.p3.2.m2.5.5.1.1.1.1.1.1.1.1.1.cmml"><mo stretchy="false" id="S3.SS2.SSS1.p3.2.m2.5.5.1.1.1.1.1.1.1.1.2" xref="S3.SS2.SSS1.p3.2.m2.5.5.1.1.1.1.1.1.1.1.1.cmml">(</mo><mrow id="S3.SS2.SSS1.p3.2.m2.5.5.1.1.1.1.1.1.1.1.1" xref="S3.SS2.SSS1.p3.2.m2.5.5.1.1.1.1.1.1.1.1.1.cmml"><mi id="S3.SS2.SSS1.p3.2.m2.5.5.1.1.1.1.1.1.1.1.1.2" xref="S3.SS2.SSS1.p3.2.m2.5.5.1.1.1.1.1.1.1.1.1.2.cmml">r</mi><mo lspace="0em" rspace="0em" id="S3.SS2.SSS1.p3.2.m2.5.5.1.1.1.1.1.1.1.1.1.1" xref="S3.SS2.SSS1.p3.2.m2.5.5.1.1.1.1.1.1.1.1.1.1.cmml">​</mo><mrow id="S3.SS2.SSS1.p3.2.m2.5.5.1.1.1.1.1.1.1.1.1.3.2" xref="S3.SS2.SSS1.p3.2.m2.5.5.1.1.1.1.1.1.1.1.1.cmml"><mo stretchy="false" id="S3.SS2.SSS1.p3.2.m2.5.5.1.1.1.1.1.1.1.1.1.3.2.1" xref="S3.SS2.SSS1.p3.2.m2.5.5.1.1.1.1.1.1.1.1.1.cmml">(</mo><mi id="S3.SS2.SSS1.p3.2.m2.3.3" xref="S3.SS2.SSS1.p3.2.m2.3.3.cmml">x</mi><mo stretchy="false" id="S3.SS2.SSS1.p3.2.m2.5.5.1.1.1.1.1.1.1.1.1.3.2.2" xref="S3.SS2.SSS1.p3.2.m2.5.5.1.1.1.1.1.1.1.1.1.cmml">)</mo></mrow></mrow><mo stretchy="false" id="S3.SS2.SSS1.p3.2.m2.5.5.1.1.1.1.1.1.1.1.3" xref="S3.SS2.SSS1.p3.2.m2.5.5.1.1.1.1.1.1.1.1.1.cmml">)</mo></mrow></mrow><mo id="S3.SS2.SSS1.p3.2.m2.5.5.1.1.1.1.1.3" xref="S3.SS2.SSS1.p3.2.m2.5.5.1.1.1.1.2.1.cmml">]</mo></mrow></mrow></mrow><mo id="S3.SS2.SSS1.p3.2.m2.6.6.2.3" xref="S3.SS2.SSS1.p3.2.m2.6.6.2.3.cmml">−</mo><mrow id="S3.SS2.SSS1.p3.2.m2.6.6.2.2" xref="S3.SS2.SSS1.p3.2.m2.6.6.2.2.cmml"><msub id="S3.SS2.SSS1.p3.2.m2.6.6.2.2.3" xref="S3.SS2.SSS1.p3.2.m2.6.6.2.2.3.cmml"><mi id="S3.SS2.SSS1.p3.2.m2.6.6.2.2.3.2" xref="S3.SS2.SSS1.p3.2.m2.6.6.2.2.3.2.cmml">𝔼</mi><mrow id="S3.SS2.SSS1.p3.2.m2.6.6.2.2.3.3" xref="S3.SS2.SSS1.p3.2.m2.6.6.2.2.3.3.cmml"><mi id="S3.SS2.SSS1.p3.2.m2.6.6.2.2.3.3.2" xref="S3.SS2.SSS1.p3.2.m2.6.6.2.2.3.3.2.cmml">x</mi><mo id="S3.SS2.SSS1.p3.2.m2.6.6.2.2.3.3.1" xref="S3.SS2.SSS1.p3.2.m2.6.6.2.2.3.3.1.cmml">∼</mo><mi id="S3.SS2.SSS1.p3.2.m2.6.6.2.2.3.3.3" xref="S3.SS2.SSS1.p3.2.m2.6.6.2.2.3.3.3.cmml">Q</mi></mrow></msub><mo lspace="0em" rspace="0em" id="S3.SS2.SSS1.p3.2.m2.6.6.2.2.2" xref="S3.SS2.SSS1.p3.2.m2.6.6.2.2.2.cmml">​</mo><mrow id="S3.SS2.SSS1.p3.2.m2.6.6.2.2.1.1" xref="S3.SS2.SSS1.p3.2.m2.6.6.2.2.1.2.cmml"><mo id="S3.SS2.SSS1.p3.2.m2.6.6.2.2.1.1.2" xref="S3.SS2.SSS1.p3.2.m2.6.6.2.2.1.2.1.cmml">[</mo><mrow id="S3.SS2.SSS1.p3.2.m2.6.6.2.2.1.1.1" xref="S3.SS2.SSS1.p3.2.m2.6.6.2.2.1.1.1.cmml"><mi id="S3.SS2.SSS1.p3.2.m2.6.6.2.2.1.1.1.2" xref="S3.SS2.SSS1.p3.2.m2.6.6.2.2.1.1.1.2.cmml">r</mi><mo lspace="0em" rspace="0em" id="S3.SS2.SSS1.p3.2.m2.6.6.2.2.1.1.1.1" xref="S3.SS2.SSS1.p3.2.m2.6.6.2.2.1.1.1.1.cmml">​</mo><mrow id="S3.SS2.SSS1.p3.2.m2.6.6.2.2.1.1.1.3.2" xref="S3.SS2.SSS1.p3.2.m2.6.6.2.2.1.1.1.cmml"><mo stretchy="false" id="S3.SS2.SSS1.p3.2.m2.6.6.2.2.1.1.1.3.2.1" xref="S3.SS2.SSS1.p3.2.m2.6.6.2.2.1.1.1.cmml">(</mo><mi id="S3.SS2.SSS1.p3.2.m2.4.4" xref="S3.SS2.SSS1.p3.2.m2.4.4.cmml">x</mi><mo stretchy="false" id="S3.SS2.SSS1.p3.2.m2.6.6.2.2.1.1.1.3.2.2" xref="S3.SS2.SSS1.p3.2.m2.6.6.2.2.1.1.1.cmml">)</mo></mrow></mrow><mo id="S3.SS2.SSS1.p3.2.m2.6.6.2.2.1.1.3" xref="S3.SS2.SSS1.p3.2.m2.6.6.2.2.1.2.1.cmml">]</mo></mrow></mrow></mrow></mrow><annotation-xml encoding="MathML-Content" id="S3.SS2.SSS1.p3.2.m2.6b"><apply id="S3.SS2.SSS1.p3.2.m2.6.6.cmml" xref="S3.SS2.SSS1.p3.2.m2.6.6"><eq id="S3.SS2.SSS1.p3.2.m2.6.6.3.cmml" xref="S3.SS2.SSS1.p3.2.m2.6.6.3"></eq><apply id="S3.SS2.SSS1.p3.2.m2.6.6.4.cmml" xref="S3.SS2.SSS1.p3.2.m2.6.6.4"><times id="S3.SS2.SSS1.p3.2.m2.6.6.4.1.cmml" xref="S3.SS2.SSS1.p3.2.m2.6.6.4.1"></times><apply id="S3.SS2.SSS1.p3.2.m2.6.6.4.2.cmml" xref="S3.SS2.SSS1.p3.2.m2.6.6.4.2"><csymbol cd="ambiguous" id="S3.SS2.SSS1.p3.2.m2.6.6.4.2.1.cmml" xref="S3.SS2.SSS1.p3.2.m2.6.6.4.2">subscript</csymbol><ci id="S3.SS2.SSS1.p3.2.m2.6.6.4.2.2.cmml" xref="S3.SS2.SSS1.p3.2.m2.6.6.4.2.2">𝑑</ci><ci id="S3.SS2.SSS1.p3.2.m2.6.6.4.2.3.cmml" xref="S3.SS2.SSS1.p3.2.m2.6.6.4.2.3">𝜓</ci></apply><interval closure="open" id="S3.SS2.SSS1.p3.2.m2.6.6.4.3.1.cmml" xref="S3.SS2.SSS1.p3.2.m2.6.6.4.3.2"><ci id="S3.SS2.SSS1.p3.2.m2.1.1.cmml" xref="S3.SS2.SSS1.p3.2.m2.1.1">𝑃</ci><ci id="S3.SS2.SSS1.p3.2.m2.2.2.cmml" xref="S3.SS2.SSS1.p3.2.m2.2.2">𝑄</ci></interval></apply><apply id="S3.SS2.SSS1.p3.2.m2.6.6.2.cmml" xref="S3.SS2.SSS1.p3.2.m2.6.6.2"><minus id="S3.SS2.SSS1.p3.2.m2.6.6.2.3.cmml" xref="S3.SS2.SSS1.p3.2.m2.6.6.2.3"></minus><apply id="S3.SS2.SSS1.p3.2.m2.5.5.1.1.cmml" xref="S3.SS2.SSS1.p3.2.m2.5.5.1.1"><apply id="S3.SS2.SSS1.p3.2.m2.5.5.1.1.2.cmml" xref="S3.SS2.SSS1.p3.2.m2.5.5.1.1.2"><csymbol cd="ambiguous" id="S3.SS2.SSS1.p3.2.m2.5.5.1.1.2.1.cmml" xref="S3.SS2.SSS1.p3.2.m2.5.5.1.1.2">subscript</csymbol><csymbol cd="latexml" id="S3.SS2.SSS1.p3.2.m2.5.5.1.1.2.2.cmml" xref="S3.SS2.SSS1.p3.2.m2.5.5.1.1.2.2">supremum</csymbol><apply id="S3.SS2.SSS1.p3.2.m2.5.5.1.1.2.3.cmml" xref="S3.SS2.SSS1.p3.2.m2.5.5.1.1.2.3"><in id="S3.SS2.SSS1.p3.2.m2.5.5.1.1.2.3.1.cmml" xref="S3.SS2.SSS1.p3.2.m2.5.5.1.1.2.3.1"></in><ci id="S3.SS2.SSS1.p3.2.m2.5.5.1.1.2.3.2.cmml" xref="S3.SS2.SSS1.p3.2.m2.5.5.1.1.2.3.2">𝑟</ci><ci id="S3.SS2.SSS1.p3.2.m2.5.5.1.1.2.3.3.cmml" xref="S3.SS2.SSS1.p3.2.m2.5.5.1.1.2.3.3">Ω</ci></apply></apply><apply id="S3.SS2.SSS1.p3.2.m2.5.5.1.1.1.cmml" xref="S3.SS2.SSS1.p3.2.m2.5.5.1.1.1"><times id="S3.SS2.SSS1.p3.2.m2.5.5.1.1.1.2.cmml" xref="S3.SS2.SSS1.p3.2.m2.5.5.1.1.1.2"></times><apply id="S3.SS2.SSS1.p3.2.m2.5.5.1.1.1.3.cmml" xref="S3.SS2.SSS1.p3.2.m2.5.5.1.1.1.3"><csymbol cd="ambiguous" id="S3.SS2.SSS1.p3.2.m2.5.5.1.1.1.3.1.cmml" xref="S3.SS2.SSS1.p3.2.m2.5.5.1.1.1.3">subscript</csymbol><ci id="S3.SS2.SSS1.p3.2.m2.5.5.1.1.1.3.2.cmml" xref="S3.SS2.SSS1.p3.2.m2.5.5.1.1.1.3.2">𝔼</ci><apply id="S3.SS2.SSS1.p3.2.m2.5.5.1.1.1.3.3.cmml" xref="S3.SS2.SSS1.p3.2.m2.5.5.1.1.1.3.3"><csymbol cd="latexml" id="S3.SS2.SSS1.p3.2.m2.5.5.1.1.1.3.3.1.cmml" xref="S3.SS2.SSS1.p3.2.m2.5.5.1.1.1.3.3.1">similar-to</csymbol><ci id="S3.SS2.SSS1.p3.2.m2.5.5.1.1.1.3.3.2.cmml" xref="S3.SS2.SSS1.p3.2.m2.5.5.1.1.1.3.3.2">𝑥</ci><ci id="S3.SS2.SSS1.p3.2.m2.5.5.1.1.1.3.3.3.cmml" xref="S3.SS2.SSS1.p3.2.m2.5.5.1.1.1.3.3.3">𝑃</ci></apply></apply><apply id="S3.SS2.SSS1.p3.2.m2.5.5.1.1.1.1.2.cmml" xref="S3.SS2.SSS1.p3.2.m2.5.5.1.1.1.1.1"><csymbol cd="latexml" id="S3.SS2.SSS1.p3.2.m2.5.5.1.1.1.1.2.1.cmml" xref="S3.SS2.SSS1.p3.2.m2.5.5.1.1.1.1.1.2">delimited-[]</csymbol><apply id="S3.SS2.SSS1.p3.2.m2.5.5.1.1.1.1.1.1.cmml" xref="S3.SS2.SSS1.p3.2.m2.5.5.1.1.1.1.1.1"><times id="S3.SS2.SSS1.p3.2.m2.5.5.1.1.1.1.1.1.2.cmml" xref="S3.SS2.SSS1.p3.2.m2.5.5.1.1.1.1.1.1.2"></times><ci id="S3.SS2.SSS1.p3.2.m2.5.5.1.1.1.1.1.1.3.cmml" xref="S3.SS2.SSS1.p3.2.m2.5.5.1.1.1.1.1.1.3">italic-ϕ</ci><apply id="S3.SS2.SSS1.p3.2.m2.5.5.1.1.1.1.1.1.1.1.1.cmml" xref="S3.SS2.SSS1.p3.2.m2.5.5.1.1.1.1.1.1.1.1"><times id="S3.SS2.SSS1.p3.2.m2.5.5.1.1.1.1.1.1.1.1.1.1.cmml" xref="S3.SS2.SSS1.p3.2.m2.5.5.1.1.1.1.1.1.1.1.1.1"></times><ci id="S3.SS2.SSS1.p3.2.m2.5.5.1.1.1.1.1.1.1.1.1.2.cmml" xref="S3.SS2.SSS1.p3.2.m2.5.5.1.1.1.1.1.1.1.1.1.2">𝑟</ci><ci id="S3.SS2.SSS1.p3.2.m2.3.3.cmml" xref="S3.SS2.SSS1.p3.2.m2.3.3">𝑥</ci></apply></apply></apply></apply></apply><apply id="S3.SS2.SSS1.p3.2.m2.6.6.2.2.cmml" xref="S3.SS2.SSS1.p3.2.m2.6.6.2.2"><times id="S3.SS2.SSS1.p3.2.m2.6.6.2.2.2.cmml" xref="S3.SS2.SSS1.p3.2.m2.6.6.2.2.2"></times><apply id="S3.SS2.SSS1.p3.2.m2.6.6.2.2.3.cmml" xref="S3.SS2.SSS1.p3.2.m2.6.6.2.2.3"><csymbol cd="ambiguous" id="S3.SS2.SSS1.p3.2.m2.6.6.2.2.3.1.cmml" xref="S3.SS2.SSS1.p3.2.m2.6.6.2.2.3">subscript</csymbol><ci id="S3.SS2.SSS1.p3.2.m2.6.6.2.2.3.2.cmml" xref="S3.SS2.SSS1.p3.2.m2.6.6.2.2.3.2">𝔼</ci><apply id="S3.SS2.SSS1.p3.2.m2.6.6.2.2.3.3.cmml" xref="S3.SS2.SSS1.p3.2.m2.6.6.2.2.3.3"><csymbol cd="latexml" id="S3.SS2.SSS1.p3.2.m2.6.6.2.2.3.3.1.cmml" xref="S3.SS2.SSS1.p3.2.m2.6.6.2.2.3.3.1">similar-to</csymbol><ci id="S3.SS2.SSS1.p3.2.m2.6.6.2.2.3.3.2.cmml" xref="S3.SS2.SSS1.p3.2.m2.6.6.2.2.3.3.2">𝑥</ci><ci id="S3.SS2.SSS1.p3.2.m2.6.6.2.2.3.3.3.cmml" xref="S3.SS2.SSS1.p3.2.m2.6.6.2.2.3.3.3">𝑄</ci></apply></apply><apply id="S3.SS2.SSS1.p3.2.m2.6.6.2.2.1.2.cmml" xref="S3.SS2.SSS1.p3.2.m2.6.6.2.2.1.1"><csymbol cd="latexml" id="S3.SS2.SSS1.p3.2.m2.6.6.2.2.1.2.1.cmml" xref="S3.SS2.SSS1.p3.2.m2.6.6.2.2.1.1.2">delimited-[]</csymbol><apply id="S3.SS2.SSS1.p3.2.m2.6.6.2.2.1.1.1.cmml" xref="S3.SS2.SSS1.p3.2.m2.6.6.2.2.1.1.1"><times id="S3.SS2.SSS1.p3.2.m2.6.6.2.2.1.1.1.1.cmml" xref="S3.SS2.SSS1.p3.2.m2.6.6.2.2.1.1.1.1"></times><ci id="S3.SS2.SSS1.p3.2.m2.6.6.2.2.1.1.1.2.cmml" xref="S3.SS2.SSS1.p3.2.m2.6.6.2.2.1.1.1.2">𝑟</ci><ci id="S3.SS2.SSS1.p3.2.m2.4.4.cmml" xref="S3.SS2.SSS1.p3.2.m2.4.4">𝑥</ci></apply></apply></apply></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="S3.SS2.SSS1.p3.2.m2.6c">d_{\psi}(P,Q)=\sup_{r\in\Omega}\mathbb{E}_{x\sim P}\left[\phi(r(x))\right]-\mathbb{E}_{x\sim Q}\left[r(x)\right]</annotation></semantics></math>.
By choosing <math id="S3.SS2.SSS1.p3.3.m3.1" class="ltx_Math" alttext="\Omega" display="inline"><semantics id="S3.SS2.SSS1.p3.3.m3.1a"><mi mathvariant="normal" id="S3.SS2.SSS1.p3.3.m3.1.1" xref="S3.SS2.SSS1.p3.3.m3.1.1.cmml">Ω</mi><annotation-xml encoding="MathML-Content" id="S3.SS2.SSS1.p3.3.m3.1b"><ci id="S3.SS2.SSS1.p3.3.m3.1.1.cmml" xref="S3.SS2.SSS1.p3.3.m3.1.1">Ω</ci></annotation-xml><annotation encoding="application/x-tex" id="S3.SS2.SSS1.p3.3.m3.1c">\Omega</annotation></semantics></math> and <math id="S3.SS2.SSS1.p3.4.m4.1" class="ltx_Math" alttext="\phi" display="inline"><semantics id="S3.SS2.SSS1.p3.4.m4.1a"><mi id="S3.SS2.SSS1.p3.4.m4.1.1" xref="S3.SS2.SSS1.p3.4.m4.1.1.cmml">ϕ</mi><annotation-xml encoding="MathML-Content" id="S3.SS2.SSS1.p3.4.m4.1b"><ci id="S3.SS2.SSS1.p3.4.m4.1.1.cmml" xref="S3.SS2.SSS1.p3.4.m4.1.1">italic-ϕ</ci></annotation-xml><annotation encoding="application/x-tex" id="S3.SS2.SSS1.p3.4.m4.1c">\phi</annotation></semantics></math>, we can recover <math id="S3.SS2.SSS1.p3.5.m5.1" class="ltx_Math" alttext="f" display="inline"><semantics id="S3.SS2.SSS1.p3.5.m5.1a"><mi id="S3.SS2.SSS1.p3.5.m5.1.1" xref="S3.SS2.SSS1.p3.5.m5.1.1.cmml">f</mi><annotation-xml encoding="MathML-Content" id="S3.SS2.SSS1.p3.5.m5.1b"><ci id="S3.SS2.SSS1.p3.5.m5.1.1.cmml" xref="S3.SS2.SSS1.p3.5.m5.1.1">𝑓</ci></annotation-xml><annotation encoding="application/x-tex" id="S3.SS2.SSS1.p3.5.m5.1c">f</annotation></semantics></math>-divergences by referencing equation (<a href="#S2.E1" title="Equation 1 ‣ 2.1 KL-Divergence ‣ 2 Preliminaries: Training Objectives for Autoregressive Models ‣ SequenceMatch: Imitation Learning for Autoregressive Sequence Modelling with Backtracking" class="ltx_ref"><span class="ltx_text ltx_ref_tag">1</span></a>), including KL, JS and <math id="S3.SS2.SSS1.p3.6.m6.1" class="ltx_Math" alttext="\chi^{2}" display="inline"><semantics id="S3.SS2.SSS1.p3.6.m6.1a"><msup id="S3.SS2.SSS1.p3.6.m6.1.1" xref="S3.SS2.SSS1.p3.6.m6.1.1.cmml"><mi id="S3.SS2.SSS1.p3.6.m6.1.1.2" xref="S3.SS2.SSS1.p3.6.m6.1.1.2.cmml">χ</mi><mn id="S3.SS2.SSS1.p3.6.m6.1.1.3" xref="S3.SS2.SSS1.p3.6.m6.1.1.3.cmml">2</mn></msup><annotation-xml encoding="MathML-Content" id="S3.SS2.SSS1.p3.6.m6.1b"><apply id="S3.SS2.SSS1.p3.6.m6.1.1.cmml" xref="S3.SS2.SSS1.p3.6.m6.1.1"><csymbol cd="ambiguous" id="S3.SS2.SSS1.p3.6.m6.1.1.1.cmml" xref="S3.SS2.SSS1.p3.6.m6.1.1">superscript</csymbol><ci id="S3.SS2.SSS1.p3.6.m6.1.1.2.cmml" xref="S3.SS2.SSS1.p3.6.m6.1.1.2">𝜒</ci><cn type="integer" id="S3.SS2.SSS1.p3.6.m6.1.1.3.cmml" xref="S3.SS2.SSS1.p3.6.m6.1.1.3">2</cn></apply></annotation-xml><annotation encoding="application/x-tex" id="S3.SS2.SSS1.p3.6.m6.1c">\chi^{2}</annotation></semantics></math> divergences, and the Wasserstein and MMD distances. The corresponding choices are given in the appendix.</p>
</div>
</section>
</section>
</section>
<section id="S4" class="ltx_section">
<h2 class="ltx_title ltx_title_section">
<span class="ltx_tag ltx_tag_section">4 </span>Practical Occupancy Matching with Autoregressive Sequence Models</h2>

<figure id="S4.F2" class="ltx_figure"><img src="/html/2306.05426/assets/x2.png" id="S4.F2.g1" class="ltx_graphics ltx_centering ltx_img_landscape" width="368" height="242" alt="Refer to caption">
<figcaption class="ltx_caption ltx_centering"><span class="ltx_tag ltx_tag_figure">Figure 2: </span>Attention masks, position IDs, inputs and labels for states and actions. Transforming states and actions to single-pass inputs allows parallel computation of logits for all (state, action) pairs.</figcaption>
</figure>
<div id="S4.p1" class="ltx_para">
<p id="S4.p1.10" class="ltx_p">In practice, we wish to train a parameterized model <math id="S4.p1.1.m1.1" class="ltx_Math" alttext="p_{\theta}(a|s)" display="inline"><semantics id="S4.p1.1.m1.1a"><mrow id="S4.p1.1.m1.1.1" xref="S4.p1.1.m1.1.1.cmml"><msub id="S4.p1.1.m1.1.1.3" xref="S4.p1.1.m1.1.1.3.cmml"><mi id="S4.p1.1.m1.1.1.3.2" xref="S4.p1.1.m1.1.1.3.2.cmml">p</mi><mi id="S4.p1.1.m1.1.1.3.3" xref="S4.p1.1.m1.1.1.3.3.cmml">θ</mi></msub><mo lspace="0em" rspace="0em" id="S4.p1.1.m1.1.1.2" xref="S4.p1.1.m1.1.1.2.cmml">​</mo><mrow id="S4.p1.1.m1.1.1.1.1" xref="S4.p1.1.m1.1.1.1.1.1.cmml"><mo stretchy="false" id="S4.p1.1.m1.1.1.1.1.2" xref="S4.p1.1.m1.1.1.1.1.1.cmml">(</mo><mrow id="S4.p1.1.m1.1.1.1.1.1" xref="S4.p1.1.m1.1.1.1.1.1.cmml"><mi id="S4.p1.1.m1.1.1.1.1.1.2" xref="S4.p1.1.m1.1.1.1.1.1.2.cmml">a</mi><mo fence="false" id="S4.p1.1.m1.1.1.1.1.1.1" xref="S4.p1.1.m1.1.1.1.1.1.1.cmml">|</mo><mi id="S4.p1.1.m1.1.1.1.1.1.3" xref="S4.p1.1.m1.1.1.1.1.1.3.cmml">s</mi></mrow><mo stretchy="false" id="S4.p1.1.m1.1.1.1.1.3" xref="S4.p1.1.m1.1.1.1.1.1.cmml">)</mo></mrow></mrow><annotation-xml encoding="MathML-Content" id="S4.p1.1.m1.1b"><apply id="S4.p1.1.m1.1.1.cmml" xref="S4.p1.1.m1.1.1"><times id="S4.p1.1.m1.1.1.2.cmml" xref="S4.p1.1.m1.1.1.2"></times><apply id="S4.p1.1.m1.1.1.3.cmml" xref="S4.p1.1.m1.1.1.3"><csymbol cd="ambiguous" id="S4.p1.1.m1.1.1.3.1.cmml" xref="S4.p1.1.m1.1.1.3">subscript</csymbol><ci id="S4.p1.1.m1.1.1.3.2.cmml" xref="S4.p1.1.m1.1.1.3.2">𝑝</ci><ci id="S4.p1.1.m1.1.1.3.3.cmml" xref="S4.p1.1.m1.1.1.3.3">𝜃</ci></apply><apply id="S4.p1.1.m1.1.1.1.1.1.cmml" xref="S4.p1.1.m1.1.1.1.1"><csymbol cd="latexml" id="S4.p1.1.m1.1.1.1.1.1.1.cmml" xref="S4.p1.1.m1.1.1.1.1.1.1">conditional</csymbol><ci id="S4.p1.1.m1.1.1.1.1.1.2.cmml" xref="S4.p1.1.m1.1.1.1.1.1.2">𝑎</ci><ci id="S4.p1.1.m1.1.1.1.1.1.3.cmml" xref="S4.p1.1.m1.1.1.1.1.1.3">𝑠</ci></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="S4.p1.1.m1.1c">p_{\theta}(a|s)</annotation></semantics></math> which can serve as a policy, emitting a probability distribution over the next action given a partially completed sequence <math id="S4.p1.2.m2.1" class="ltx_Math" alttext="s" display="inline"><semantics id="S4.p1.2.m2.1a"><mi id="S4.p1.2.m2.1.1" xref="S4.p1.2.m2.1.1.cmml">s</mi><annotation-xml encoding="MathML-Content" id="S4.p1.2.m2.1b"><ci id="S4.p1.2.m2.1.1.cmml" xref="S4.p1.2.m2.1.1">𝑠</ci></annotation-xml><annotation encoding="application/x-tex" id="S4.p1.2.m2.1c">s</annotation></semantics></math>. In domains such as language, a common choice is a transformer <cite class="ltx_cite ltx_citemacro_citep">[<a href="#bib.bib35" title="" class="ltx_ref">35</a>]</cite>. The transformer architecture with parameters <math id="S4.p1.3.m3.1" class="ltx_Math" alttext="\theta" display="inline"><semantics id="S4.p1.3.m3.1a"><mi id="S4.p1.3.m3.1.1" xref="S4.p1.3.m3.1.1.cmml">θ</mi><annotation-xml encoding="MathML-Content" id="S4.p1.3.m3.1b"><ci id="S4.p1.3.m3.1.1.cmml" xref="S4.p1.3.m3.1.1">𝜃</ci></annotation-xml><annotation encoding="application/x-tex" id="S4.p1.3.m3.1c">\theta</annotation></semantics></math> gives a probability distribution over the next token <math id="S4.p1.4.m4.1" class="ltx_Math" alttext="x_{i}" display="inline"><semantics id="S4.p1.4.m4.1a"><msub id="S4.p1.4.m4.1.1" xref="S4.p1.4.m4.1.1.cmml"><mi id="S4.p1.4.m4.1.1.2" xref="S4.p1.4.m4.1.1.2.cmml">x</mi><mi id="S4.p1.4.m4.1.1.3" xref="S4.p1.4.m4.1.1.3.cmml">i</mi></msub><annotation-xml encoding="MathML-Content" id="S4.p1.4.m4.1b"><apply id="S4.p1.4.m4.1.1.cmml" xref="S4.p1.4.m4.1.1"><csymbol cd="ambiguous" id="S4.p1.4.m4.1.1.1.cmml" xref="S4.p1.4.m4.1.1">subscript</csymbol><ci id="S4.p1.4.m4.1.1.2.cmml" xref="S4.p1.4.m4.1.1.2">𝑥</ci><ci id="S4.p1.4.m4.1.1.3.cmml" xref="S4.p1.4.m4.1.1.3">𝑖</ci></apply></annotation-xml><annotation encoding="application/x-tex" id="S4.p1.4.m4.1c">x_{i}</annotation></semantics></math> given the previous tokens <math id="S4.p1.5.m5.1" class="ltx_Math" alttext="x_{&lt;i}" display="inline"><semantics id="S4.p1.5.m5.1a"><msub id="S4.p1.5.m5.1.1" xref="S4.p1.5.m5.1.1.cmml"><mi id="S4.p1.5.m5.1.1.2" xref="S4.p1.5.m5.1.1.2.cmml">x</mi><mrow id="S4.p1.5.m5.1.1.3" xref="S4.p1.5.m5.1.1.3.cmml"><mi id="S4.p1.5.m5.1.1.3.2" xref="S4.p1.5.m5.1.1.3.2.cmml"></mi><mo id="S4.p1.5.m5.1.1.3.1" xref="S4.p1.5.m5.1.1.3.1.cmml">&lt;</mo><mi id="S4.p1.5.m5.1.1.3.3" xref="S4.p1.5.m5.1.1.3.3.cmml">i</mi></mrow></msub><annotation-xml encoding="MathML-Content" id="S4.p1.5.m5.1b"><apply id="S4.p1.5.m5.1.1.cmml" xref="S4.p1.5.m5.1.1"><csymbol cd="ambiguous" id="S4.p1.5.m5.1.1.1.cmml" xref="S4.p1.5.m5.1.1">subscript</csymbol><ci id="S4.p1.5.m5.1.1.2.cmml" xref="S4.p1.5.m5.1.1.2">𝑥</ci><apply id="S4.p1.5.m5.1.1.3.cmml" xref="S4.p1.5.m5.1.1.3"><lt id="S4.p1.5.m5.1.1.3.1.cmml" xref="S4.p1.5.m5.1.1.3.1"></lt><csymbol cd="latexml" id="S4.p1.5.m5.1.1.3.2.cmml" xref="S4.p1.5.m5.1.1.3.2">absent</csymbol><ci id="S4.p1.5.m5.1.1.3.3.cmml" xref="S4.p1.5.m5.1.1.3.3">𝑖</ci></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="S4.p1.5.m5.1c">x_{&lt;i}</annotation></semantics></math>, parameterized as a set of logits <math id="S4.p1.6.m6.1" class="ltx_Math" alttext="\ell_{\theta}" display="inline"><semantics id="S4.p1.6.m6.1a"><msub id="S4.p1.6.m6.1.1" xref="S4.p1.6.m6.1.1.cmml"><mi mathvariant="normal" id="S4.p1.6.m6.1.1.2" xref="S4.p1.6.m6.1.1.2.cmml">ℓ</mi><mi id="S4.p1.6.m6.1.1.3" xref="S4.p1.6.m6.1.1.3.cmml">θ</mi></msub><annotation-xml encoding="MathML-Content" id="S4.p1.6.m6.1b"><apply id="S4.p1.6.m6.1.1.cmml" xref="S4.p1.6.m6.1.1"><csymbol cd="ambiguous" id="S4.p1.6.m6.1.1.1.cmml" xref="S4.p1.6.m6.1.1">subscript</csymbol><ci id="S4.p1.6.m6.1.1.2.cmml" xref="S4.p1.6.m6.1.1.2">ℓ</ci><ci id="S4.p1.6.m6.1.1.3.cmml" xref="S4.p1.6.m6.1.1.3">𝜃</ci></apply></annotation-xml><annotation encoding="application/x-tex" id="S4.p1.6.m6.1c">\ell_{\theta}</annotation></semantics></math>. This is converted to a probability distribution as <math id="S4.p1.7.m7.3" class="ltx_Math" alttext="\log p_{\theta}(x_{i})=\ell_{\theta}(x_{i}|x_{&lt;i})-\log\sum_{x^{\prime}\in X}\exp\ell_{\theta}(x^{\prime}|x_{&lt;i})" display="inline"><semantics id="S4.p1.7.m7.3a"><mrow id="S4.p1.7.m7.3.3" xref="S4.p1.7.m7.3.3.cmml"><mrow id="S4.p1.7.m7.1.1.1" xref="S4.p1.7.m7.1.1.1.cmml"><mrow id="S4.p1.7.m7.1.1.1.3" xref="S4.p1.7.m7.1.1.1.3.cmml"><mi id="S4.p1.7.m7.1.1.1.3.1" xref="S4.p1.7.m7.1.1.1.3.1.cmml">log</mi><mo lspace="0.167em" id="S4.p1.7.m7.1.1.1.3a" xref="S4.p1.7.m7.1.1.1.3.cmml">⁡</mo><msub id="S4.p1.7.m7.1.1.1.3.2" xref="S4.p1.7.m7.1.1.1.3.2.cmml"><mi id="S4.p1.7.m7.1.1.1.3.2.2" xref="S4.p1.7.m7.1.1.1.3.2.2.cmml">p</mi><mi id="S4.p1.7.m7.1.1.1.3.2.3" xref="S4.p1.7.m7.1.1.1.3.2.3.cmml">θ</mi></msub></mrow><mo lspace="0em" rspace="0em" id="S4.p1.7.m7.1.1.1.2" xref="S4.p1.7.m7.1.1.1.2.cmml">​</mo><mrow id="S4.p1.7.m7.1.1.1.1.1" xref="S4.p1.7.m7.1.1.1.1.1.1.cmml"><mo stretchy="false" id="S4.p1.7.m7.1.1.1.1.1.2" xref="S4.p1.7.m7.1.1.1.1.1.1.cmml">(</mo><msub id="S4.p1.7.m7.1.1.1.1.1.1" xref="S4.p1.7.m7.1.1.1.1.1.1.cmml"><mi id="S4.p1.7.m7.1.1.1.1.1.1.2" xref="S4.p1.7.m7.1.1.1.1.1.1.2.cmml">x</mi><mi id="S4.p1.7.m7.1.1.1.1.1.1.3" xref="S4.p1.7.m7.1.1.1.1.1.1.3.cmml">i</mi></msub><mo stretchy="false" id="S4.p1.7.m7.1.1.1.1.1.3" xref="S4.p1.7.m7.1.1.1.1.1.1.cmml">)</mo></mrow></mrow><mo id="S4.p1.7.m7.3.3.4" xref="S4.p1.7.m7.3.3.4.cmml">=</mo><mrow id="S4.p1.7.m7.3.3.3" xref="S4.p1.7.m7.3.3.3.cmml"><mrow id="S4.p1.7.m7.2.2.2.1" xref="S4.p1.7.m7.2.2.2.1.cmml"><msub id="S4.p1.7.m7.2.2.2.1.3" xref="S4.p1.7.m7.2.2.2.1.3.cmml"><mi mathvariant="normal" id="S4.p1.7.m7.2.2.2.1.3.2" xref="S4.p1.7.m7.2.2.2.1.3.2.cmml">ℓ</mi><mi id="S4.p1.7.m7.2.2.2.1.3.3" xref="S4.p1.7.m7.2.2.2.1.3.3.cmml">θ</mi></msub><mo lspace="0em" rspace="0em" id="S4.p1.7.m7.2.2.2.1.2" xref="S4.p1.7.m7.2.2.2.1.2.cmml">​</mo><mrow id="S4.p1.7.m7.2.2.2.1.1.1" xref="S4.p1.7.m7.2.2.2.1.1.1.1.cmml"><mo stretchy="false" id="S4.p1.7.m7.2.2.2.1.1.1.2" xref="S4.p1.7.m7.2.2.2.1.1.1.1.cmml">(</mo><mrow id="S4.p1.7.m7.2.2.2.1.1.1.1" xref="S4.p1.7.m7.2.2.2.1.1.1.1.cmml"><msub id="S4.p1.7.m7.2.2.2.1.1.1.1.2" xref="S4.p1.7.m7.2.2.2.1.1.1.1.2.cmml"><mi id="S4.p1.7.m7.2.2.2.1.1.1.1.2.2" xref="S4.p1.7.m7.2.2.2.1.1.1.1.2.2.cmml">x</mi><mi id="S4.p1.7.m7.2.2.2.1.1.1.1.2.3" xref="S4.p1.7.m7.2.2.2.1.1.1.1.2.3.cmml">i</mi></msub><mo fence="false" id="S4.p1.7.m7.2.2.2.1.1.1.1.1" xref="S4.p1.7.m7.2.2.2.1.1.1.1.1.cmml">|</mo><msub id="S4.p1.7.m7.2.2.2.1.1.1.1.3" xref="S4.p1.7.m7.2.2.2.1.1.1.1.3.cmml"><mi id="S4.p1.7.m7.2.2.2.1.1.1.1.3.2" xref="S4.p1.7.m7.2.2.2.1.1.1.1.3.2.cmml">x</mi><mrow id="S4.p1.7.m7.2.2.2.1.1.1.1.3.3" xref="S4.p1.7.m7.2.2.2.1.1.1.1.3.3.cmml"><mi id="S4.p1.7.m7.2.2.2.1.1.1.1.3.3.2" xref="S4.p1.7.m7.2.2.2.1.1.1.1.3.3.2.cmml"></mi><mo id="S4.p1.7.m7.2.2.2.1.1.1.1.3.3.1" xref="S4.p1.7.m7.2.2.2.1.1.1.1.3.3.1.cmml">&lt;</mo><mi id="S4.p1.7.m7.2.2.2.1.1.1.1.3.3.3" xref="S4.p1.7.m7.2.2.2.1.1.1.1.3.3.3.cmml">i</mi></mrow></msub></mrow><mo stretchy="false" id="S4.p1.7.m7.2.2.2.1.1.1.3" xref="S4.p1.7.m7.2.2.2.1.1.1.1.cmml">)</mo></mrow></mrow><mo id="S4.p1.7.m7.3.3.3.3" xref="S4.p1.7.m7.3.3.3.3.cmml">−</mo><mrow id="S4.p1.7.m7.3.3.3.2" xref="S4.p1.7.m7.3.3.3.2.cmml"><mi id="S4.p1.7.m7.3.3.3.2.3" xref="S4.p1.7.m7.3.3.3.2.3.cmml">log</mi><mo lspace="0em" rspace="0em" id="S4.p1.7.m7.3.3.3.2.2" xref="S4.p1.7.m7.3.3.3.2.2.cmml">​</mo><mrow id="S4.p1.7.m7.3.3.3.2.1" xref="S4.p1.7.m7.3.3.3.2.1.cmml"><msub id="S4.p1.7.m7.3.3.3.2.1.2" xref="S4.p1.7.m7.3.3.3.2.1.2.cmml"><mo id="S4.p1.7.m7.3.3.3.2.1.2.2" xref="S4.p1.7.m7.3.3.3.2.1.2.2.cmml">∑</mo><mrow id="S4.p1.7.m7.3.3.3.2.1.2.3" xref="S4.p1.7.m7.3.3.3.2.1.2.3.cmml"><msup id="S4.p1.7.m7.3.3.3.2.1.2.3.2" xref="S4.p1.7.m7.3.3.3.2.1.2.3.2.cmml"><mi id="S4.p1.7.m7.3.3.3.2.1.2.3.2.2" xref="S4.p1.7.m7.3.3.3.2.1.2.3.2.2.cmml">x</mi><mo id="S4.p1.7.m7.3.3.3.2.1.2.3.2.3" xref="S4.p1.7.m7.3.3.3.2.1.2.3.2.3.cmml">′</mo></msup><mo id="S4.p1.7.m7.3.3.3.2.1.2.3.1" xref="S4.p1.7.m7.3.3.3.2.1.2.3.1.cmml">∈</mo><mi id="S4.p1.7.m7.3.3.3.2.1.2.3.3" xref="S4.p1.7.m7.3.3.3.2.1.2.3.3.cmml">X</mi></mrow></msub><mrow id="S4.p1.7.m7.3.3.3.2.1.1" xref="S4.p1.7.m7.3.3.3.2.1.1.cmml"><mrow id="S4.p1.7.m7.3.3.3.2.1.1.3" xref="S4.p1.7.m7.3.3.3.2.1.1.3.cmml"><mi id="S4.p1.7.m7.3.3.3.2.1.1.3.1" xref="S4.p1.7.m7.3.3.3.2.1.1.3.1.cmml">exp</mi><mo lspace="0.167em" id="S4.p1.7.m7.3.3.3.2.1.1.3a" xref="S4.p1.7.m7.3.3.3.2.1.1.3.cmml">⁡</mo><msub id="S4.p1.7.m7.3.3.3.2.1.1.3.2" xref="S4.p1.7.m7.3.3.3.2.1.1.3.2.cmml"><mi mathvariant="normal" id="S4.p1.7.m7.3.3.3.2.1.1.3.2.2" xref="S4.p1.7.m7.3.3.3.2.1.1.3.2.2.cmml">ℓ</mi><mi id="S4.p1.7.m7.3.3.3.2.1.1.3.2.3" xref="S4.p1.7.m7.3.3.3.2.1.1.3.2.3.cmml">θ</mi></msub></mrow><mo lspace="0em" rspace="0em" id="S4.p1.7.m7.3.3.3.2.1.1.2" xref="S4.p1.7.m7.3.3.3.2.1.1.2.cmml">​</mo><mrow id="S4.p1.7.m7.3.3.3.2.1.1.1.1" xref="S4.p1.7.m7.3.3.3.2.1.1.1.1.1.cmml"><mo stretchy="false" id="S4.p1.7.m7.3.3.3.2.1.1.1.1.2" xref="S4.p1.7.m7.3.3.3.2.1.1.1.1.1.cmml">(</mo><mrow id="S4.p1.7.m7.3.3.3.2.1.1.1.1.1" xref="S4.p1.7.m7.3.3.3.2.1.1.1.1.1.cmml"><msup id="S4.p1.7.m7.3.3.3.2.1.1.1.1.1.2" xref="S4.p1.7.m7.3.3.3.2.1.1.1.1.1.2.cmml"><mi id="S4.p1.7.m7.3.3.3.2.1.1.1.1.1.2.2" xref="S4.p1.7.m7.3.3.3.2.1.1.1.1.1.2.2.cmml">x</mi><mo id="S4.p1.7.m7.3.3.3.2.1.1.1.1.1.2.3" xref="S4.p1.7.m7.3.3.3.2.1.1.1.1.1.2.3.cmml">′</mo></msup><mo fence="false" id="S4.p1.7.m7.3.3.3.2.1.1.1.1.1.1" xref="S4.p1.7.m7.3.3.3.2.1.1.1.1.1.1.cmml">|</mo><msub id="S4.p1.7.m7.3.3.3.2.1.1.1.1.1.3" xref="S4.p1.7.m7.3.3.3.2.1.1.1.1.1.3.cmml"><mi id="S4.p1.7.m7.3.3.3.2.1.1.1.1.1.3.2" xref="S4.p1.7.m7.3.3.3.2.1.1.1.1.1.3.2.cmml">x</mi><mrow id="S4.p1.7.m7.3.3.3.2.1.1.1.1.1.3.3" xref="S4.p1.7.m7.3.3.3.2.1.1.1.1.1.3.3.cmml"><mi id="S4.p1.7.m7.3.3.3.2.1.1.1.1.1.3.3.2" xref="S4.p1.7.m7.3.3.3.2.1.1.1.1.1.3.3.2.cmml"></mi><mo id="S4.p1.7.m7.3.3.3.2.1.1.1.1.1.3.3.1" xref="S4.p1.7.m7.3.3.3.2.1.1.1.1.1.3.3.1.cmml">&lt;</mo><mi id="S4.p1.7.m7.3.3.3.2.1.1.1.1.1.3.3.3" xref="S4.p1.7.m7.3.3.3.2.1.1.1.1.1.3.3.3.cmml">i</mi></mrow></msub></mrow><mo stretchy="false" id="S4.p1.7.m7.3.3.3.2.1.1.1.1.3" xref="S4.p1.7.m7.3.3.3.2.1.1.1.1.1.cmml">)</mo></mrow></mrow></mrow></mrow></mrow></mrow><annotation-xml encoding="MathML-Content" id="S4.p1.7.m7.3b"><apply id="S4.p1.7.m7.3.3.cmml" xref="S4.p1.7.m7.3.3"><eq id="S4.p1.7.m7.3.3.4.cmml" xref="S4.p1.7.m7.3.3.4"></eq><apply id="S4.p1.7.m7.1.1.1.cmml" xref="S4.p1.7.m7.1.1.1"><times id="S4.p1.7.m7.1.1.1.2.cmml" xref="S4.p1.7.m7.1.1.1.2"></times><apply id="S4.p1.7.m7.1.1.1.3.cmml" xref="S4.p1.7.m7.1.1.1.3"><log id="S4.p1.7.m7.1.1.1.3.1.cmml" xref="S4.p1.7.m7.1.1.1.3.1"></log><apply id="S4.p1.7.m7.1.1.1.3.2.cmml" xref="S4.p1.7.m7.1.1.1.3.2"><csymbol cd="ambiguous" id="S4.p1.7.m7.1.1.1.3.2.1.cmml" xref="S4.p1.7.m7.1.1.1.3.2">subscript</csymbol><ci id="S4.p1.7.m7.1.1.1.3.2.2.cmml" xref="S4.p1.7.m7.1.1.1.3.2.2">𝑝</ci><ci id="S4.p1.7.m7.1.1.1.3.2.3.cmml" xref="S4.p1.7.m7.1.1.1.3.2.3">𝜃</ci></apply></apply><apply id="S4.p1.7.m7.1.1.1.1.1.1.cmml" xref="S4.p1.7.m7.1.1.1.1.1"><csymbol cd="ambiguous" id="S4.p1.7.m7.1.1.1.1.1.1.1.cmml" xref="S4.p1.7.m7.1.1.1.1.1">subscript</csymbol><ci id="S4.p1.7.m7.1.1.1.1.1.1.2.cmml" xref="S4.p1.7.m7.1.1.1.1.1.1.2">𝑥</ci><ci id="S4.p1.7.m7.1.1.1.1.1.1.3.cmml" xref="S4.p1.7.m7.1.1.1.1.1.1.3">𝑖</ci></apply></apply><apply id="S4.p1.7.m7.3.3.3.cmml" xref="S4.p1.7.m7.3.3.3"><minus id="S4.p1.7.m7.3.3.3.3.cmml" xref="S4.p1.7.m7.3.3.3.3"></minus><apply id="S4.p1.7.m7.2.2.2.1.cmml" xref="S4.p1.7.m7.2.2.2.1"><times id="S4.p1.7.m7.2.2.2.1.2.cmml" xref="S4.p1.7.m7.2.2.2.1.2"></times><apply id="S4.p1.7.m7.2.2.2.1.3.cmml" xref="S4.p1.7.m7.2.2.2.1.3"><csymbol cd="ambiguous" id="S4.p1.7.m7.2.2.2.1.3.1.cmml" xref="S4.p1.7.m7.2.2.2.1.3">subscript</csymbol><ci id="S4.p1.7.m7.2.2.2.1.3.2.cmml" xref="S4.p1.7.m7.2.2.2.1.3.2">ℓ</ci><ci id="S4.p1.7.m7.2.2.2.1.3.3.cmml" xref="S4.p1.7.m7.2.2.2.1.3.3">𝜃</ci></apply><apply id="S4.p1.7.m7.2.2.2.1.1.1.1.cmml" xref="S4.p1.7.m7.2.2.2.1.1.1"><csymbol cd="latexml" id="S4.p1.7.m7.2.2.2.1.1.1.1.1.cmml" xref="S4.p1.7.m7.2.2.2.1.1.1.1.1">conditional</csymbol><apply id="S4.p1.7.m7.2.2.2.1.1.1.1.2.cmml" xref="S4.p1.7.m7.2.2.2.1.1.1.1.2"><csymbol cd="ambiguous" id="S4.p1.7.m7.2.2.2.1.1.1.1.2.1.cmml" xref="S4.p1.7.m7.2.2.2.1.1.1.1.2">subscript</csymbol><ci id="S4.p1.7.m7.2.2.2.1.1.1.1.2.2.cmml" xref="S4.p1.7.m7.2.2.2.1.1.1.1.2.2">𝑥</ci><ci id="S4.p1.7.m7.2.2.2.1.1.1.1.2.3.cmml" xref="S4.p1.7.m7.2.2.2.1.1.1.1.2.3">𝑖</ci></apply><apply id="S4.p1.7.m7.2.2.2.1.1.1.1.3.cmml" xref="S4.p1.7.m7.2.2.2.1.1.1.1.3"><csymbol cd="ambiguous" id="S4.p1.7.m7.2.2.2.1.1.1.1.3.1.cmml" xref="S4.p1.7.m7.2.2.2.1.1.1.1.3">subscript</csymbol><ci id="S4.p1.7.m7.2.2.2.1.1.1.1.3.2.cmml" xref="S4.p1.7.m7.2.2.2.1.1.1.1.3.2">𝑥</ci><apply id="S4.p1.7.m7.2.2.2.1.1.1.1.3.3.cmml" xref="S4.p1.7.m7.2.2.2.1.1.1.1.3.3"><lt id="S4.p1.7.m7.2.2.2.1.1.1.1.3.3.1.cmml" xref="S4.p1.7.m7.2.2.2.1.1.1.1.3.3.1"></lt><csymbol cd="latexml" id="S4.p1.7.m7.2.2.2.1.1.1.1.3.3.2.cmml" xref="S4.p1.7.m7.2.2.2.1.1.1.1.3.3.2">absent</csymbol><ci id="S4.p1.7.m7.2.2.2.1.1.1.1.3.3.3.cmml" xref="S4.p1.7.m7.2.2.2.1.1.1.1.3.3.3">𝑖</ci></apply></apply></apply></apply><apply id="S4.p1.7.m7.3.3.3.2.cmml" xref="S4.p1.7.m7.3.3.3.2"><times id="S4.p1.7.m7.3.3.3.2.2.cmml" xref="S4.p1.7.m7.3.3.3.2.2"></times><log id="S4.p1.7.m7.3.3.3.2.3.cmml" xref="S4.p1.7.m7.3.3.3.2.3"></log><apply id="S4.p1.7.m7.3.3.3.2.1.cmml" xref="S4.p1.7.m7.3.3.3.2.1"><apply id="S4.p1.7.m7.3.3.3.2.1.2.cmml" xref="S4.p1.7.m7.3.3.3.2.1.2"><csymbol cd="ambiguous" id="S4.p1.7.m7.3.3.3.2.1.2.1.cmml" xref="S4.p1.7.m7.3.3.3.2.1.2">subscript</csymbol><sum id="S4.p1.7.m7.3.3.3.2.1.2.2.cmml" xref="S4.p1.7.m7.3.3.3.2.1.2.2"></sum><apply id="S4.p1.7.m7.3.3.3.2.1.2.3.cmml" xref="S4.p1.7.m7.3.3.3.2.1.2.3"><in id="S4.p1.7.m7.3.3.3.2.1.2.3.1.cmml" xref="S4.p1.7.m7.3.3.3.2.1.2.3.1"></in><apply id="S4.p1.7.m7.3.3.3.2.1.2.3.2.cmml" xref="S4.p1.7.m7.3.3.3.2.1.2.3.2"><csymbol cd="ambiguous" id="S4.p1.7.m7.3.3.3.2.1.2.3.2.1.cmml" xref="S4.p1.7.m7.3.3.3.2.1.2.3.2">superscript</csymbol><ci id="S4.p1.7.m7.3.3.3.2.1.2.3.2.2.cmml" xref="S4.p1.7.m7.3.3.3.2.1.2.3.2.2">𝑥</ci><ci id="S4.p1.7.m7.3.3.3.2.1.2.3.2.3.cmml" xref="S4.p1.7.m7.3.3.3.2.1.2.3.2.3">′</ci></apply><ci id="S4.p1.7.m7.3.3.3.2.1.2.3.3.cmml" xref="S4.p1.7.m7.3.3.3.2.1.2.3.3">𝑋</ci></apply></apply><apply id="S4.p1.7.m7.3.3.3.2.1.1.cmml" xref="S4.p1.7.m7.3.3.3.2.1.1"><times id="S4.p1.7.m7.3.3.3.2.1.1.2.cmml" xref="S4.p1.7.m7.3.3.3.2.1.1.2"></times><apply id="S4.p1.7.m7.3.3.3.2.1.1.3.cmml" xref="S4.p1.7.m7.3.3.3.2.1.1.3"><exp id="S4.p1.7.m7.3.3.3.2.1.1.3.1.cmml" xref="S4.p1.7.m7.3.3.3.2.1.1.3.1"></exp><apply id="S4.p1.7.m7.3.3.3.2.1.1.3.2.cmml" xref="S4.p1.7.m7.3.3.3.2.1.1.3.2"><csymbol cd="ambiguous" id="S4.p1.7.m7.3.3.3.2.1.1.3.2.1.cmml" xref="S4.p1.7.m7.3.3.3.2.1.1.3.2">subscript</csymbol><ci id="S4.p1.7.m7.3.3.3.2.1.1.3.2.2.cmml" xref="S4.p1.7.m7.3.3.3.2.1.1.3.2.2">ℓ</ci><ci id="S4.p1.7.m7.3.3.3.2.1.1.3.2.3.cmml" xref="S4.p1.7.m7.3.3.3.2.1.1.3.2.3">𝜃</ci></apply></apply><apply id="S4.p1.7.m7.3.3.3.2.1.1.1.1.1.cmml" xref="S4.p1.7.m7.3.3.3.2.1.1.1.1"><csymbol cd="latexml" id="S4.p1.7.m7.3.3.3.2.1.1.1.1.1.1.cmml" xref="S4.p1.7.m7.3.3.3.2.1.1.1.1.1.1">conditional</csymbol><apply id="S4.p1.7.m7.3.3.3.2.1.1.1.1.1.2.cmml" xref="S4.p1.7.m7.3.3.3.2.1.1.1.1.1.2"><csymbol cd="ambiguous" id="S4.p1.7.m7.3.3.3.2.1.1.1.1.1.2.1.cmml" xref="S4.p1.7.m7.3.3.3.2.1.1.1.1.1.2">superscript</csymbol><ci id="S4.p1.7.m7.3.3.3.2.1.1.1.1.1.2.2.cmml" xref="S4.p1.7.m7.3.3.3.2.1.1.1.1.1.2.2">𝑥</ci><ci id="S4.p1.7.m7.3.3.3.2.1.1.1.1.1.2.3.cmml" xref="S4.p1.7.m7.3.3.3.2.1.1.1.1.1.2.3">′</ci></apply><apply id="S4.p1.7.m7.3.3.3.2.1.1.1.1.1.3.cmml" xref="S4.p1.7.m7.3.3.3.2.1.1.1.1.1.3"><csymbol cd="ambiguous" id="S4.p1.7.m7.3.3.3.2.1.1.1.1.1.3.1.cmml" xref="S4.p1.7.m7.3.3.3.2.1.1.1.1.1.3">subscript</csymbol><ci id="S4.p1.7.m7.3.3.3.2.1.1.1.1.1.3.2.cmml" xref="S4.p1.7.m7.3.3.3.2.1.1.1.1.1.3.2">𝑥</ci><apply id="S4.p1.7.m7.3.3.3.2.1.1.1.1.1.3.3.cmml" xref="S4.p1.7.m7.3.3.3.2.1.1.1.1.1.3.3"><lt id="S4.p1.7.m7.3.3.3.2.1.1.1.1.1.3.3.1.cmml" xref="S4.p1.7.m7.3.3.3.2.1.1.1.1.1.3.3.1"></lt><csymbol cd="latexml" id="S4.p1.7.m7.3.3.3.2.1.1.1.1.1.3.3.2.cmml" xref="S4.p1.7.m7.3.3.3.2.1.1.1.1.1.3.3.2">absent</csymbol><ci id="S4.p1.7.m7.3.3.3.2.1.1.1.1.1.3.3.3.cmml" xref="S4.p1.7.m7.3.3.3.2.1.1.1.1.1.3.3.3">𝑖</ci></apply></apply></apply></apply></apply></apply></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="S4.p1.7.m7.3c">\log p_{\theta}(x_{i})=\ell_{\theta}(x_{i}|x_{&lt;i})-\log\sum_{x^{\prime}\in X}\exp\ell_{\theta}(x^{\prime}|x_{&lt;i})</annotation></semantics></math>. Thus the typical MLE loss, given a sample from the dataset of a complete sequence <math id="S4.p1.8.m8.1" class="ltx_Math" alttext="x_{1:N}" display="inline"><semantics id="S4.p1.8.m8.1a"><msub id="S4.p1.8.m8.1.1" xref="S4.p1.8.m8.1.1.cmml"><mi id="S4.p1.8.m8.1.1.2" xref="S4.p1.8.m8.1.1.2.cmml">x</mi><mrow id="S4.p1.8.m8.1.1.3" xref="S4.p1.8.m8.1.1.3.cmml"><mn id="S4.p1.8.m8.1.1.3.2" xref="S4.p1.8.m8.1.1.3.2.cmml">1</mn><mo lspace="0.278em" rspace="0.278em" id="S4.p1.8.m8.1.1.3.1" xref="S4.p1.8.m8.1.1.3.1.cmml">:</mo><mi id="S4.p1.8.m8.1.1.3.3" xref="S4.p1.8.m8.1.1.3.3.cmml">N</mi></mrow></msub><annotation-xml encoding="MathML-Content" id="S4.p1.8.m8.1b"><apply id="S4.p1.8.m8.1.1.cmml" xref="S4.p1.8.m8.1.1"><csymbol cd="ambiguous" id="S4.p1.8.m8.1.1.1.cmml" xref="S4.p1.8.m8.1.1">subscript</csymbol><ci id="S4.p1.8.m8.1.1.2.cmml" xref="S4.p1.8.m8.1.1.2">𝑥</ci><apply id="S4.p1.8.m8.1.1.3.cmml" xref="S4.p1.8.m8.1.1.3"><ci id="S4.p1.8.m8.1.1.3.1.cmml" xref="S4.p1.8.m8.1.1.3.1">:</ci><cn type="integer" id="S4.p1.8.m8.1.1.3.2.cmml" xref="S4.p1.8.m8.1.1.3.2">1</cn><ci id="S4.p1.8.m8.1.1.3.3.cmml" xref="S4.p1.8.m8.1.1.3.3">𝑁</ci></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="S4.p1.8.m8.1c">x_{1:N}</annotation></semantics></math>, can be written as <math id="S4.p1.9.m9.3" class="ltx_Math" alttext="\mathcal{\hat{L}}_{\text{MLE}}(\ell_{\theta})=\sum_{i=1}^{N}\ell(x_{i}|x_{&lt;i})-\log\sum_{x^{\prime}\in X}\exp\ell(x^{\prime}|x_{&lt;i})" display="inline"><semantics id="S4.p1.9.m9.3a"><mrow id="S4.p1.9.m9.3.3" xref="S4.p1.9.m9.3.3.cmml"><mrow id="S4.p1.9.m9.1.1.1" xref="S4.p1.9.m9.1.1.1.cmml"><msub id="S4.p1.9.m9.1.1.1.3" xref="S4.p1.9.m9.1.1.1.3.cmml"><mover accent="true" id="S4.p1.9.m9.1.1.1.3.2" xref="S4.p1.9.m9.1.1.1.3.2.cmml"><mi class="ltx_font_mathcaligraphic" id="S4.p1.9.m9.1.1.1.3.2.2" xref="S4.p1.9.m9.1.1.1.3.2.2.cmml">ℒ</mi><mo id="S4.p1.9.m9.1.1.1.3.2.1" xref="S4.p1.9.m9.1.1.1.3.2.1.cmml">^</mo></mover><mtext id="S4.p1.9.m9.1.1.1.3.3" xref="S4.p1.9.m9.1.1.1.3.3a.cmml">MLE</mtext></msub><mo lspace="0em" rspace="0em" id="S4.p1.9.m9.1.1.1.2" xref="S4.p1.9.m9.1.1.1.2.cmml">​</mo><mrow id="S4.p1.9.m9.1.1.1.1.1" xref="S4.p1.9.m9.1.1.1.1.1.1.cmml"><mo stretchy="false" id="S4.p1.9.m9.1.1.1.1.1.2" xref="S4.p1.9.m9.1.1.1.1.1.1.cmml">(</mo><msub id="S4.p1.9.m9.1.1.1.1.1.1" xref="S4.p1.9.m9.1.1.1.1.1.1.cmml"><mi mathvariant="normal" id="S4.p1.9.m9.1.1.1.1.1.1.2" xref="S4.p1.9.m9.1.1.1.1.1.1.2.cmml">ℓ</mi><mi id="S4.p1.9.m9.1.1.1.1.1.1.3" xref="S4.p1.9.m9.1.1.1.1.1.1.3.cmml">θ</mi></msub><mo stretchy="false" id="S4.p1.9.m9.1.1.1.1.1.3" xref="S4.p1.9.m9.1.1.1.1.1.1.cmml">)</mo></mrow></mrow><mo rspace="0.111em" id="S4.p1.9.m9.3.3.4" xref="S4.p1.9.m9.3.3.4.cmml">=</mo><mrow id="S4.p1.9.m9.3.3.3" xref="S4.p1.9.m9.3.3.3.cmml"><mrow id="S4.p1.9.m9.2.2.2.1" xref="S4.p1.9.m9.2.2.2.1.cmml"><msubsup id="S4.p1.9.m9.2.2.2.1.2" xref="S4.p1.9.m9.2.2.2.1.2.cmml"><mo id="S4.p1.9.m9.2.2.2.1.2.2.2" xref="S4.p1.9.m9.2.2.2.1.2.2.2.cmml">∑</mo><mrow id="S4.p1.9.m9.2.2.2.1.2.2.3" xref="S4.p1.9.m9.2.2.2.1.2.2.3.cmml"><mi id="S4.p1.9.m9.2.2.2.1.2.2.3.2" xref="S4.p1.9.m9.2.2.2.1.2.2.3.2.cmml">i</mi><mo id="S4.p1.9.m9.2.2.2.1.2.2.3.1" xref="S4.p1.9.m9.2.2.2.1.2.2.3.1.cmml">=</mo><mn id="S4.p1.9.m9.2.2.2.1.2.2.3.3" xref="S4.p1.9.m9.2.2.2.1.2.2.3.3.cmml">1</mn></mrow><mi id="S4.p1.9.m9.2.2.2.1.2.3" xref="S4.p1.9.m9.2.2.2.1.2.3.cmml">N</mi></msubsup><mrow id="S4.p1.9.m9.2.2.2.1.1" xref="S4.p1.9.m9.2.2.2.1.1.cmml"><mi mathvariant="normal" id="S4.p1.9.m9.2.2.2.1.1.3" xref="S4.p1.9.m9.2.2.2.1.1.3.cmml">ℓ</mi><mo lspace="0em" rspace="0em" id="S4.p1.9.m9.2.2.2.1.1.2" xref="S4.p1.9.m9.2.2.2.1.1.2.cmml">​</mo><mrow id="S4.p1.9.m9.2.2.2.1.1.1.1" xref="S4.p1.9.m9.2.2.2.1.1.1.1.1.cmml"><mo stretchy="false" id="S4.p1.9.m9.2.2.2.1.1.1.1.2" xref="S4.p1.9.m9.2.2.2.1.1.1.1.1.cmml">(</mo><mrow id="S4.p1.9.m9.2.2.2.1.1.1.1.1" xref="S4.p1.9.m9.2.2.2.1.1.1.1.1.cmml"><msub id="S4.p1.9.m9.2.2.2.1.1.1.1.1.2" xref="S4.p1.9.m9.2.2.2.1.1.1.1.1.2.cmml"><mi id="S4.p1.9.m9.2.2.2.1.1.1.1.1.2.2" xref="S4.p1.9.m9.2.2.2.1.1.1.1.1.2.2.cmml">x</mi><mi id="S4.p1.9.m9.2.2.2.1.1.1.1.1.2.3" xref="S4.p1.9.m9.2.2.2.1.1.1.1.1.2.3.cmml">i</mi></msub><mo fence="false" id="S4.p1.9.m9.2.2.2.1.1.1.1.1.1" xref="S4.p1.9.m9.2.2.2.1.1.1.1.1.1.cmml">|</mo><msub id="S4.p1.9.m9.2.2.2.1.1.1.1.1.3" xref="S4.p1.9.m9.2.2.2.1.1.1.1.1.3.cmml"><mi id="S4.p1.9.m9.2.2.2.1.1.1.1.1.3.2" xref="S4.p1.9.m9.2.2.2.1.1.1.1.1.3.2.cmml">x</mi><mrow id="S4.p1.9.m9.2.2.2.1.1.1.1.1.3.3" xref="S4.p1.9.m9.2.2.2.1.1.1.1.1.3.3.cmml"><mi id="S4.p1.9.m9.2.2.2.1.1.1.1.1.3.3.2" xref="S4.p1.9.m9.2.2.2.1.1.1.1.1.3.3.2.cmml"></mi><mo id="S4.p1.9.m9.2.2.2.1.1.1.1.1.3.3.1" xref="S4.p1.9.m9.2.2.2.1.1.1.1.1.3.3.1.cmml">&lt;</mo><mi id="S4.p1.9.m9.2.2.2.1.1.1.1.1.3.3.3" xref="S4.p1.9.m9.2.2.2.1.1.1.1.1.3.3.3.cmml">i</mi></mrow></msub></mrow><mo stretchy="false" id="S4.p1.9.m9.2.2.2.1.1.1.1.3" xref="S4.p1.9.m9.2.2.2.1.1.1.1.1.cmml">)</mo></mrow></mrow></mrow><mo id="S4.p1.9.m9.3.3.3.3" xref="S4.p1.9.m9.3.3.3.3.cmml">−</mo><mrow id="S4.p1.9.m9.3.3.3.2" xref="S4.p1.9.m9.3.3.3.2.cmml"><mi id="S4.p1.9.m9.3.3.3.2.3" xref="S4.p1.9.m9.3.3.3.2.3.cmml">log</mi><mo lspace="0em" rspace="0em" id="S4.p1.9.m9.3.3.3.2.2" xref="S4.p1.9.m9.3.3.3.2.2.cmml">​</mo><mrow id="S4.p1.9.m9.3.3.3.2.1" xref="S4.p1.9.m9.3.3.3.2.1.cmml"><msub id="S4.p1.9.m9.3.3.3.2.1.2" xref="S4.p1.9.m9.3.3.3.2.1.2.cmml"><mo id="S4.p1.9.m9.3.3.3.2.1.2.2" xref="S4.p1.9.m9.3.3.3.2.1.2.2.cmml">∑</mo><mrow id="S4.p1.9.m9.3.3.3.2.1.2.3" xref="S4.p1.9.m9.3.3.3.2.1.2.3.cmml"><msup id="S4.p1.9.m9.3.3.3.2.1.2.3.2" xref="S4.p1.9.m9.3.3.3.2.1.2.3.2.cmml"><mi id="S4.p1.9.m9.3.3.3.2.1.2.3.2.2" xref="S4.p1.9.m9.3.3.3.2.1.2.3.2.2.cmml">x</mi><mo id="S4.p1.9.m9.3.3.3.2.1.2.3.2.3" xref="S4.p1.9.m9.3.3.3.2.1.2.3.2.3.cmml">′</mo></msup><mo id="S4.p1.9.m9.3.3.3.2.1.2.3.1" xref="S4.p1.9.m9.3.3.3.2.1.2.3.1.cmml">∈</mo><mi id="S4.p1.9.m9.3.3.3.2.1.2.3.3" xref="S4.p1.9.m9.3.3.3.2.1.2.3.3.cmml">X</mi></mrow></msub><mrow id="S4.p1.9.m9.3.3.3.2.1.1" xref="S4.p1.9.m9.3.3.3.2.1.1.cmml"><mrow id="S4.p1.9.m9.3.3.3.2.1.1.3" xref="S4.p1.9.m9.3.3.3.2.1.1.3.cmml"><mi id="S4.p1.9.m9.3.3.3.2.1.1.3.1" xref="S4.p1.9.m9.3.3.3.2.1.1.3.1.cmml">exp</mi><mo lspace="0.167em" id="S4.p1.9.m9.3.3.3.2.1.1.3a" xref="S4.p1.9.m9.3.3.3.2.1.1.3.cmml">⁡</mo><mi mathvariant="normal" id="S4.p1.9.m9.3.3.3.2.1.1.3.2" xref="S4.p1.9.m9.3.3.3.2.1.1.3.2.cmml">ℓ</mi></mrow><mo lspace="0em" rspace="0em" id="S4.p1.9.m9.3.3.3.2.1.1.2" xref="S4.p1.9.m9.3.3.3.2.1.1.2.cmml">​</mo><mrow id="S4.p1.9.m9.3.3.3.2.1.1.1.1" xref="S4.p1.9.m9.3.3.3.2.1.1.1.1.1.cmml"><mo stretchy="false" id="S4.p1.9.m9.3.3.3.2.1.1.1.1.2" xref="S4.p1.9.m9.3.3.3.2.1.1.1.1.1.cmml">(</mo><mrow id="S4.p1.9.m9.3.3.3.2.1.1.1.1.1" xref="S4.p1.9.m9.3.3.3.2.1.1.1.1.1.cmml"><msup id="S4.p1.9.m9.3.3.3.2.1.1.1.1.1.2" xref="S4.p1.9.m9.3.3.3.2.1.1.1.1.1.2.cmml"><mi id="S4.p1.9.m9.3.3.3.2.1.1.1.1.1.2.2" xref="S4.p1.9.m9.3.3.3.2.1.1.1.1.1.2.2.cmml">x</mi><mo id="S4.p1.9.m9.3.3.3.2.1.1.1.1.1.2.3" xref="S4.p1.9.m9.3.3.3.2.1.1.1.1.1.2.3.cmml">′</mo></msup><mo fence="false" id="S4.p1.9.m9.3.3.3.2.1.1.1.1.1.1" xref="S4.p1.9.m9.3.3.3.2.1.1.1.1.1.1.cmml">|</mo><msub id="S4.p1.9.m9.3.3.3.2.1.1.1.1.1.3" xref="S4.p1.9.m9.3.3.3.2.1.1.1.1.1.3.cmml"><mi id="S4.p1.9.m9.3.3.3.2.1.1.1.1.1.3.2" xref="S4.p1.9.m9.3.3.3.2.1.1.1.1.1.3.2.cmml">x</mi><mrow id="S4.p1.9.m9.3.3.3.2.1.1.1.1.1.3.3" xref="S4.p1.9.m9.3.3.3.2.1.1.1.1.1.3.3.cmml"><mi id="S4.p1.9.m9.3.3.3.2.1.1.1.1.1.3.3.2" xref="S4.p1.9.m9.3.3.3.2.1.1.1.1.1.3.3.2.cmml"></mi><mo id="S4.p1.9.m9.3.3.3.2.1.1.1.1.1.3.3.1" xref="S4.p1.9.m9.3.3.3.2.1.1.1.1.1.3.3.1.cmml">&lt;</mo><mi id="S4.p1.9.m9.3.3.3.2.1.1.1.1.1.3.3.3" xref="S4.p1.9.m9.3.3.3.2.1.1.1.1.1.3.3.3.cmml">i</mi></mrow></msub></mrow><mo stretchy="false" id="S4.p1.9.m9.3.3.3.2.1.1.1.1.3" xref="S4.p1.9.m9.3.3.3.2.1.1.1.1.1.cmml">)</mo></mrow></mrow></mrow></mrow></mrow></mrow><annotation-xml encoding="MathML-Content" id="S4.p1.9.m9.3b"><apply id="S4.p1.9.m9.3.3.cmml" xref="S4.p1.9.m9.3.3"><eq id="S4.p1.9.m9.3.3.4.cmml" xref="S4.p1.9.m9.3.3.4"></eq><apply id="S4.p1.9.m9.1.1.1.cmml" xref="S4.p1.9.m9.1.1.1"><times id="S4.p1.9.m9.1.1.1.2.cmml" xref="S4.p1.9.m9.1.1.1.2"></times><apply id="S4.p1.9.m9.1.1.1.3.cmml" xref="S4.p1.9.m9.1.1.1.3"><csymbol cd="ambiguous" id="S4.p1.9.m9.1.1.1.3.1.cmml" xref="S4.p1.9.m9.1.1.1.3">subscript</csymbol><apply id="S4.p1.9.m9.1.1.1.3.2.cmml" xref="S4.p1.9.m9.1.1.1.3.2"><ci id="S4.p1.9.m9.1.1.1.3.2.1.cmml" xref="S4.p1.9.m9.1.1.1.3.2.1">^</ci><ci id="S4.p1.9.m9.1.1.1.3.2.2.cmml" xref="S4.p1.9.m9.1.1.1.3.2.2">ℒ</ci></apply><ci id="S4.p1.9.m9.1.1.1.3.3a.cmml" xref="S4.p1.9.m9.1.1.1.3.3"><mtext mathsize="70%" id="S4.p1.9.m9.1.1.1.3.3.cmml" xref="S4.p1.9.m9.1.1.1.3.3">MLE</mtext></ci></apply><apply id="S4.p1.9.m9.1.1.1.1.1.1.cmml" xref="S4.p1.9.m9.1.1.1.1.1"><csymbol cd="ambiguous" id="S4.p1.9.m9.1.1.1.1.1.1.1.cmml" xref="S4.p1.9.m9.1.1.1.1.1">subscript</csymbol><ci id="S4.p1.9.m9.1.1.1.1.1.1.2.cmml" xref="S4.p1.9.m9.1.1.1.1.1.1.2">ℓ</ci><ci id="S4.p1.9.m9.1.1.1.1.1.1.3.cmml" xref="S4.p1.9.m9.1.1.1.1.1.1.3">𝜃</ci></apply></apply><apply id="S4.p1.9.m9.3.3.3.cmml" xref="S4.p1.9.m9.3.3.3"><minus id="S4.p1.9.m9.3.3.3.3.cmml" xref="S4.p1.9.m9.3.3.3.3"></minus><apply id="S4.p1.9.m9.2.2.2.1.cmml" xref="S4.p1.9.m9.2.2.2.1"><apply id="S4.p1.9.m9.2.2.2.1.2.cmml" xref="S4.p1.9.m9.2.2.2.1.2"><csymbol cd="ambiguous" id="S4.p1.9.m9.2.2.2.1.2.1.cmml" xref="S4.p1.9.m9.2.2.2.1.2">superscript</csymbol><apply id="S4.p1.9.m9.2.2.2.1.2.2.cmml" xref="S4.p1.9.m9.2.2.2.1.2"><csymbol cd="ambiguous" id="S4.p1.9.m9.2.2.2.1.2.2.1.cmml" xref="S4.p1.9.m9.2.2.2.1.2">subscript</csymbol><sum id="S4.p1.9.m9.2.2.2.1.2.2.2.cmml" xref="S4.p1.9.m9.2.2.2.1.2.2.2"></sum><apply id="S4.p1.9.m9.2.2.2.1.2.2.3.cmml" xref="S4.p1.9.m9.2.2.2.1.2.2.3"><eq id="S4.p1.9.m9.2.2.2.1.2.2.3.1.cmml" xref="S4.p1.9.m9.2.2.2.1.2.2.3.1"></eq><ci id="S4.p1.9.m9.2.2.2.1.2.2.3.2.cmml" xref="S4.p1.9.m9.2.2.2.1.2.2.3.2">𝑖</ci><cn type="integer" id="S4.p1.9.m9.2.2.2.1.2.2.3.3.cmml" xref="S4.p1.9.m9.2.2.2.1.2.2.3.3">1</cn></apply></apply><ci id="S4.p1.9.m9.2.2.2.1.2.3.cmml" xref="S4.p1.9.m9.2.2.2.1.2.3">𝑁</ci></apply><apply id="S4.p1.9.m9.2.2.2.1.1.cmml" xref="S4.p1.9.m9.2.2.2.1.1"><times id="S4.p1.9.m9.2.2.2.1.1.2.cmml" xref="S4.p1.9.m9.2.2.2.1.1.2"></times><ci id="S4.p1.9.m9.2.2.2.1.1.3.cmml" xref="S4.p1.9.m9.2.2.2.1.1.3">ℓ</ci><apply id="S4.p1.9.m9.2.2.2.1.1.1.1.1.cmml" xref="S4.p1.9.m9.2.2.2.1.1.1.1"><csymbol cd="latexml" id="S4.p1.9.m9.2.2.2.1.1.1.1.1.1.cmml" xref="S4.p1.9.m9.2.2.2.1.1.1.1.1.1">conditional</csymbol><apply id="S4.p1.9.m9.2.2.2.1.1.1.1.1.2.cmml" xref="S4.p1.9.m9.2.2.2.1.1.1.1.1.2"><csymbol cd="ambiguous" id="S4.p1.9.m9.2.2.2.1.1.1.1.1.2.1.cmml" xref="S4.p1.9.m9.2.2.2.1.1.1.1.1.2">subscript</csymbol><ci id="S4.p1.9.m9.2.2.2.1.1.1.1.1.2.2.cmml" xref="S4.p1.9.m9.2.2.2.1.1.1.1.1.2.2">𝑥</ci><ci id="S4.p1.9.m9.2.2.2.1.1.1.1.1.2.3.cmml" xref="S4.p1.9.m9.2.2.2.1.1.1.1.1.2.3">𝑖</ci></apply><apply id="S4.p1.9.m9.2.2.2.1.1.1.1.1.3.cmml" xref="S4.p1.9.m9.2.2.2.1.1.1.1.1.3"><csymbol cd="ambiguous" id="S4.p1.9.m9.2.2.2.1.1.1.1.1.3.1.cmml" xref="S4.p1.9.m9.2.2.2.1.1.1.1.1.3">subscript</csymbol><ci id="S4.p1.9.m9.2.2.2.1.1.1.1.1.3.2.cmml" xref="S4.p1.9.m9.2.2.2.1.1.1.1.1.3.2">𝑥</ci><apply id="S4.p1.9.m9.2.2.2.1.1.1.1.1.3.3.cmml" xref="S4.p1.9.m9.2.2.2.1.1.1.1.1.3.3"><lt id="S4.p1.9.m9.2.2.2.1.1.1.1.1.3.3.1.cmml" xref="S4.p1.9.m9.2.2.2.1.1.1.1.1.3.3.1"></lt><csymbol cd="latexml" id="S4.p1.9.m9.2.2.2.1.1.1.1.1.3.3.2.cmml" xref="S4.p1.9.m9.2.2.2.1.1.1.1.1.3.3.2">absent</csymbol><ci id="S4.p1.9.m9.2.2.2.1.1.1.1.1.3.3.3.cmml" xref="S4.p1.9.m9.2.2.2.1.1.1.1.1.3.3.3">𝑖</ci></apply></apply></apply></apply></apply><apply id="S4.p1.9.m9.3.3.3.2.cmml" xref="S4.p1.9.m9.3.3.3.2"><times id="S4.p1.9.m9.3.3.3.2.2.cmml" xref="S4.p1.9.m9.3.3.3.2.2"></times><log id="S4.p1.9.m9.3.3.3.2.3.cmml" xref="S4.p1.9.m9.3.3.3.2.3"></log><apply id="S4.p1.9.m9.3.3.3.2.1.cmml" xref="S4.p1.9.m9.3.3.3.2.1"><apply id="S4.p1.9.m9.3.3.3.2.1.2.cmml" xref="S4.p1.9.m9.3.3.3.2.1.2"><csymbol cd="ambiguous" id="S4.p1.9.m9.3.3.3.2.1.2.1.cmml" xref="S4.p1.9.m9.3.3.3.2.1.2">subscript</csymbol><sum id="S4.p1.9.m9.3.3.3.2.1.2.2.cmml" xref="S4.p1.9.m9.3.3.3.2.1.2.2"></sum><apply id="S4.p1.9.m9.3.3.3.2.1.2.3.cmml" xref="S4.p1.9.m9.3.3.3.2.1.2.3"><in id="S4.p1.9.m9.3.3.3.2.1.2.3.1.cmml" xref="S4.p1.9.m9.3.3.3.2.1.2.3.1"></in><apply id="S4.p1.9.m9.3.3.3.2.1.2.3.2.cmml" xref="S4.p1.9.m9.3.3.3.2.1.2.3.2"><csymbol cd="ambiguous" id="S4.p1.9.m9.3.3.3.2.1.2.3.2.1.cmml" xref="S4.p1.9.m9.3.3.3.2.1.2.3.2">superscript</csymbol><ci id="S4.p1.9.m9.3.3.3.2.1.2.3.2.2.cmml" xref="S4.p1.9.m9.3.3.3.2.1.2.3.2.2">𝑥</ci><ci id="S4.p1.9.m9.3.3.3.2.1.2.3.2.3.cmml" xref="S4.p1.9.m9.3.3.3.2.1.2.3.2.3">′</ci></apply><ci id="S4.p1.9.m9.3.3.3.2.1.2.3.3.cmml" xref="S4.p1.9.m9.3.3.3.2.1.2.3.3">𝑋</ci></apply></apply><apply id="S4.p1.9.m9.3.3.3.2.1.1.cmml" xref="S4.p1.9.m9.3.3.3.2.1.1"><times id="S4.p1.9.m9.3.3.3.2.1.1.2.cmml" xref="S4.p1.9.m9.3.3.3.2.1.1.2"></times><apply id="S4.p1.9.m9.3.3.3.2.1.1.3.cmml" xref="S4.p1.9.m9.3.3.3.2.1.1.3"><exp id="S4.p1.9.m9.3.3.3.2.1.1.3.1.cmml" xref="S4.p1.9.m9.3.3.3.2.1.1.3.1"></exp><ci id="S4.p1.9.m9.3.3.3.2.1.1.3.2.cmml" xref="S4.p1.9.m9.3.3.3.2.1.1.3.2">ℓ</ci></apply><apply id="S4.p1.9.m9.3.3.3.2.1.1.1.1.1.cmml" xref="S4.p1.9.m9.3.3.3.2.1.1.1.1"><csymbol cd="latexml" id="S4.p1.9.m9.3.3.3.2.1.1.1.1.1.1.cmml" xref="S4.p1.9.m9.3.3.3.2.1.1.1.1.1.1">conditional</csymbol><apply id="S4.p1.9.m9.3.3.3.2.1.1.1.1.1.2.cmml" xref="S4.p1.9.m9.3.3.3.2.1.1.1.1.1.2"><csymbol cd="ambiguous" id="S4.p1.9.m9.3.3.3.2.1.1.1.1.1.2.1.cmml" xref="S4.p1.9.m9.3.3.3.2.1.1.1.1.1.2">superscript</csymbol><ci id="S4.p1.9.m9.3.3.3.2.1.1.1.1.1.2.2.cmml" xref="S4.p1.9.m9.3.3.3.2.1.1.1.1.1.2.2">𝑥</ci><ci id="S4.p1.9.m9.3.3.3.2.1.1.1.1.1.2.3.cmml" xref="S4.p1.9.m9.3.3.3.2.1.1.1.1.1.2.3">′</ci></apply><apply id="S4.p1.9.m9.3.3.3.2.1.1.1.1.1.3.cmml" xref="S4.p1.9.m9.3.3.3.2.1.1.1.1.1.3"><csymbol cd="ambiguous" id="S4.p1.9.m9.3.3.3.2.1.1.1.1.1.3.1.cmml" xref="S4.p1.9.m9.3.3.3.2.1.1.1.1.1.3">subscript</csymbol><ci id="S4.p1.9.m9.3.3.3.2.1.1.1.1.1.3.2.cmml" xref="S4.p1.9.m9.3.3.3.2.1.1.1.1.1.3.2">𝑥</ci><apply id="S4.p1.9.m9.3.3.3.2.1.1.1.1.1.3.3.cmml" xref="S4.p1.9.m9.3.3.3.2.1.1.1.1.1.3.3"><lt id="S4.p1.9.m9.3.3.3.2.1.1.1.1.1.3.3.1.cmml" xref="S4.p1.9.m9.3.3.3.2.1.1.1.1.1.3.3.1"></lt><csymbol cd="latexml" id="S4.p1.9.m9.3.3.3.2.1.1.1.1.1.3.3.2.cmml" xref="S4.p1.9.m9.3.3.3.2.1.1.1.1.1.3.3.2">absent</csymbol><ci id="S4.p1.9.m9.3.3.3.2.1.1.1.1.1.3.3.3.cmml" xref="S4.p1.9.m9.3.3.3.2.1.1.1.1.1.3.3.3">𝑖</ci></apply></apply></apply></apply></apply></apply></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="S4.p1.9.m9.3c">\mathcal{\hat{L}}_{\text{MLE}}(\ell_{\theta})=\sum_{i=1}^{N}\ell(x_{i}|x_{&lt;i})-\log\sum_{x^{\prime}\in X}\exp\ell(x^{\prime}|x_{&lt;i})</annotation></semantics></math>. We can write this using the value function notation as <math id="S4.p1.10.m10.3" class="ltx_Math" alttext="\mathcal{\hat{L}}_{\text{MLE}}(\ell_{\theta})=\sum_{i=1}^{N}\ell(x_{i}|x_{&lt;i})-V(x_{&lt;i})" display="inline"><semantics id="S4.p1.10.m10.3a"><mrow id="S4.p1.10.m10.3.3" xref="S4.p1.10.m10.3.3.cmml"><mrow id="S4.p1.10.m10.1.1.1" xref="S4.p1.10.m10.1.1.1.cmml"><msub id="S4.p1.10.m10.1.1.1.3" xref="S4.p1.10.m10.1.1.1.3.cmml"><mover accent="true" id="S4.p1.10.m10.1.1.1.3.2" xref="S4.p1.10.m10.1.1.1.3.2.cmml"><mi class="ltx_font_mathcaligraphic" id="S4.p1.10.m10.1.1.1.3.2.2" xref="S4.p1.10.m10.1.1.1.3.2.2.cmml">ℒ</mi><mo id="S4.p1.10.m10.1.1.1.3.2.1" xref="S4.p1.10.m10.1.1.1.3.2.1.cmml">^</mo></mover><mtext id="S4.p1.10.m10.1.1.1.3.3" xref="S4.p1.10.m10.1.1.1.3.3a.cmml">MLE</mtext></msub><mo lspace="0em" rspace="0em" id="S4.p1.10.m10.1.1.1.2" xref="S4.p1.10.m10.1.1.1.2.cmml">​</mo><mrow id="S4.p1.10.m10.1.1.1.1.1" xref="S4.p1.10.m10.1.1.1.1.1.1.cmml"><mo stretchy="false" id="S4.p1.10.m10.1.1.1.1.1.2" xref="S4.p1.10.m10.1.1.1.1.1.1.cmml">(</mo><msub id="S4.p1.10.m10.1.1.1.1.1.1" xref="S4.p1.10.m10.1.1.1.1.1.1.cmml"><mi mathvariant="normal" id="S4.p1.10.m10.1.1.1.1.1.1.2" xref="S4.p1.10.m10.1.1.1.1.1.1.2.cmml">ℓ</mi><mi id="S4.p1.10.m10.1.1.1.1.1.1.3" xref="S4.p1.10.m10.1.1.1.1.1.1.3.cmml">θ</mi></msub><mo stretchy="false" id="S4.p1.10.m10.1.1.1.1.1.3" xref="S4.p1.10.m10.1.1.1.1.1.1.cmml">)</mo></mrow></mrow><mo rspace="0.111em" id="S4.p1.10.m10.3.3.4" xref="S4.p1.10.m10.3.3.4.cmml">=</mo><mrow id="S4.p1.10.m10.3.3.3" xref="S4.p1.10.m10.3.3.3.cmml"><mrow id="S4.p1.10.m10.2.2.2.1" xref="S4.p1.10.m10.2.2.2.1.cmml"><msubsup id="S4.p1.10.m10.2.2.2.1.2" xref="S4.p1.10.m10.2.2.2.1.2.cmml"><mo id="S4.p1.10.m10.2.2.2.1.2.2.2" xref="S4.p1.10.m10.2.2.2.1.2.2.2.cmml">∑</mo><mrow id="S4.p1.10.m10.2.2.2.1.2.2.3" xref="S4.p1.10.m10.2.2.2.1.2.2.3.cmml"><mi id="S4.p1.10.m10.2.2.2.1.2.2.3.2" xref="S4.p1.10.m10.2.2.2.1.2.2.3.2.cmml">i</mi><mo id="S4.p1.10.m10.2.2.2.1.2.2.3.1" xref="S4.p1.10.m10.2.2.2.1.2.2.3.1.cmml">=</mo><mn id="S4.p1.10.m10.2.2.2.1.2.2.3.3" xref="S4.p1.10.m10.2.2.2.1.2.2.3.3.cmml">1</mn></mrow><mi id="S4.p1.10.m10.2.2.2.1.2.3" xref="S4.p1.10.m10.2.2.2.1.2.3.cmml">N</mi></msubsup><mrow id="S4.p1.10.m10.2.2.2.1.1" xref="S4.p1.10.m10.2.2.2.1.1.cmml"><mi mathvariant="normal" id="S4.p1.10.m10.2.2.2.1.1.3" xref="S4.p1.10.m10.2.2.2.1.1.3.cmml">ℓ</mi><mo lspace="0em" rspace="0em" id="S4.p1.10.m10.2.2.2.1.1.2" xref="S4.p1.10.m10.2.2.2.1.1.2.cmml">​</mo><mrow id="S4.p1.10.m10.2.2.2.1.1.1.1" xref="S4.p1.10.m10.2.2.2.1.1.1.1.1.cmml"><mo stretchy="false" id="S4.p1.10.m10.2.2.2.1.1.1.1.2" xref="S4.p1.10.m10.2.2.2.1.1.1.1.1.cmml">(</mo><mrow id="S4.p1.10.m10.2.2.2.1.1.1.1.1" xref="S4.p1.10.m10.2.2.2.1.1.1.1.1.cmml"><msub id="S4.p1.10.m10.2.2.2.1.1.1.1.1.2" xref="S4.p1.10.m10.2.2.2.1.1.1.1.1.2.cmml"><mi id="S4.p1.10.m10.2.2.2.1.1.1.1.1.2.2" xref="S4.p1.10.m10.2.2.2.1.1.1.1.1.2.2.cmml">x</mi><mi id="S4.p1.10.m10.2.2.2.1.1.1.1.1.2.3" xref="S4.p1.10.m10.2.2.2.1.1.1.1.1.2.3.cmml">i</mi></msub><mo fence="false" id="S4.p1.10.m10.2.2.2.1.1.1.1.1.1" xref="S4.p1.10.m10.2.2.2.1.1.1.1.1.1.cmml">|</mo><msub id="S4.p1.10.m10.2.2.2.1.1.1.1.1.3" xref="S4.p1.10.m10.2.2.2.1.1.1.1.1.3.cmml"><mi id="S4.p1.10.m10.2.2.2.1.1.1.1.1.3.2" xref="S4.p1.10.m10.2.2.2.1.1.1.1.1.3.2.cmml">x</mi><mrow id="S4.p1.10.m10.2.2.2.1.1.1.1.1.3.3" xref="S4.p1.10.m10.2.2.2.1.1.1.1.1.3.3.cmml"><mi id="S4.p1.10.m10.2.2.2.1.1.1.1.1.3.3.2" xref="S4.p1.10.m10.2.2.2.1.1.1.1.1.3.3.2.cmml"></mi><mo id="S4.p1.10.m10.2.2.2.1.1.1.1.1.3.3.1" xref="S4.p1.10.m10.2.2.2.1.1.1.1.1.3.3.1.cmml">&lt;</mo><mi id="S4.p1.10.m10.2.2.2.1.1.1.1.1.3.3.3" xref="S4.p1.10.m10.2.2.2.1.1.1.1.1.3.3.3.cmml">i</mi></mrow></msub></mrow><mo stretchy="false" id="S4.p1.10.m10.2.2.2.1.1.1.1.3" xref="S4.p1.10.m10.2.2.2.1.1.1.1.1.cmml">)</mo></mrow></mrow></mrow><mo id="S4.p1.10.m10.3.3.3.3" xref="S4.p1.10.m10.3.3.3.3.cmml">−</mo><mrow id="S4.p1.10.m10.3.3.3.2" xref="S4.p1.10.m10.3.3.3.2.cmml"><mi id="S4.p1.10.m10.3.3.3.2.3" xref="S4.p1.10.m10.3.3.3.2.3.cmml">V</mi><mo lspace="0em" rspace="0em" id="S4.p1.10.m10.3.3.3.2.2" xref="S4.p1.10.m10.3.3.3.2.2.cmml">​</mo><mrow id="S4.p1.10.m10.3.3.3.2.1.1" xref="S4.p1.10.m10.3.3.3.2.1.1.1.cmml"><mo stretchy="false" id="S4.p1.10.m10.3.3.3.2.1.1.2" xref="S4.p1.10.m10.3.3.3.2.1.1.1.cmml">(</mo><msub id="S4.p1.10.m10.3.3.3.2.1.1.1" xref="S4.p1.10.m10.3.3.3.2.1.1.1.cmml"><mi id="S4.p1.10.m10.3.3.3.2.1.1.1.2" xref="S4.p1.10.m10.3.3.3.2.1.1.1.2.cmml">x</mi><mrow id="S4.p1.10.m10.3.3.3.2.1.1.1.3" xref="S4.p1.10.m10.3.3.3.2.1.1.1.3.cmml"><mi id="S4.p1.10.m10.3.3.3.2.1.1.1.3.2" xref="S4.p1.10.m10.3.3.3.2.1.1.1.3.2.cmml"></mi><mo id="S4.p1.10.m10.3.3.3.2.1.1.1.3.1" xref="S4.p1.10.m10.3.3.3.2.1.1.1.3.1.cmml">&lt;</mo><mi id="S4.p1.10.m10.3.3.3.2.1.1.1.3.3" xref="S4.p1.10.m10.3.3.3.2.1.1.1.3.3.cmml">i</mi></mrow></msub><mo stretchy="false" id="S4.p1.10.m10.3.3.3.2.1.1.3" xref="S4.p1.10.m10.3.3.3.2.1.1.1.cmml">)</mo></mrow></mrow></mrow></mrow><annotation-xml encoding="MathML-Content" id="S4.p1.10.m10.3b"><apply id="S4.p1.10.m10.3.3.cmml" xref="S4.p1.10.m10.3.3"><eq id="S4.p1.10.m10.3.3.4.cmml" xref="S4.p1.10.m10.3.3.4"></eq><apply id="S4.p1.10.m10.1.1.1.cmml" xref="S4.p1.10.m10.1.1.1"><times id="S4.p1.10.m10.1.1.1.2.cmml" xref="S4.p1.10.m10.1.1.1.2"></times><apply id="S4.p1.10.m10.1.1.1.3.cmml" xref="S4.p1.10.m10.1.1.1.3"><csymbol cd="ambiguous" id="S4.p1.10.m10.1.1.1.3.1.cmml" xref="S4.p1.10.m10.1.1.1.3">subscript</csymbol><apply id="S4.p1.10.m10.1.1.1.3.2.cmml" xref="S4.p1.10.m10.1.1.1.3.2"><ci id="S4.p1.10.m10.1.1.1.3.2.1.cmml" xref="S4.p1.10.m10.1.1.1.3.2.1">^</ci><ci id="S4.p1.10.m10.1.1.1.3.2.2.cmml" xref="S4.p1.10.m10.1.1.1.3.2.2">ℒ</ci></apply><ci id="S4.p1.10.m10.1.1.1.3.3a.cmml" xref="S4.p1.10.m10.1.1.1.3.3"><mtext mathsize="70%" id="S4.p1.10.m10.1.1.1.3.3.cmml" xref="S4.p1.10.m10.1.1.1.3.3">MLE</mtext></ci></apply><apply id="S4.p1.10.m10.1.1.1.1.1.1.cmml" xref="S4.p1.10.m10.1.1.1.1.1"><csymbol cd="ambiguous" id="S4.p1.10.m10.1.1.1.1.1.1.1.cmml" xref="S4.p1.10.m10.1.1.1.1.1">subscript</csymbol><ci id="S4.p1.10.m10.1.1.1.1.1.1.2.cmml" xref="S4.p1.10.m10.1.1.1.1.1.1.2">ℓ</ci><ci id="S4.p1.10.m10.1.1.1.1.1.1.3.cmml" xref="S4.p1.10.m10.1.1.1.1.1.1.3">𝜃</ci></apply></apply><apply id="S4.p1.10.m10.3.3.3.cmml" xref="S4.p1.10.m10.3.3.3"><minus id="S4.p1.10.m10.3.3.3.3.cmml" xref="S4.p1.10.m10.3.3.3.3"></minus><apply id="S4.p1.10.m10.2.2.2.1.cmml" xref="S4.p1.10.m10.2.2.2.1"><apply id="S4.p1.10.m10.2.2.2.1.2.cmml" xref="S4.p1.10.m10.2.2.2.1.2"><csymbol cd="ambiguous" id="S4.p1.10.m10.2.2.2.1.2.1.cmml" xref="S4.p1.10.m10.2.2.2.1.2">superscript</csymbol><apply id="S4.p1.10.m10.2.2.2.1.2.2.cmml" xref="S4.p1.10.m10.2.2.2.1.2"><csymbol cd="ambiguous" id="S4.p1.10.m10.2.2.2.1.2.2.1.cmml" xref="S4.p1.10.m10.2.2.2.1.2">subscript</csymbol><sum id="S4.p1.10.m10.2.2.2.1.2.2.2.cmml" xref="S4.p1.10.m10.2.2.2.1.2.2.2"></sum><apply id="S4.p1.10.m10.2.2.2.1.2.2.3.cmml" xref="S4.p1.10.m10.2.2.2.1.2.2.3"><eq id="S4.p1.10.m10.2.2.2.1.2.2.3.1.cmml" xref="S4.p1.10.m10.2.2.2.1.2.2.3.1"></eq><ci id="S4.p1.10.m10.2.2.2.1.2.2.3.2.cmml" xref="S4.p1.10.m10.2.2.2.1.2.2.3.2">𝑖</ci><cn type="integer" id="S4.p1.10.m10.2.2.2.1.2.2.3.3.cmml" xref="S4.p1.10.m10.2.2.2.1.2.2.3.3">1</cn></apply></apply><ci id="S4.p1.10.m10.2.2.2.1.2.3.cmml" xref="S4.p1.10.m10.2.2.2.1.2.3">𝑁</ci></apply><apply id="S4.p1.10.m10.2.2.2.1.1.cmml" xref="S4.p1.10.m10.2.2.2.1.1"><times id="S4.p1.10.m10.2.2.2.1.1.2.cmml" xref="S4.p1.10.m10.2.2.2.1.1.2"></times><ci id="S4.p1.10.m10.2.2.2.1.1.3.cmml" xref="S4.p1.10.m10.2.2.2.1.1.3">ℓ</ci><apply id="S4.p1.10.m10.2.2.2.1.1.1.1.1.cmml" xref="S4.p1.10.m10.2.2.2.1.1.1.1"><csymbol cd="latexml" id="S4.p1.10.m10.2.2.2.1.1.1.1.1.1.cmml" xref="S4.p1.10.m10.2.2.2.1.1.1.1.1.1">conditional</csymbol><apply id="S4.p1.10.m10.2.2.2.1.1.1.1.1.2.cmml" xref="S4.p1.10.m10.2.2.2.1.1.1.1.1.2"><csymbol cd="ambiguous" id="S4.p1.10.m10.2.2.2.1.1.1.1.1.2.1.cmml" xref="S4.p1.10.m10.2.2.2.1.1.1.1.1.2">subscript</csymbol><ci id="S4.p1.10.m10.2.2.2.1.1.1.1.1.2.2.cmml" xref="S4.p1.10.m10.2.2.2.1.1.1.1.1.2.2">𝑥</ci><ci id="S4.p1.10.m10.2.2.2.1.1.1.1.1.2.3.cmml" xref="S4.p1.10.m10.2.2.2.1.1.1.1.1.2.3">𝑖</ci></apply><apply id="S4.p1.10.m10.2.2.2.1.1.1.1.1.3.cmml" xref="S4.p1.10.m10.2.2.2.1.1.1.1.1.3"><csymbol cd="ambiguous" id="S4.p1.10.m10.2.2.2.1.1.1.1.1.3.1.cmml" xref="S4.p1.10.m10.2.2.2.1.1.1.1.1.3">subscript</csymbol><ci id="S4.p1.10.m10.2.2.2.1.1.1.1.1.3.2.cmml" xref="S4.p1.10.m10.2.2.2.1.1.1.1.1.3.2">𝑥</ci><apply id="S4.p1.10.m10.2.2.2.1.1.1.1.1.3.3.cmml" xref="S4.p1.10.m10.2.2.2.1.1.1.1.1.3.3"><lt id="S4.p1.10.m10.2.2.2.1.1.1.1.1.3.3.1.cmml" xref="S4.p1.10.m10.2.2.2.1.1.1.1.1.3.3.1"></lt><csymbol cd="latexml" id="S4.p1.10.m10.2.2.2.1.1.1.1.1.3.3.2.cmml" xref="S4.p1.10.m10.2.2.2.1.1.1.1.1.3.3.2">absent</csymbol><ci id="S4.p1.10.m10.2.2.2.1.1.1.1.1.3.3.3.cmml" xref="S4.p1.10.m10.2.2.2.1.1.1.1.1.3.3.3">𝑖</ci></apply></apply></apply></apply></apply><apply id="S4.p1.10.m10.3.3.3.2.cmml" xref="S4.p1.10.m10.3.3.3.2"><times id="S4.p1.10.m10.3.3.3.2.2.cmml" xref="S4.p1.10.m10.3.3.3.2.2"></times><ci id="S4.p1.10.m10.3.3.3.2.3.cmml" xref="S4.p1.10.m10.3.3.3.2.3">𝑉</ci><apply id="S4.p1.10.m10.3.3.3.2.1.1.1.cmml" xref="S4.p1.10.m10.3.3.3.2.1.1"><csymbol cd="ambiguous" id="S4.p1.10.m10.3.3.3.2.1.1.1.1.cmml" xref="S4.p1.10.m10.3.3.3.2.1.1">subscript</csymbol><ci id="S4.p1.10.m10.3.3.3.2.1.1.1.2.cmml" xref="S4.p1.10.m10.3.3.3.2.1.1.1.2">𝑥</ci><apply id="S4.p1.10.m10.3.3.3.2.1.1.1.3.cmml" xref="S4.p1.10.m10.3.3.3.2.1.1.1.3"><lt id="S4.p1.10.m10.3.3.3.2.1.1.1.3.1.cmml" xref="S4.p1.10.m10.3.3.3.2.1.1.1.3.1"></lt><csymbol cd="latexml" id="S4.p1.10.m10.3.3.3.2.1.1.1.3.2.cmml" xref="S4.p1.10.m10.3.3.3.2.1.1.1.3.2">absent</csymbol><ci id="S4.p1.10.m10.3.3.3.2.1.1.1.3.3.cmml" xref="S4.p1.10.m10.3.3.3.2.1.1.1.3.3">𝑖</ci></apply></apply></apply></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="S4.p1.10.m10.3c">\mathcal{\hat{L}}_{\text{MLE}}(\ell_{\theta})=\sum_{i=1}^{N}\ell(x_{i}|x_{&lt;i})-V(x_{&lt;i})</annotation></semantics></math>.</p>
</div>
<div id="S4.p2" class="ltx_para">
<p id="S4.p2.5" class="ltx_p">We now wish to equivalently form an estimator for the loss in equation (<a href="#S3.E6" title="Equation 6 ‣ 3.2.1 Reformulating the Occupancy Divergence Minimization Problem ‣ 3.2 Minimizing Occupancy Divergences ‣ 3 Method ‣ SequenceMatch: Imitation Learning for Autoregressive Sequence Modelling with Backtracking" class="ltx_ref"><span class="ltx_text ltx_ref_tag">6</span></a>). To do this, samples from <math id="S4.p2.1.m1.1" class="ltx_Math" alttext="\rho_{\theta}" display="inline"><semantics id="S4.p2.1.m1.1a"><msub id="S4.p2.1.m1.1.1" xref="S4.p2.1.m1.1.1.cmml"><mi id="S4.p2.1.m1.1.1.2" xref="S4.p2.1.m1.1.1.2.cmml">ρ</mi><mi id="S4.p2.1.m1.1.1.3" xref="S4.p2.1.m1.1.1.3.cmml">θ</mi></msub><annotation-xml encoding="MathML-Content" id="S4.p2.1.m1.1b"><apply id="S4.p2.1.m1.1.1.cmml" xref="S4.p2.1.m1.1.1"><csymbol cd="ambiguous" id="S4.p2.1.m1.1.1.1.cmml" xref="S4.p2.1.m1.1.1">subscript</csymbol><ci id="S4.p2.1.m1.1.1.2.cmml" xref="S4.p2.1.m1.1.1.2">𝜌</ci><ci id="S4.p2.1.m1.1.1.3.cmml" xref="S4.p2.1.m1.1.1.3">𝜃</ci></apply></annotation-xml><annotation encoding="application/x-tex" id="S4.p2.1.m1.1c">\rho_{\theta}</annotation></semantics></math> are required. We obtain these samples by sampling complete sequences from the policy autoregressively and weighting the partial sequence at time <math id="S4.p2.2.m2.1" class="ltx_Math" alttext="t" display="inline"><semantics id="S4.p2.2.m2.1a"><mi id="S4.p2.2.m2.1.1" xref="S4.p2.2.m2.1.1.cmml">t</mi><annotation-xml encoding="MathML-Content" id="S4.p2.2.m2.1b"><ci id="S4.p2.2.m2.1.1.cmml" xref="S4.p2.2.m2.1.1">𝑡</ci></annotation-xml><annotation encoding="application/x-tex" id="S4.p2.2.m2.1c">t</annotation></semantics></math> by a factor of <math id="S4.p2.3.m3.1" class="ltx_Math" alttext="\gamma^{t}" display="inline"><semantics id="S4.p2.3.m3.1a"><msup id="S4.p2.3.m3.1.1" xref="S4.p2.3.m3.1.1.cmml"><mi id="S4.p2.3.m3.1.1.2" xref="S4.p2.3.m3.1.1.2.cmml">γ</mi><mi id="S4.p2.3.m3.1.1.3" xref="S4.p2.3.m3.1.1.3.cmml">t</mi></msup><annotation-xml encoding="MathML-Content" id="S4.p2.3.m3.1b"><apply id="S4.p2.3.m3.1.1.cmml" xref="S4.p2.3.m3.1.1"><csymbol cd="ambiguous" id="S4.p2.3.m3.1.1.1.cmml" xref="S4.p2.3.m3.1.1">superscript</csymbol><ci id="S4.p2.3.m3.1.1.2.cmml" xref="S4.p2.3.m3.1.1.2">𝛾</ci><ci id="S4.p2.3.m3.1.1.3.cmml" xref="S4.p2.3.m3.1.1.3">𝑡</ci></apply></annotation-xml><annotation encoding="application/x-tex" id="S4.p2.3.m3.1c">\gamma^{t}</annotation></semantics></math>. We similarly sample sequences from <math id="S4.p2.4.m4.1" class="ltx_Math" alttext="\rho_{\text{data}}" display="inline"><semantics id="S4.p2.4.m4.1a"><msub id="S4.p2.4.m4.1.1" xref="S4.p2.4.m4.1.1.cmml"><mi id="S4.p2.4.m4.1.1.2" xref="S4.p2.4.m4.1.1.2.cmml">ρ</mi><mtext id="S4.p2.4.m4.1.1.3" xref="S4.p2.4.m4.1.1.3a.cmml">data</mtext></msub><annotation-xml encoding="MathML-Content" id="S4.p2.4.m4.1b"><apply id="S4.p2.4.m4.1.1.cmml" xref="S4.p2.4.m4.1.1"><csymbol cd="ambiguous" id="S4.p2.4.m4.1.1.1.cmml" xref="S4.p2.4.m4.1.1">subscript</csymbol><ci id="S4.p2.4.m4.1.1.2.cmml" xref="S4.p2.4.m4.1.1.2">𝜌</ci><ci id="S4.p2.4.m4.1.1.3a.cmml" xref="S4.p2.4.m4.1.1.3"><mtext mathsize="70%" id="S4.p2.4.m4.1.1.3.cmml" xref="S4.p2.4.m4.1.1.3">data</mtext></ci></apply></annotation-xml><annotation encoding="application/x-tex" id="S4.p2.4.m4.1c">\rho_{\text{data}}</annotation></semantics></math> by sampling complete sequences from <math id="S4.p2.5.m5.1" class="ltx_Math" alttext="P_{\text{data}}" display="inline"><semantics id="S4.p2.5.m5.1a"><msub id="S4.p2.5.m5.1.1" xref="S4.p2.5.m5.1.1.cmml"><mi id="S4.p2.5.m5.1.1.2" xref="S4.p2.5.m5.1.1.2.cmml">P</mi><mtext id="S4.p2.5.m5.1.1.3" xref="S4.p2.5.m5.1.1.3a.cmml">data</mtext></msub><annotation-xml encoding="MathML-Content" id="S4.p2.5.m5.1b"><apply id="S4.p2.5.m5.1.1.cmml" xref="S4.p2.5.m5.1.1"><csymbol cd="ambiguous" id="S4.p2.5.m5.1.1.1.cmml" xref="S4.p2.5.m5.1.1">subscript</csymbol><ci id="S4.p2.5.m5.1.1.2.cmml" xref="S4.p2.5.m5.1.1.2">𝑃</ci><ci id="S4.p2.5.m5.1.1.3a.cmml" xref="S4.p2.5.m5.1.1.3"><mtext mathsize="70%" id="S4.p2.5.m5.1.1.3.cmml" xref="S4.p2.5.m5.1.1.3">data</mtext></ci></apply></annotation-xml><annotation encoding="application/x-tex" id="S4.p2.5.m5.1c">P_{\text{data}}</annotation></semantics></math> and weighting. We must take some care with the terminal states, which we discuss below.</p>
</div>
<div id="S4.p3" class="ltx_para">
<p id="S4.p3.4" class="ltx_p">Then, given a length-N sequence of states <math id="S4.p3.1.m1.1" class="ltx_Math" alttext="s_{1:N}" display="inline"><semantics id="S4.p3.1.m1.1a"><msub id="S4.p3.1.m1.1.1" xref="S4.p3.1.m1.1.1.cmml"><mi id="S4.p3.1.m1.1.1.2" xref="S4.p3.1.m1.1.1.2.cmml">s</mi><mrow id="S4.p3.1.m1.1.1.3" xref="S4.p3.1.m1.1.1.3.cmml"><mn id="S4.p3.1.m1.1.1.3.2" xref="S4.p3.1.m1.1.1.3.2.cmml">1</mn><mo lspace="0.278em" rspace="0.278em" id="S4.p3.1.m1.1.1.3.1" xref="S4.p3.1.m1.1.1.3.1.cmml">:</mo><mi id="S4.p3.1.m1.1.1.3.3" xref="S4.p3.1.m1.1.1.3.3.cmml">N</mi></mrow></msub><annotation-xml encoding="MathML-Content" id="S4.p3.1.m1.1b"><apply id="S4.p3.1.m1.1.1.cmml" xref="S4.p3.1.m1.1.1"><csymbol cd="ambiguous" id="S4.p3.1.m1.1.1.1.cmml" xref="S4.p3.1.m1.1.1">subscript</csymbol><ci id="S4.p3.1.m1.1.1.2.cmml" xref="S4.p3.1.m1.1.1.2">𝑠</ci><apply id="S4.p3.1.m1.1.1.3.cmml" xref="S4.p3.1.m1.1.1.3"><ci id="S4.p3.1.m1.1.1.3.1.cmml" xref="S4.p3.1.m1.1.1.3.1">:</ci><cn type="integer" id="S4.p3.1.m1.1.1.3.2.cmml" xref="S4.p3.1.m1.1.1.3.2">1</cn><ci id="S4.p3.1.m1.1.1.3.3.cmml" xref="S4.p3.1.m1.1.1.3.3">𝑁</ci></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="S4.p3.1.m1.1c">s_{1:N}</annotation></semantics></math> from a dataset of sequences, corresponding actions <math id="S4.p3.2.m2.1" class="ltx_Math" alttext="a_{1:N}" display="inline"><semantics id="S4.p3.2.m2.1a"><msub id="S4.p3.2.m2.1.1" xref="S4.p3.2.m2.1.1.cmml"><mi id="S4.p3.2.m2.1.1.2" xref="S4.p3.2.m2.1.1.2.cmml">a</mi><mrow id="S4.p3.2.m2.1.1.3" xref="S4.p3.2.m2.1.1.3.cmml"><mn id="S4.p3.2.m2.1.1.3.2" xref="S4.p3.2.m2.1.1.3.2.cmml">1</mn><mo lspace="0.278em" rspace="0.278em" id="S4.p3.2.m2.1.1.3.1" xref="S4.p3.2.m2.1.1.3.1.cmml">:</mo><mi id="S4.p3.2.m2.1.1.3.3" xref="S4.p3.2.m2.1.1.3.3.cmml">N</mi></mrow></msub><annotation-xml encoding="MathML-Content" id="S4.p3.2.m2.1b"><apply id="S4.p3.2.m2.1.1.cmml" xref="S4.p3.2.m2.1.1"><csymbol cd="ambiguous" id="S4.p3.2.m2.1.1.1.cmml" xref="S4.p3.2.m2.1.1">subscript</csymbol><ci id="S4.p3.2.m2.1.1.2.cmml" xref="S4.p3.2.m2.1.1.2">𝑎</ci><apply id="S4.p3.2.m2.1.1.3.cmml" xref="S4.p3.2.m2.1.1.3"><ci id="S4.p3.2.m2.1.1.3.1.cmml" xref="S4.p3.2.m2.1.1.3.1">:</ci><cn type="integer" id="S4.p3.2.m2.1.1.3.2.cmml" xref="S4.p3.2.m2.1.1.3.2">1</cn><ci id="S4.p3.2.m2.1.1.3.3.cmml" xref="S4.p3.2.m2.1.1.3.3">𝑁</ci></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="S4.p3.2.m2.1c">a_{1:N}</annotation></semantics></math>and a generated length-<math id="S4.p3.3.m3.1" class="ltx_Math" alttext="M" display="inline"><semantics id="S4.p3.3.m3.1a"><mi id="S4.p3.3.m3.1.1" xref="S4.p3.3.m3.1.1.cmml">M</mi><annotation-xml encoding="MathML-Content" id="S4.p3.3.m3.1b"><ci id="S4.p3.3.m3.1.1.cmml" xref="S4.p3.3.m3.1.1">𝑀</ci></annotation-xml><annotation encoding="application/x-tex" id="S4.p3.3.m3.1c">M</annotation></semantics></math> sequence <math id="S4.p3.4.m4.1" class="ltx_Math" alttext="u_{1:M}" display="inline"><semantics id="S4.p3.4.m4.1a"><msub id="S4.p3.4.m4.1.1" xref="S4.p3.4.m4.1.1.cmml"><mi id="S4.p3.4.m4.1.1.2" xref="S4.p3.4.m4.1.1.2.cmml">u</mi><mrow id="S4.p3.4.m4.1.1.3" xref="S4.p3.4.m4.1.1.3.cmml"><mn id="S4.p3.4.m4.1.1.3.2" xref="S4.p3.4.m4.1.1.3.2.cmml">1</mn><mo lspace="0.278em" rspace="0.278em" id="S4.p3.4.m4.1.1.3.1" xref="S4.p3.4.m4.1.1.3.1.cmml">:</mo><mi id="S4.p3.4.m4.1.1.3.3" xref="S4.p3.4.m4.1.1.3.3.cmml">M</mi></mrow></msub><annotation-xml encoding="MathML-Content" id="S4.p3.4.m4.1b"><apply id="S4.p3.4.m4.1.1.cmml" xref="S4.p3.4.m4.1.1"><csymbol cd="ambiguous" id="S4.p3.4.m4.1.1.1.cmml" xref="S4.p3.4.m4.1.1">subscript</csymbol><ci id="S4.p3.4.m4.1.1.2.cmml" xref="S4.p3.4.m4.1.1.2">𝑢</ci><apply id="S4.p3.4.m4.1.1.3.cmml" xref="S4.p3.4.m4.1.1.3"><ci id="S4.p3.4.m4.1.1.3.1.cmml" xref="S4.p3.4.m4.1.1.3.1">:</ci><cn type="integer" id="S4.p3.4.m4.1.1.3.2.cmml" xref="S4.p3.4.m4.1.1.3.2">1</cn><ci id="S4.p3.4.m4.1.1.3.3.cmml" xref="S4.p3.4.m4.1.1.3.3">𝑀</ci></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="S4.p3.4.m4.1c">u_{1:M}</annotation></semantics></math> of states from the model, we can form an estimator for the loss in equation (<a href="#S3.E6" title="Equation 6 ‣ 3.2.1 Reformulating the Occupancy Divergence Minimization Problem ‣ 3.2 Minimizing Occupancy Divergences ‣ 3 Method ‣ SequenceMatch: Imitation Learning for Autoregressive Sequence Modelling with Backtracking" class="ltx_ref"><span class="ltx_text ltx_ref_tag">6</span></a>):</p>
<table id="A9.EGx7" class="ltx_equationgroup ltx_eqn_align ltx_eqn_table">

<tbody id="S4.Ex9"><tr class="ltx_equation ltx_eqn_row ltx_align_baseline">
<td class="ltx_eqn_cell ltx_eqn_center_padleft"></td>
<td class="ltx_td ltx_align_right ltx_eqn_cell"><math id="S4.Ex9.m1.1" class="ltx_Math" alttext="\displaystyle\mathcal{\hat{J}}(\ell_{\theta})=" display="inline"><semantics id="S4.Ex9.m1.1a"><mrow id="S4.Ex9.m1.1.1" xref="S4.Ex9.m1.1.1.cmml"><mrow id="S4.Ex9.m1.1.1.1" xref="S4.Ex9.m1.1.1.1.cmml"><mover accent="true" id="S4.Ex9.m1.1.1.1.3" xref="S4.Ex9.m1.1.1.1.3.cmml"><mi class="ltx_font_mathcaligraphic" id="S4.Ex9.m1.1.1.1.3.2" xref="S4.Ex9.m1.1.1.1.3.2.cmml">𝒥</mi><mo id="S4.Ex9.m1.1.1.1.3.1" xref="S4.Ex9.m1.1.1.1.3.1.cmml">^</mo></mover><mo lspace="0em" rspace="0em" id="S4.Ex9.m1.1.1.1.2" xref="S4.Ex9.m1.1.1.1.2.cmml">​</mo><mrow id="S4.Ex9.m1.1.1.1.1.1" xref="S4.Ex9.m1.1.1.1.1.1.1.cmml"><mo stretchy="false" id="S4.Ex9.m1.1.1.1.1.1.2" xref="S4.Ex9.m1.1.1.1.1.1.1.cmml">(</mo><msub id="S4.Ex9.m1.1.1.1.1.1.1" xref="S4.Ex9.m1.1.1.1.1.1.1.cmml"><mi mathvariant="normal" id="S4.Ex9.m1.1.1.1.1.1.1.2" xref="S4.Ex9.m1.1.1.1.1.1.1.2.cmml">ℓ</mi><mi id="S4.Ex9.m1.1.1.1.1.1.1.3" xref="S4.Ex9.m1.1.1.1.1.1.1.3.cmml">θ</mi></msub><mo stretchy="false" id="S4.Ex9.m1.1.1.1.1.1.3" xref="S4.Ex9.m1.1.1.1.1.1.1.cmml">)</mo></mrow></mrow><mo id="S4.Ex9.m1.1.1.2" xref="S4.Ex9.m1.1.1.2.cmml">=</mo><mi id="S4.Ex9.m1.1.1.3" xref="S4.Ex9.m1.1.1.3.cmml"></mi></mrow><annotation-xml encoding="MathML-Content" id="S4.Ex9.m1.1b"><apply id="S4.Ex9.m1.1.1.cmml" xref="S4.Ex9.m1.1.1"><eq id="S4.Ex9.m1.1.1.2.cmml" xref="S4.Ex9.m1.1.1.2"></eq><apply id="S4.Ex9.m1.1.1.1.cmml" xref="S4.Ex9.m1.1.1.1"><times id="S4.Ex9.m1.1.1.1.2.cmml" xref="S4.Ex9.m1.1.1.1.2"></times><apply id="S4.Ex9.m1.1.1.1.3.cmml" xref="S4.Ex9.m1.1.1.1.3"><ci id="S4.Ex9.m1.1.1.1.3.1.cmml" xref="S4.Ex9.m1.1.1.1.3.1">^</ci><ci id="S4.Ex9.m1.1.1.1.3.2.cmml" xref="S4.Ex9.m1.1.1.1.3.2">𝒥</ci></apply><apply id="S4.Ex9.m1.1.1.1.1.1.1.cmml" xref="S4.Ex9.m1.1.1.1.1.1"><csymbol cd="ambiguous" id="S4.Ex9.m1.1.1.1.1.1.1.1.cmml" xref="S4.Ex9.m1.1.1.1.1.1">subscript</csymbol><ci id="S4.Ex9.m1.1.1.1.1.1.1.2.cmml" xref="S4.Ex9.m1.1.1.1.1.1.1.2">ℓ</ci><ci id="S4.Ex9.m1.1.1.1.1.1.1.3.cmml" xref="S4.Ex9.m1.1.1.1.1.1.1.3">𝜃</ci></apply></apply><csymbol cd="latexml" id="S4.Ex9.m1.1.1.3.cmml" xref="S4.Ex9.m1.1.1.3">absent</csymbol></apply></annotation-xml><annotation encoding="application/x-tex" id="S4.Ex9.m1.1c">\displaystyle\mathcal{\hat{J}}(\ell_{\theta})=</annotation></semantics></math></td>
<td class="ltx_td ltx_align_left ltx_eqn_cell"><math id="S4.Ex9.m2.2" class="ltx_Math" alttext="\displaystyle\underbrace{\sum_{i}^{N}\gamma^{i}\frac{1}{\alpha}\phi\left(\alpha\ell_{\theta}(a_{i}|s_{i})-\gamma\alpha V(s_{i+1})\right)}_{\text{Penalized difference from action logit to next state value}}-\underbrace{\sum_{i}^{N}\frac{\gamma^{i}}{2}\left[V(s_{i})-\gamma V(s_{i+1})\right]}_{\text{State, next state value difference under data}}" display="inline"><semantics id="S4.Ex9.m2.2a"><mrow id="S4.Ex9.m2.2.3" xref="S4.Ex9.m2.2.3.cmml"><munder id="S4.Ex9.m2.2.3.2" xref="S4.Ex9.m2.2.3.2.cmml"><munder accentunder="true" id="S4.Ex9.m2.1.1" xref="S4.Ex9.m2.1.1.cmml"><mrow id="S4.Ex9.m2.1.1.1" xref="S4.Ex9.m2.1.1.1.cmml"><mstyle displaystyle="true" id="S4.Ex9.m2.1.1.1.2" xref="S4.Ex9.m2.1.1.1.2.cmml"><munderover id="S4.Ex9.m2.1.1.1.2a" xref="S4.Ex9.m2.1.1.1.2.cmml"><mo movablelimits="false" id="S4.Ex9.m2.1.1.1.2.2.2" xref="S4.Ex9.m2.1.1.1.2.2.2.cmml">∑</mo><mi id="S4.Ex9.m2.1.1.1.2.2.3" xref="S4.Ex9.m2.1.1.1.2.2.3.cmml">i</mi><mi id="S4.Ex9.m2.1.1.1.2.3" xref="S4.Ex9.m2.1.1.1.2.3.cmml">N</mi></munderover></mstyle><mrow id="S4.Ex9.m2.1.1.1.1" xref="S4.Ex9.m2.1.1.1.1.cmml"><msup id="S4.Ex9.m2.1.1.1.1.3" xref="S4.Ex9.m2.1.1.1.1.3.cmml"><mi id="S4.Ex9.m2.1.1.1.1.3.2" xref="S4.Ex9.m2.1.1.1.1.3.2.cmml">γ</mi><mi id="S4.Ex9.m2.1.1.1.1.3.3" xref="S4.Ex9.m2.1.1.1.1.3.3.cmml">i</mi></msup><mo lspace="0em" rspace="0em" id="S4.Ex9.m2.1.1.1.1.2" xref="S4.Ex9.m2.1.1.1.1.2.cmml">​</mo><mstyle displaystyle="true" id="S4.Ex9.m2.1.1.1.1.4" xref="S4.Ex9.m2.1.1.1.1.4.cmml"><mfrac id="S4.Ex9.m2.1.1.1.1.4a" xref="S4.Ex9.m2.1.1.1.1.4.cmml"><mn id="S4.Ex9.m2.1.1.1.1.4.2" xref="S4.Ex9.m2.1.1.1.1.4.2.cmml">1</mn><mi id="S4.Ex9.m2.1.1.1.1.4.3" xref="S4.Ex9.m2.1.1.1.1.4.3.cmml">α</mi></mfrac></mstyle><mo lspace="0em" rspace="0em" id="S4.Ex9.m2.1.1.1.1.2a" xref="S4.Ex9.m2.1.1.1.1.2.cmml">​</mo><mi id="S4.Ex9.m2.1.1.1.1.5" xref="S4.Ex9.m2.1.1.1.1.5.cmml">ϕ</mi><mo lspace="0em" rspace="0em" id="S4.Ex9.m2.1.1.1.1.2b" xref="S4.Ex9.m2.1.1.1.1.2.cmml">​</mo><mrow id="S4.Ex9.m2.1.1.1.1.1.1" xref="S4.Ex9.m2.1.1.1.1.1.1.1.cmml"><mo id="S4.Ex9.m2.1.1.1.1.1.1.2" xref="S4.Ex9.m2.1.1.1.1.1.1.1.cmml">(</mo><mrow id="S4.Ex9.m2.1.1.1.1.1.1.1" xref="S4.Ex9.m2.1.1.1.1.1.1.1.cmml"><mrow id="S4.Ex9.m2.1.1.1.1.1.1.1.1" xref="S4.Ex9.m2.1.1.1.1.1.1.1.1.cmml"><mi id="S4.Ex9.m2.1.1.1.1.1.1.1.1.3" xref="S4.Ex9.m2.1.1.1.1.1.1.1.1.3.cmml">α</mi><mo lspace="0em" rspace="0em" id="S4.Ex9.m2.1.1.1.1.1.1.1.1.2" xref="S4.Ex9.m2.1.1.1.1.1.1.1.1.2.cmml">​</mo><msub id="S4.Ex9.m2.1.1.1.1.1.1.1.1.4" xref="S4.Ex9.m2.1.1.1.1.1.1.1.1.4.cmml"><mi mathvariant="normal" id="S4.Ex9.m2.1.1.1.1.1.1.1.1.4.2" xref="S4.Ex9.m2.1.1.1.1.1.1.1.1.4.2.cmml">ℓ</mi><mi id="S4.Ex9.m2.1.1.1.1.1.1.1.1.4.3" xref="S4.Ex9.m2.1.1.1.1.1.1.1.1.4.3.cmml">θ</mi></msub><mo lspace="0em" rspace="0em" id="S4.Ex9.m2.1.1.1.1.1.1.1.1.2a" xref="S4.Ex9.m2.1.1.1.1.1.1.1.1.2.cmml">​</mo><mrow id="S4.Ex9.m2.1.1.1.1.1.1.1.1.1.1" xref="S4.Ex9.m2.1.1.1.1.1.1.1.1.1.1.1.cmml"><mo stretchy="false" id="S4.Ex9.m2.1.1.1.1.1.1.1.1.1.1.2" xref="S4.Ex9.m2.1.1.1.1.1.1.1.1.1.1.1.cmml">(</mo><mrow id="S4.Ex9.m2.1.1.1.1.1.1.1.1.1.1.1" xref="S4.Ex9.m2.1.1.1.1.1.1.1.1.1.1.1.cmml"><msub id="S4.Ex9.m2.1.1.1.1.1.1.1.1.1.1.1.2" xref="S4.Ex9.m2.1.1.1.1.1.1.1.1.1.1.1.2.cmml"><mi id="S4.Ex9.m2.1.1.1.1.1.1.1.1.1.1.1.2.2" xref="S4.Ex9.m2.1.1.1.1.1.1.1.1.1.1.1.2.2.cmml">a</mi><mi id="S4.Ex9.m2.1.1.1.1.1.1.1.1.1.1.1.2.3" xref="S4.Ex9.m2.1.1.1.1.1.1.1.1.1.1.1.2.3.cmml">i</mi></msub><mo fence="false" id="S4.Ex9.m2.1.1.1.1.1.1.1.1.1.1.1.1" xref="S4.Ex9.m2.1.1.1.1.1.1.1.1.1.1.1.1.cmml">|</mo><msub id="S4.Ex9.m2.1.1.1.1.1.1.1.1.1.1.1.3" xref="S4.Ex9.m2.1.1.1.1.1.1.1.1.1.1.1.3.cmml"><mi id="S4.Ex9.m2.1.1.1.1.1.1.1.1.1.1.1.3.2" xref="S4.Ex9.m2.1.1.1.1.1.1.1.1.1.1.1.3.2.cmml">s</mi><mi id="S4.Ex9.m2.1.1.1.1.1.1.1.1.1.1.1.3.3" xref="S4.Ex9.m2.1.1.1.1.1.1.1.1.1.1.1.3.3.cmml">i</mi></msub></mrow><mo stretchy="false" id="S4.Ex9.m2.1.1.1.1.1.1.1.1.1.1.3" xref="S4.Ex9.m2.1.1.1.1.1.1.1.1.1.1.1.cmml">)</mo></mrow></mrow><mo id="S4.Ex9.m2.1.1.1.1.1.1.1.3" xref="S4.Ex9.m2.1.1.1.1.1.1.1.3.cmml">−</mo><mrow id="S4.Ex9.m2.1.1.1.1.1.1.1.2" xref="S4.Ex9.m2.1.1.1.1.1.1.1.2.cmml"><mi id="S4.Ex9.m2.1.1.1.1.1.1.1.2.3" xref="S4.Ex9.m2.1.1.1.1.1.1.1.2.3.cmml">γ</mi><mo lspace="0em" rspace="0em" id="S4.Ex9.m2.1.1.1.1.1.1.1.2.2" xref="S4.Ex9.m2.1.1.1.1.1.1.1.2.2.cmml">​</mo><mi id="S4.Ex9.m2.1.1.1.1.1.1.1.2.4" xref="S4.Ex9.m2.1.1.1.1.1.1.1.2.4.cmml">α</mi><mo lspace="0em" rspace="0em" id="S4.Ex9.m2.1.1.1.1.1.1.1.2.2a" xref="S4.Ex9.m2.1.1.1.1.1.1.1.2.2.cmml">​</mo><mi id="S4.Ex9.m2.1.1.1.1.1.1.1.2.5" xref="S4.Ex9.m2.1.1.1.1.1.1.1.2.5.cmml">V</mi><mo lspace="0em" rspace="0em" id="S4.Ex9.m2.1.1.1.1.1.1.1.2.2b" xref="S4.Ex9.m2.1.1.1.1.1.1.1.2.2.cmml">​</mo><mrow id="S4.Ex9.m2.1.1.1.1.1.1.1.2.1.1" xref="S4.Ex9.m2.1.1.1.1.1.1.1.2.1.1.1.cmml"><mo stretchy="false" id="S4.Ex9.m2.1.1.1.1.1.1.1.2.1.1.2" xref="S4.Ex9.m2.1.1.1.1.1.1.1.2.1.1.1.cmml">(</mo><msub id="S4.Ex9.m2.1.1.1.1.1.1.1.2.1.1.1" xref="S4.Ex9.m2.1.1.1.1.1.1.1.2.1.1.1.cmml"><mi id="S4.Ex9.m2.1.1.1.1.1.1.1.2.1.1.1.2" xref="S4.Ex9.m2.1.1.1.1.1.1.1.2.1.1.1.2.cmml">s</mi><mrow id="S4.Ex9.m2.1.1.1.1.1.1.1.2.1.1.1.3" xref="S4.Ex9.m2.1.1.1.1.1.1.1.2.1.1.1.3.cmml"><mi id="S4.Ex9.m2.1.1.1.1.1.1.1.2.1.1.1.3.2" xref="S4.Ex9.m2.1.1.1.1.1.1.1.2.1.1.1.3.2.cmml">i</mi><mo id="S4.Ex9.m2.1.1.1.1.1.1.1.2.1.1.1.3.1" xref="S4.Ex9.m2.1.1.1.1.1.1.1.2.1.1.1.3.1.cmml">+</mo><mn id="S4.Ex9.m2.1.1.1.1.1.1.1.2.1.1.1.3.3" xref="S4.Ex9.m2.1.1.1.1.1.1.1.2.1.1.1.3.3.cmml">1</mn></mrow></msub><mo stretchy="false" id="S4.Ex9.m2.1.1.1.1.1.1.1.2.1.1.3" xref="S4.Ex9.m2.1.1.1.1.1.1.1.2.1.1.1.cmml">)</mo></mrow></mrow></mrow><mo id="S4.Ex9.m2.1.1.1.1.1.1.3" xref="S4.Ex9.m2.1.1.1.1.1.1.1.cmml">)</mo></mrow></mrow></mrow><mo id="S4.Ex9.m2.1.1.2" xref="S4.Ex9.m2.1.1.2.cmml">⏟</mo></munder><mtext id="S4.Ex9.m2.2.3.2.2" xref="S4.Ex9.m2.2.3.2.2a.cmml">Penalized difference from action logit to next state value</mtext></munder><mo id="S4.Ex9.m2.2.3.1" xref="S4.Ex9.m2.2.3.1.cmml">−</mo><munder id="S4.Ex9.m2.2.3.3" xref="S4.Ex9.m2.2.3.3.cmml"><munder accentunder="true" id="S4.Ex9.m2.2.2" xref="S4.Ex9.m2.2.2.cmml"><mrow id="S4.Ex9.m2.2.2.1" xref="S4.Ex9.m2.2.2.1.cmml"><mstyle displaystyle="true" id="S4.Ex9.m2.2.2.1.2" xref="S4.Ex9.m2.2.2.1.2.cmml"><munderover id="S4.Ex9.m2.2.2.1.2a" xref="S4.Ex9.m2.2.2.1.2.cmml"><mo movablelimits="false" id="S4.Ex9.m2.2.2.1.2.2.2" xref="S4.Ex9.m2.2.2.1.2.2.2.cmml">∑</mo><mi id="S4.Ex9.m2.2.2.1.2.2.3" xref="S4.Ex9.m2.2.2.1.2.2.3.cmml">i</mi><mi id="S4.Ex9.m2.2.2.1.2.3" xref="S4.Ex9.m2.2.2.1.2.3.cmml">N</mi></munderover></mstyle><mrow id="S4.Ex9.m2.2.2.1.1" xref="S4.Ex9.m2.2.2.1.1.cmml"><mstyle displaystyle="true" id="S4.Ex9.m2.2.2.1.1.3" xref="S4.Ex9.m2.2.2.1.1.3.cmml"><mfrac id="S4.Ex9.m2.2.2.1.1.3a" xref="S4.Ex9.m2.2.2.1.1.3.cmml"><msup id="S4.Ex9.m2.2.2.1.1.3.2" xref="S4.Ex9.m2.2.2.1.1.3.2.cmml"><mi id="S4.Ex9.m2.2.2.1.1.3.2.2" xref="S4.Ex9.m2.2.2.1.1.3.2.2.cmml">γ</mi><mi id="S4.Ex9.m2.2.2.1.1.3.2.3" xref="S4.Ex9.m2.2.2.1.1.3.2.3.cmml">i</mi></msup><mn id="S4.Ex9.m2.2.2.1.1.3.3" xref="S4.Ex9.m2.2.2.1.1.3.3.cmml">2</mn></mfrac></mstyle><mo lspace="0em" rspace="0em" id="S4.Ex9.m2.2.2.1.1.2" xref="S4.Ex9.m2.2.2.1.1.2.cmml">​</mo><mrow id="S4.Ex9.m2.2.2.1.1.1.1" xref="S4.Ex9.m2.2.2.1.1.1.2.cmml"><mo id="S4.Ex9.m2.2.2.1.1.1.1.2" xref="S4.Ex9.m2.2.2.1.1.1.2.1.cmml">[</mo><mrow id="S4.Ex9.m2.2.2.1.1.1.1.1" xref="S4.Ex9.m2.2.2.1.1.1.1.1.cmml"><mrow id="S4.Ex9.m2.2.2.1.1.1.1.1.1" xref="S4.Ex9.m2.2.2.1.1.1.1.1.1.cmml"><mi id="S4.Ex9.m2.2.2.1.1.1.1.1.1.3" xref="S4.Ex9.m2.2.2.1.1.1.1.1.1.3.cmml">V</mi><mo lspace="0em" rspace="0em" id="S4.Ex9.m2.2.2.1.1.1.1.1.1.2" xref="S4.Ex9.m2.2.2.1.1.1.1.1.1.2.cmml">​</mo><mrow id="S4.Ex9.m2.2.2.1.1.1.1.1.1.1.1" xref="S4.Ex9.m2.2.2.1.1.1.1.1.1.1.1.1.cmml"><mo stretchy="false" id="S4.Ex9.m2.2.2.1.1.1.1.1.1.1.1.2" xref="S4.Ex9.m2.2.2.1.1.1.1.1.1.1.1.1.cmml">(</mo><msub id="S4.Ex9.m2.2.2.1.1.1.1.1.1.1.1.1" xref="S4.Ex9.m2.2.2.1.1.1.1.1.1.1.1.1.cmml"><mi id="S4.Ex9.m2.2.2.1.1.1.1.1.1.1.1.1.2" xref="S4.Ex9.m2.2.2.1.1.1.1.1.1.1.1.1.2.cmml">s</mi><mi id="S4.Ex9.m2.2.2.1.1.1.1.1.1.1.1.1.3" xref="S4.Ex9.m2.2.2.1.1.1.1.1.1.1.1.1.3.cmml">i</mi></msub><mo stretchy="false" id="S4.Ex9.m2.2.2.1.1.1.1.1.1.1.1.3" xref="S4.Ex9.m2.2.2.1.1.1.1.1.1.1.1.1.cmml">)</mo></mrow></mrow><mo id="S4.Ex9.m2.2.2.1.1.1.1.1.3" xref="S4.Ex9.m2.2.2.1.1.1.1.1.3.cmml">−</mo><mrow id="S4.Ex9.m2.2.2.1.1.1.1.1.2" xref="S4.Ex9.m2.2.2.1.1.1.1.1.2.cmml"><mi id="S4.Ex9.m2.2.2.1.1.1.1.1.2.3" xref="S4.Ex9.m2.2.2.1.1.1.1.1.2.3.cmml">γ</mi><mo lspace="0em" rspace="0em" id="S4.Ex9.m2.2.2.1.1.1.1.1.2.2" xref="S4.Ex9.m2.2.2.1.1.1.1.1.2.2.cmml">​</mo><mi id="S4.Ex9.m2.2.2.1.1.1.1.1.2.4" xref="S4.Ex9.m2.2.2.1.1.1.1.1.2.4.cmml">V</mi><mo lspace="0em" rspace="0em" id="S4.Ex9.m2.2.2.1.1.1.1.1.2.2a" xref="S4.Ex9.m2.2.2.1.1.1.1.1.2.2.cmml">​</mo><mrow id="S4.Ex9.m2.2.2.1.1.1.1.1.2.1.1" xref="S4.Ex9.m2.2.2.1.1.1.1.1.2.1.1.1.cmml"><mo stretchy="false" id="S4.Ex9.m2.2.2.1.1.1.1.1.2.1.1.2" xref="S4.Ex9.m2.2.2.1.1.1.1.1.2.1.1.1.cmml">(</mo><msub id="S4.Ex9.m2.2.2.1.1.1.1.1.2.1.1.1" xref="S4.Ex9.m2.2.2.1.1.1.1.1.2.1.1.1.cmml"><mi id="S4.Ex9.m2.2.2.1.1.1.1.1.2.1.1.1.2" xref="S4.Ex9.m2.2.2.1.1.1.1.1.2.1.1.1.2.cmml">s</mi><mrow id="S4.Ex9.m2.2.2.1.1.1.1.1.2.1.1.1.3" xref="S4.Ex9.m2.2.2.1.1.1.1.1.2.1.1.1.3.cmml"><mi id="S4.Ex9.m2.2.2.1.1.1.1.1.2.1.1.1.3.2" xref="S4.Ex9.m2.2.2.1.1.1.1.1.2.1.1.1.3.2.cmml">i</mi><mo id="S4.Ex9.m2.2.2.1.1.1.1.1.2.1.1.1.3.1" xref="S4.Ex9.m2.2.2.1.1.1.1.1.2.1.1.1.3.1.cmml">+</mo><mn id="S4.Ex9.m2.2.2.1.1.1.1.1.2.1.1.1.3.3" xref="S4.Ex9.m2.2.2.1.1.1.1.1.2.1.1.1.3.3.cmml">1</mn></mrow></msub><mo stretchy="false" id="S4.Ex9.m2.2.2.1.1.1.1.1.2.1.1.3" xref="S4.Ex9.m2.2.2.1.1.1.1.1.2.1.1.1.cmml">)</mo></mrow></mrow></mrow><mo id="S4.Ex9.m2.2.2.1.1.1.1.3" xref="S4.Ex9.m2.2.2.1.1.1.2.1.cmml">]</mo></mrow></mrow></mrow><mo id="S4.Ex9.m2.2.2.2" xref="S4.Ex9.m2.2.2.2.cmml">⏟</mo></munder><mtext id="S4.Ex9.m2.2.3.3.2" xref="S4.Ex9.m2.2.3.3.2a.cmml">State, next state value difference under data</mtext></munder></mrow><annotation-xml encoding="MathML-Content" id="S4.Ex9.m2.2b"><apply id="S4.Ex9.m2.2.3.cmml" xref="S4.Ex9.m2.2.3"><minus id="S4.Ex9.m2.2.3.1.cmml" xref="S4.Ex9.m2.2.3.1"></minus><apply id="S4.Ex9.m2.2.3.2.cmml" xref="S4.Ex9.m2.2.3.2"><csymbol cd="ambiguous" id="S4.Ex9.m2.2.3.2.1.cmml" xref="S4.Ex9.m2.2.3.2">subscript</csymbol><apply id="S4.Ex9.m2.1.1.cmml" xref="S4.Ex9.m2.1.1"><ci id="S4.Ex9.m2.1.1.2.cmml" xref="S4.Ex9.m2.1.1.2">⏟</ci><apply id="S4.Ex9.m2.1.1.1.cmml" xref="S4.Ex9.m2.1.1.1"><apply id="S4.Ex9.m2.1.1.1.2.cmml" xref="S4.Ex9.m2.1.1.1.2"><csymbol cd="ambiguous" id="S4.Ex9.m2.1.1.1.2.1.cmml" xref="S4.Ex9.m2.1.1.1.2">superscript</csymbol><apply id="S4.Ex9.m2.1.1.1.2.2.cmml" xref="S4.Ex9.m2.1.1.1.2"><csymbol cd="ambiguous" id="S4.Ex9.m2.1.1.1.2.2.1.cmml" xref="S4.Ex9.m2.1.1.1.2">subscript</csymbol><sum id="S4.Ex9.m2.1.1.1.2.2.2.cmml" xref="S4.Ex9.m2.1.1.1.2.2.2"></sum><ci id="S4.Ex9.m2.1.1.1.2.2.3.cmml" xref="S4.Ex9.m2.1.1.1.2.2.3">𝑖</ci></apply><ci id="S4.Ex9.m2.1.1.1.2.3.cmml" xref="S4.Ex9.m2.1.1.1.2.3">𝑁</ci></apply><apply id="S4.Ex9.m2.1.1.1.1.cmml" xref="S4.Ex9.m2.1.1.1.1"><times id="S4.Ex9.m2.1.1.1.1.2.cmml" xref="S4.Ex9.m2.1.1.1.1.2"></times><apply id="S4.Ex9.m2.1.1.1.1.3.cmml" xref="S4.Ex9.m2.1.1.1.1.3"><csymbol cd="ambiguous" id="S4.Ex9.m2.1.1.1.1.3.1.cmml" xref="S4.Ex9.m2.1.1.1.1.3">superscript</csymbol><ci id="S4.Ex9.m2.1.1.1.1.3.2.cmml" xref="S4.Ex9.m2.1.1.1.1.3.2">𝛾</ci><ci id="S4.Ex9.m2.1.1.1.1.3.3.cmml" xref="S4.Ex9.m2.1.1.1.1.3.3">𝑖</ci></apply><apply id="S4.Ex9.m2.1.1.1.1.4.cmml" xref="S4.Ex9.m2.1.1.1.1.4"><divide id="S4.Ex9.m2.1.1.1.1.4.1.cmml" xref="S4.Ex9.m2.1.1.1.1.4"></divide><cn type="integer" id="S4.Ex9.m2.1.1.1.1.4.2.cmml" xref="S4.Ex9.m2.1.1.1.1.4.2">1</cn><ci id="S4.Ex9.m2.1.1.1.1.4.3.cmml" xref="S4.Ex9.m2.1.1.1.1.4.3">𝛼</ci></apply><ci id="S4.Ex9.m2.1.1.1.1.5.cmml" xref="S4.Ex9.m2.1.1.1.1.5">italic-ϕ</ci><apply id="S4.Ex9.m2.1.1.1.1.1.1.1.cmml" xref="S4.Ex9.m2.1.1.1.1.1.1"><minus id="S4.Ex9.m2.1.1.1.1.1.1.1.3.cmml" xref="S4.Ex9.m2.1.1.1.1.1.1.1.3"></minus><apply id="S4.Ex9.m2.1.1.1.1.1.1.1.1.cmml" xref="S4.Ex9.m2.1.1.1.1.1.1.1.1"><times id="S4.Ex9.m2.1.1.1.1.1.1.1.1.2.cmml" xref="S4.Ex9.m2.1.1.1.1.1.1.1.1.2"></times><ci id="S4.Ex9.m2.1.1.1.1.1.1.1.1.3.cmml" xref="S4.Ex9.m2.1.1.1.1.1.1.1.1.3">𝛼</ci><apply id="S4.Ex9.m2.1.1.1.1.1.1.1.1.4.cmml" xref="S4.Ex9.m2.1.1.1.1.1.1.1.1.4"><csymbol cd="ambiguous" id="S4.Ex9.m2.1.1.1.1.1.1.1.1.4.1.cmml" xref="S4.Ex9.m2.1.1.1.1.1.1.1.1.4">subscript</csymbol><ci id="S4.Ex9.m2.1.1.1.1.1.1.1.1.4.2.cmml" xref="S4.Ex9.m2.1.1.1.1.1.1.1.1.4.2">ℓ</ci><ci id="S4.Ex9.m2.1.1.1.1.1.1.1.1.4.3.cmml" xref="S4.Ex9.m2.1.1.1.1.1.1.1.1.4.3">𝜃</ci></apply><apply id="S4.Ex9.m2.1.1.1.1.1.1.1.1.1.1.1.cmml" xref="S4.Ex9.m2.1.1.1.1.1.1.1.1.1.1"><csymbol cd="latexml" id="S4.Ex9.m2.1.1.1.1.1.1.1.1.1.1.1.1.cmml" xref="S4.Ex9.m2.1.1.1.1.1.1.1.1.1.1.1.1">conditional</csymbol><apply id="S4.Ex9.m2.1.1.1.1.1.1.1.1.1.1.1.2.cmml" xref="S4.Ex9.m2.1.1.1.1.1.1.1.1.1.1.1.2"><csymbol cd="ambiguous" id="S4.Ex9.m2.1.1.1.1.1.1.1.1.1.1.1.2.1.cmml" xref="S4.Ex9.m2.1.1.1.1.1.1.1.1.1.1.1.2">subscript</csymbol><ci id="S4.Ex9.m2.1.1.1.1.1.1.1.1.1.1.1.2.2.cmml" xref="S4.Ex9.m2.1.1.1.1.1.1.1.1.1.1.1.2.2">𝑎</ci><ci id="S4.Ex9.m2.1.1.1.1.1.1.1.1.1.1.1.2.3.cmml" xref="S4.Ex9.m2.1.1.1.1.1.1.1.1.1.1.1.2.3">𝑖</ci></apply><apply id="S4.Ex9.m2.1.1.1.1.1.1.1.1.1.1.1.3.cmml" xref="S4.Ex9.m2.1.1.1.1.1.1.1.1.1.1.1.3"><csymbol cd="ambiguous" id="S4.Ex9.m2.1.1.1.1.1.1.1.1.1.1.1.3.1.cmml" xref="S4.Ex9.m2.1.1.1.1.1.1.1.1.1.1.1.3">subscript</csymbol><ci id="S4.Ex9.m2.1.1.1.1.1.1.1.1.1.1.1.3.2.cmml" xref="S4.Ex9.m2.1.1.1.1.1.1.1.1.1.1.1.3.2">𝑠</ci><ci id="S4.Ex9.m2.1.1.1.1.1.1.1.1.1.1.1.3.3.cmml" xref="S4.Ex9.m2.1.1.1.1.1.1.1.1.1.1.1.3.3">𝑖</ci></apply></apply></apply><apply id="S4.Ex9.m2.1.1.1.1.1.1.1.2.cmml" xref="S4.Ex9.m2.1.1.1.1.1.1.1.2"><times id="S4.Ex9.m2.1.1.1.1.1.1.1.2.2.cmml" xref="S4.Ex9.m2.1.1.1.1.1.1.1.2.2"></times><ci id="S4.Ex9.m2.1.1.1.1.1.1.1.2.3.cmml" xref="S4.Ex9.m2.1.1.1.1.1.1.1.2.3">𝛾</ci><ci id="S4.Ex9.m2.1.1.1.1.1.1.1.2.4.cmml" xref="S4.Ex9.m2.1.1.1.1.1.1.1.2.4">𝛼</ci><ci id="S4.Ex9.m2.1.1.1.1.1.1.1.2.5.cmml" xref="S4.Ex9.m2.1.1.1.1.1.1.1.2.5">𝑉</ci><apply id="S4.Ex9.m2.1.1.1.1.1.1.1.2.1.1.1.cmml" xref="S4.Ex9.m2.1.1.1.1.1.1.1.2.1.1"><csymbol cd="ambiguous" id="S4.Ex9.m2.1.1.1.1.1.1.1.2.1.1.1.1.cmml" xref="S4.Ex9.m2.1.1.1.1.1.1.1.2.1.1">subscript</csymbol><ci id="S4.Ex9.m2.1.1.1.1.1.1.1.2.1.1.1.2.cmml" xref="S4.Ex9.m2.1.1.1.1.1.1.1.2.1.1.1.2">𝑠</ci><apply id="S4.Ex9.m2.1.1.1.1.1.1.1.2.1.1.1.3.cmml" xref="S4.Ex9.m2.1.1.1.1.1.1.1.2.1.1.1.3"><plus id="S4.Ex9.m2.1.1.1.1.1.1.1.2.1.1.1.3.1.cmml" xref="S4.Ex9.m2.1.1.1.1.1.1.1.2.1.1.1.3.1"></plus><ci id="S4.Ex9.m2.1.1.1.1.1.1.1.2.1.1.1.3.2.cmml" xref="S4.Ex9.m2.1.1.1.1.1.1.1.2.1.1.1.3.2">𝑖</ci><cn type="integer" id="S4.Ex9.m2.1.1.1.1.1.1.1.2.1.1.1.3.3.cmml" xref="S4.Ex9.m2.1.1.1.1.1.1.1.2.1.1.1.3.3">1</cn></apply></apply></apply></apply></apply></apply></apply><ci id="S4.Ex9.m2.2.3.2.2a.cmml" xref="S4.Ex9.m2.2.3.2.2"><mtext mathsize="70%" id="S4.Ex9.m2.2.3.2.2.cmml" xref="S4.Ex9.m2.2.3.2.2">Penalized difference from action logit to next state value</mtext></ci></apply><apply id="S4.Ex9.m2.2.3.3.cmml" xref="S4.Ex9.m2.2.3.3"><csymbol cd="ambiguous" id="S4.Ex9.m2.2.3.3.1.cmml" xref="S4.Ex9.m2.2.3.3">subscript</csymbol><apply id="S4.Ex9.m2.2.2.cmml" xref="S4.Ex9.m2.2.2"><ci id="S4.Ex9.m2.2.2.2.cmml" xref="S4.Ex9.m2.2.2.2">⏟</ci><apply id="S4.Ex9.m2.2.2.1.cmml" xref="S4.Ex9.m2.2.2.1"><apply id="S4.Ex9.m2.2.2.1.2.cmml" xref="S4.Ex9.m2.2.2.1.2"><csymbol cd="ambiguous" id="S4.Ex9.m2.2.2.1.2.1.cmml" xref="S4.Ex9.m2.2.2.1.2">superscript</csymbol><apply id="S4.Ex9.m2.2.2.1.2.2.cmml" xref="S4.Ex9.m2.2.2.1.2"><csymbol cd="ambiguous" id="S4.Ex9.m2.2.2.1.2.2.1.cmml" xref="S4.Ex9.m2.2.2.1.2">subscript</csymbol><sum id="S4.Ex9.m2.2.2.1.2.2.2.cmml" xref="S4.Ex9.m2.2.2.1.2.2.2"></sum><ci id="S4.Ex9.m2.2.2.1.2.2.3.cmml" xref="S4.Ex9.m2.2.2.1.2.2.3">𝑖</ci></apply><ci id="S4.Ex9.m2.2.2.1.2.3.cmml" xref="S4.Ex9.m2.2.2.1.2.3">𝑁</ci></apply><apply id="S4.Ex9.m2.2.2.1.1.cmml" xref="S4.Ex9.m2.2.2.1.1"><times id="S4.Ex9.m2.2.2.1.1.2.cmml" xref="S4.Ex9.m2.2.2.1.1.2"></times><apply id="S4.Ex9.m2.2.2.1.1.3.cmml" xref="S4.Ex9.m2.2.2.1.1.3"><divide id="S4.Ex9.m2.2.2.1.1.3.1.cmml" xref="S4.Ex9.m2.2.2.1.1.3"></divide><apply id="S4.Ex9.m2.2.2.1.1.3.2.cmml" xref="S4.Ex9.m2.2.2.1.1.3.2"><csymbol cd="ambiguous" id="S4.Ex9.m2.2.2.1.1.3.2.1.cmml" xref="S4.Ex9.m2.2.2.1.1.3.2">superscript</csymbol><ci id="S4.Ex9.m2.2.2.1.1.3.2.2.cmml" xref="S4.Ex9.m2.2.2.1.1.3.2.2">𝛾</ci><ci id="S4.Ex9.m2.2.2.1.1.3.2.3.cmml" xref="S4.Ex9.m2.2.2.1.1.3.2.3">𝑖</ci></apply><cn type="integer" id="S4.Ex9.m2.2.2.1.1.3.3.cmml" xref="S4.Ex9.m2.2.2.1.1.3.3">2</cn></apply><apply id="S4.Ex9.m2.2.2.1.1.1.2.cmml" xref="S4.Ex9.m2.2.2.1.1.1.1"><csymbol cd="latexml" id="S4.Ex9.m2.2.2.1.1.1.2.1.cmml" xref="S4.Ex9.m2.2.2.1.1.1.1.2">delimited-[]</csymbol><apply id="S4.Ex9.m2.2.2.1.1.1.1.1.cmml" xref="S4.Ex9.m2.2.2.1.1.1.1.1"><minus id="S4.Ex9.m2.2.2.1.1.1.1.1.3.cmml" xref="S4.Ex9.m2.2.2.1.1.1.1.1.3"></minus><apply id="S4.Ex9.m2.2.2.1.1.1.1.1.1.cmml" xref="S4.Ex9.m2.2.2.1.1.1.1.1.1"><times id="S4.Ex9.m2.2.2.1.1.1.1.1.1.2.cmml" xref="S4.Ex9.m2.2.2.1.1.1.1.1.1.2"></times><ci id="S4.Ex9.m2.2.2.1.1.1.1.1.1.3.cmml" xref="S4.Ex9.m2.2.2.1.1.1.1.1.1.3">𝑉</ci><apply id="S4.Ex9.m2.2.2.1.1.1.1.1.1.1.1.1.cmml" xref="S4.Ex9.m2.2.2.1.1.1.1.1.1.1.1"><csymbol cd="ambiguous" id="S4.Ex9.m2.2.2.1.1.1.1.1.1.1.1.1.1.cmml" xref="S4.Ex9.m2.2.2.1.1.1.1.1.1.1.1">subscript</csymbol><ci id="S4.Ex9.m2.2.2.1.1.1.1.1.1.1.1.1.2.cmml" xref="S4.Ex9.m2.2.2.1.1.1.1.1.1.1.1.1.2">𝑠</ci><ci id="S4.Ex9.m2.2.2.1.1.1.1.1.1.1.1.1.3.cmml" xref="S4.Ex9.m2.2.2.1.1.1.1.1.1.1.1.1.3">𝑖</ci></apply></apply><apply id="S4.Ex9.m2.2.2.1.1.1.1.1.2.cmml" xref="S4.Ex9.m2.2.2.1.1.1.1.1.2"><times id="S4.Ex9.m2.2.2.1.1.1.1.1.2.2.cmml" xref="S4.Ex9.m2.2.2.1.1.1.1.1.2.2"></times><ci id="S4.Ex9.m2.2.2.1.1.1.1.1.2.3.cmml" xref="S4.Ex9.m2.2.2.1.1.1.1.1.2.3">𝛾</ci><ci id="S4.Ex9.m2.2.2.1.1.1.1.1.2.4.cmml" xref="S4.Ex9.m2.2.2.1.1.1.1.1.2.4">𝑉</ci><apply id="S4.Ex9.m2.2.2.1.1.1.1.1.2.1.1.1.cmml" xref="S4.Ex9.m2.2.2.1.1.1.1.1.2.1.1"><csymbol cd="ambiguous" id="S4.Ex9.m2.2.2.1.1.1.1.1.2.1.1.1.1.cmml" xref="S4.Ex9.m2.2.2.1.1.1.1.1.2.1.1">subscript</csymbol><ci id="S4.Ex9.m2.2.2.1.1.1.1.1.2.1.1.1.2.cmml" xref="S4.Ex9.m2.2.2.1.1.1.1.1.2.1.1.1.2">𝑠</ci><apply id="S4.Ex9.m2.2.2.1.1.1.1.1.2.1.1.1.3.cmml" xref="S4.Ex9.m2.2.2.1.1.1.1.1.2.1.1.1.3"><plus id="S4.Ex9.m2.2.2.1.1.1.1.1.2.1.1.1.3.1.cmml" xref="S4.Ex9.m2.2.2.1.1.1.1.1.2.1.1.1.3.1"></plus><ci id="S4.Ex9.m2.2.2.1.1.1.1.1.2.1.1.1.3.2.cmml" xref="S4.Ex9.m2.2.2.1.1.1.1.1.2.1.1.1.3.2">𝑖</ci><cn type="integer" id="S4.Ex9.m2.2.2.1.1.1.1.1.2.1.1.1.3.3.cmml" xref="S4.Ex9.m2.2.2.1.1.1.1.1.2.1.1.1.3.3">1</cn></apply></apply></apply></apply></apply></apply></apply></apply><ci id="S4.Ex9.m2.2.3.3.2a.cmml" xref="S4.Ex9.m2.2.3.3.2"><mtext mathsize="70%" id="S4.Ex9.m2.2.3.3.2.cmml" xref="S4.Ex9.m2.2.3.3.2">State, next state value difference under data</mtext></ci></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="S4.Ex9.m2.2c">\displaystyle\underbrace{\sum_{i}^{N}\gamma^{i}\frac{1}{\alpha}\phi\left(\alpha\ell_{\theta}(a_{i}|s_{i})-\gamma\alpha V(s_{i+1})\right)}_{\text{Penalized difference from action logit to next state value}}-\underbrace{\sum_{i}^{N}\frac{\gamma^{i}}{2}\left[V(s_{i})-\gamma V(s_{i+1})\right]}_{\text{State, next state value difference under data}}</annotation></semantics></math></td>
<td class="ltx_eqn_cell ltx_eqn_center_padright"></td>
</tr></tbody>
<tbody id="S4.E7"><tr class="ltx_equation ltx_eqn_row ltx_align_baseline">
<td class="ltx_eqn_cell ltx_eqn_center_padleft"></td>
<td class="ltx_td ltx_eqn_cell"></td>
<td class="ltx_td ltx_align_left ltx_eqn_cell"><math id="S4.E7.m1.3" class="ltx_Math" alttext="\displaystyle-\underbrace{\sum_{i}^{M}\frac{\gamma^{i}}{2}\left[V(u_{i})-\gamma V(u_{i+1})\right]}_{\text{State, next state value difference under model}}+\underbrace{{\hat{\cal J}}_{\text{eos}}(\ell_{\theta})}_{\text{Loss from completed sequences}}," display="inline"><semantics id="S4.E7.m1.3a"><mrow id="S4.E7.m1.3.3.1" xref="S4.E7.m1.3.3.1.1.cmml"><mrow id="S4.E7.m1.3.3.1.1" xref="S4.E7.m1.3.3.1.1.cmml"><mrow id="S4.E7.m1.3.3.1.1.2" xref="S4.E7.m1.3.3.1.1.2.cmml"><mo id="S4.E7.m1.3.3.1.1.2a" xref="S4.E7.m1.3.3.1.1.2.cmml">−</mo><munder id="S4.E7.m1.3.3.1.1.2.2" xref="S4.E7.m1.3.3.1.1.2.2.cmml"><munder accentunder="true" id="S4.E7.m1.1.1" xref="S4.E7.m1.1.1.cmml"><mrow id="S4.E7.m1.1.1.1" xref="S4.E7.m1.1.1.1.cmml"><mstyle displaystyle="true" id="S4.E7.m1.1.1.1.2" xref="S4.E7.m1.1.1.1.2.cmml"><munderover id="S4.E7.m1.1.1.1.2a" xref="S4.E7.m1.1.1.1.2.cmml"><mo movablelimits="false" id="S4.E7.m1.1.1.1.2.2.2" xref="S4.E7.m1.1.1.1.2.2.2.cmml">∑</mo><mi id="S4.E7.m1.1.1.1.2.2.3" xref="S4.E7.m1.1.1.1.2.2.3.cmml">i</mi><mi id="S4.E7.m1.1.1.1.2.3" xref="S4.E7.m1.1.1.1.2.3.cmml">M</mi></munderover></mstyle><mrow id="S4.E7.m1.1.1.1.1" xref="S4.E7.m1.1.1.1.1.cmml"><mstyle displaystyle="true" id="S4.E7.m1.1.1.1.1.3" xref="S4.E7.m1.1.1.1.1.3.cmml"><mfrac id="S4.E7.m1.1.1.1.1.3a" xref="S4.E7.m1.1.1.1.1.3.cmml"><msup id="S4.E7.m1.1.1.1.1.3.2" xref="S4.E7.m1.1.1.1.1.3.2.cmml"><mi id="S4.E7.m1.1.1.1.1.3.2.2" xref="S4.E7.m1.1.1.1.1.3.2.2.cmml">γ</mi><mi id="S4.E7.m1.1.1.1.1.3.2.3" xref="S4.E7.m1.1.1.1.1.3.2.3.cmml">i</mi></msup><mn id="S4.E7.m1.1.1.1.1.3.3" xref="S4.E7.m1.1.1.1.1.3.3.cmml">2</mn></mfrac></mstyle><mo lspace="0em" rspace="0em" id="S4.E7.m1.1.1.1.1.2" xref="S4.E7.m1.1.1.1.1.2.cmml">​</mo><mrow id="S4.E7.m1.1.1.1.1.1.1" xref="S4.E7.m1.1.1.1.1.1.2.cmml"><mo id="S4.E7.m1.1.1.1.1.1.1.2" xref="S4.E7.m1.1.1.1.1.1.2.1.cmml">[</mo><mrow id="S4.E7.m1.1.1.1.1.1.1.1" xref="S4.E7.m1.1.1.1.1.1.1.1.cmml"><mrow id="S4.E7.m1.1.1.1.1.1.1.1.1" xref="S4.E7.m1.1.1.1.1.1.1.1.1.cmml"><mi id="S4.E7.m1.1.1.1.1.1.1.1.1.3" xref="S4.E7.m1.1.1.1.1.1.1.1.1.3.cmml">V</mi><mo lspace="0em" rspace="0em" id="S4.E7.m1.1.1.1.1.1.1.1.1.2" xref="S4.E7.m1.1.1.1.1.1.1.1.1.2.cmml">​</mo><mrow id="S4.E7.m1.1.1.1.1.1.1.1.1.1.1" xref="S4.E7.m1.1.1.1.1.1.1.1.1.1.1.1.cmml"><mo stretchy="false" id="S4.E7.m1.1.1.1.1.1.1.1.1.1.1.2" xref="S4.E7.m1.1.1.1.1.1.1.1.1.1.1.1.cmml">(</mo><msub id="S4.E7.m1.1.1.1.1.1.1.1.1.1.1.1" xref="S4.E7.m1.1.1.1.1.1.1.1.1.1.1.1.cmml"><mi id="S4.E7.m1.1.1.1.1.1.1.1.1.1.1.1.2" xref="S4.E7.m1.1.1.1.1.1.1.1.1.1.1.1.2.cmml">u</mi><mi id="S4.E7.m1.1.1.1.1.1.1.1.1.1.1.1.3" xref="S4.E7.m1.1.1.1.1.1.1.1.1.1.1.1.3.cmml">i</mi></msub><mo stretchy="false" id="S4.E7.m1.1.1.1.1.1.1.1.1.1.1.3" xref="S4.E7.m1.1.1.1.1.1.1.1.1.1.1.1.cmml">)</mo></mrow></mrow><mo id="S4.E7.m1.1.1.1.1.1.1.1.3" xref="S4.E7.m1.1.1.1.1.1.1.1.3.cmml">−</mo><mrow id="S4.E7.m1.1.1.1.1.1.1.1.2" xref="S4.E7.m1.1.1.1.1.1.1.1.2.cmml"><mi id="S4.E7.m1.1.1.1.1.1.1.1.2.3" xref="S4.E7.m1.1.1.1.1.1.1.1.2.3.cmml">γ</mi><mo lspace="0em" rspace="0em" id="S4.E7.m1.1.1.1.1.1.1.1.2.2" xref="S4.E7.m1.1.1.1.1.1.1.1.2.2.cmml">​</mo><mi id="S4.E7.m1.1.1.1.1.1.1.1.2.4" xref="S4.E7.m1.1.1.1.1.1.1.1.2.4.cmml">V</mi><mo lspace="0em" rspace="0em" id="S4.E7.m1.1.1.1.1.1.1.1.2.2a" xref="S4.E7.m1.1.1.1.1.1.1.1.2.2.cmml">​</mo><mrow id="S4.E7.m1.1.1.1.1.1.1.1.2.1.1" xref="S4.E7.m1.1.1.1.1.1.1.1.2.1.1.1.cmml"><mo stretchy="false" id="S4.E7.m1.1.1.1.1.1.1.1.2.1.1.2" xref="S4.E7.m1.1.1.1.1.1.1.1.2.1.1.1.cmml">(</mo><msub id="S4.E7.m1.1.1.1.1.1.1.1.2.1.1.1" xref="S4.E7.m1.1.1.1.1.1.1.1.2.1.1.1.cmml"><mi id="S4.E7.m1.1.1.1.1.1.1.1.2.1.1.1.2" xref="S4.E7.m1.1.1.1.1.1.1.1.2.1.1.1.2.cmml">u</mi><mrow id="S4.E7.m1.1.1.1.1.1.1.1.2.1.1.1.3" xref="S4.E7.m1.1.1.1.1.1.1.1.2.1.1.1.3.cmml"><mi id="S4.E7.m1.1.1.1.1.1.1.1.2.1.1.1.3.2" xref="S4.E7.m1.1.1.1.1.1.1.1.2.1.1.1.3.2.cmml">i</mi><mo id="S4.E7.m1.1.1.1.1.1.1.1.2.1.1.1.3.1" xref="S4.E7.m1.1.1.1.1.1.1.1.2.1.1.1.3.1.cmml">+</mo><mn id="S4.E7.m1.1.1.1.1.1.1.1.2.1.1.1.3.3" xref="S4.E7.m1.1.1.1.1.1.1.1.2.1.1.1.3.3.cmml">1</mn></mrow></msub><mo stretchy="false" id="S4.E7.m1.1.1.1.1.1.1.1.2.1.1.3" xref="S4.E7.m1.1.1.1.1.1.1.1.2.1.1.1.cmml">)</mo></mrow></mrow></mrow><mo id="S4.E7.m1.1.1.1.1.1.1.3" xref="S4.E7.m1.1.1.1.1.1.2.1.cmml">]</mo></mrow></mrow></mrow><mo id="S4.E7.m1.1.1.2" xref="S4.E7.m1.1.1.2.cmml">⏟</mo></munder><mtext id="S4.E7.m1.3.3.1.1.2.2.2" xref="S4.E7.m1.3.3.1.1.2.2.2a.cmml">State, next state value difference under model</mtext></munder></mrow><mo id="S4.E7.m1.3.3.1.1.1" xref="S4.E7.m1.3.3.1.1.1.cmml">+</mo><munder id="S4.E7.m1.3.3.1.1.3" xref="S4.E7.m1.3.3.1.1.3.cmml"><munder accentunder="true" id="S4.E7.m1.2.2" xref="S4.E7.m1.2.2.cmml"><mrow id="S4.E7.m1.2.2.1" xref="S4.E7.m1.2.2.1.cmml"><msub id="S4.E7.m1.2.2.1.3" xref="S4.E7.m1.2.2.1.3.cmml"><mover accent="true" id="S4.E7.m1.2.2.1.3.2" xref="S4.E7.m1.2.2.1.3.2.cmml"><mi class="ltx_font_mathcaligraphic" id="S4.E7.m1.2.2.1.3.2.2" xref="S4.E7.m1.2.2.1.3.2.2.cmml">𝒥</mi><mo id="S4.E7.m1.2.2.1.3.2.1" xref="S4.E7.m1.2.2.1.3.2.1.cmml">^</mo></mover><mtext id="S4.E7.m1.2.2.1.3.3" xref="S4.E7.m1.2.2.1.3.3a.cmml">eos</mtext></msub><mo lspace="0em" rspace="0em" id="S4.E7.m1.2.2.1.2" xref="S4.E7.m1.2.2.1.2.cmml">​</mo><mrow id="S4.E7.m1.2.2.1.1.1" xref="S4.E7.m1.2.2.1.1.1.1.cmml"><mo stretchy="false" id="S4.E7.m1.2.2.1.1.1.2" xref="S4.E7.m1.2.2.1.1.1.1.cmml">(</mo><msub id="S4.E7.m1.2.2.1.1.1.1" xref="S4.E7.m1.2.2.1.1.1.1.cmml"><mi mathvariant="normal" id="S4.E7.m1.2.2.1.1.1.1.2" xref="S4.E7.m1.2.2.1.1.1.1.2.cmml">ℓ</mi><mi id="S4.E7.m1.2.2.1.1.1.1.3" xref="S4.E7.m1.2.2.1.1.1.1.3.cmml">θ</mi></msub><mo stretchy="false" id="S4.E7.m1.2.2.1.1.1.3" xref="S4.E7.m1.2.2.1.1.1.1.cmml">)</mo></mrow></mrow><mo id="S4.E7.m1.2.2.2" xref="S4.E7.m1.2.2.2.cmml">⏟</mo></munder><mtext id="S4.E7.m1.3.3.1.1.3.2" xref="S4.E7.m1.3.3.1.1.3.2a.cmml">Loss from completed sequences</mtext></munder></mrow><mo id="S4.E7.m1.3.3.1.2" xref="S4.E7.m1.3.3.1.1.cmml">,</mo></mrow><annotation-xml encoding="MathML-Content" id="S4.E7.m1.3b"><apply id="S4.E7.m1.3.3.1.1.cmml" xref="S4.E7.m1.3.3.1"><plus id="S4.E7.m1.3.3.1.1.1.cmml" xref="S4.E7.m1.3.3.1.1.1"></plus><apply id="S4.E7.m1.3.3.1.1.2.cmml" xref="S4.E7.m1.3.3.1.1.2"><minus id="S4.E7.m1.3.3.1.1.2.1.cmml" xref="S4.E7.m1.3.3.1.1.2"></minus><apply id="S4.E7.m1.3.3.1.1.2.2.cmml" xref="S4.E7.m1.3.3.1.1.2.2"><csymbol cd="ambiguous" id="S4.E7.m1.3.3.1.1.2.2.1.cmml" xref="S4.E7.m1.3.3.1.1.2.2">subscript</csymbol><apply id="S4.E7.m1.1.1.cmml" xref="S4.E7.m1.1.1"><ci id="S4.E7.m1.1.1.2.cmml" xref="S4.E7.m1.1.1.2">⏟</ci><apply id="S4.E7.m1.1.1.1.cmml" xref="S4.E7.m1.1.1.1"><apply id="S4.E7.m1.1.1.1.2.cmml" xref="S4.E7.m1.1.1.1.2"><csymbol cd="ambiguous" id="S4.E7.m1.1.1.1.2.1.cmml" xref="S4.E7.m1.1.1.1.2">superscript</csymbol><apply id="S4.E7.m1.1.1.1.2.2.cmml" xref="S4.E7.m1.1.1.1.2"><csymbol cd="ambiguous" id="S4.E7.m1.1.1.1.2.2.1.cmml" xref="S4.E7.m1.1.1.1.2">subscript</csymbol><sum id="S4.E7.m1.1.1.1.2.2.2.cmml" xref="S4.E7.m1.1.1.1.2.2.2"></sum><ci id="S4.E7.m1.1.1.1.2.2.3.cmml" xref="S4.E7.m1.1.1.1.2.2.3">𝑖</ci></apply><ci id="S4.E7.m1.1.1.1.2.3.cmml" xref="S4.E7.m1.1.1.1.2.3">𝑀</ci></apply><apply id="S4.E7.m1.1.1.1.1.cmml" xref="S4.E7.m1.1.1.1.1"><times id="S4.E7.m1.1.1.1.1.2.cmml" xref="S4.E7.m1.1.1.1.1.2"></times><apply id="S4.E7.m1.1.1.1.1.3.cmml" xref="S4.E7.m1.1.1.1.1.3"><divide id="S4.E7.m1.1.1.1.1.3.1.cmml" xref="S4.E7.m1.1.1.1.1.3"></divide><apply id="S4.E7.m1.1.1.1.1.3.2.cmml" xref="S4.E7.m1.1.1.1.1.3.2"><csymbol cd="ambiguous" id="S4.E7.m1.1.1.1.1.3.2.1.cmml" xref="S4.E7.m1.1.1.1.1.3.2">superscript</csymbol><ci id="S4.E7.m1.1.1.1.1.3.2.2.cmml" xref="S4.E7.m1.1.1.1.1.3.2.2">𝛾</ci><ci id="S4.E7.m1.1.1.1.1.3.2.3.cmml" xref="S4.E7.m1.1.1.1.1.3.2.3">𝑖</ci></apply><cn type="integer" id="S4.E7.m1.1.1.1.1.3.3.cmml" xref="S4.E7.m1.1.1.1.1.3.3">2</cn></apply><apply id="S4.E7.m1.1.1.1.1.1.2.cmml" xref="S4.E7.m1.1.1.1.1.1.1"><csymbol cd="latexml" id="S4.E7.m1.1.1.1.1.1.2.1.cmml" xref="S4.E7.m1.1.1.1.1.1.1.2">delimited-[]</csymbol><apply id="S4.E7.m1.1.1.1.1.1.1.1.cmml" xref="S4.E7.m1.1.1.1.1.1.1.1"><minus id="S4.E7.m1.1.1.1.1.1.1.1.3.cmml" xref="S4.E7.m1.1.1.1.1.1.1.1.3"></minus><apply id="S4.E7.m1.1.1.1.1.1.1.1.1.cmml" xref="S4.E7.m1.1.1.1.1.1.1.1.1"><times id="S4.E7.m1.1.1.1.1.1.1.1.1.2.cmml" xref="S4.E7.m1.1.1.1.1.1.1.1.1.2"></times><ci id="S4.E7.m1.1.1.1.1.1.1.1.1.3.cmml" xref="S4.E7.m1.1.1.1.1.1.1.1.1.3">𝑉</ci><apply id="S4.E7.m1.1.1.1.1.1.1.1.1.1.1.1.cmml" xref="S4.E7.m1.1.1.1.1.1.1.1.1.1.1"><csymbol cd="ambiguous" id="S4.E7.m1.1.1.1.1.1.1.1.1.1.1.1.1.cmml" xref="S4.E7.m1.1.1.1.1.1.1.1.1.1.1">subscript</csymbol><ci id="S4.E7.m1.1.1.1.1.1.1.1.1.1.1.1.2.cmml" xref="S4.E7.m1.1.1.1.1.1.1.1.1.1.1.1.2">𝑢</ci><ci id="S4.E7.m1.1.1.1.1.1.1.1.1.1.1.1.3.cmml" xref="S4.E7.m1.1.1.1.1.1.1.1.1.1.1.1.3">𝑖</ci></apply></apply><apply id="S4.E7.m1.1.1.1.1.1.1.1.2.cmml" xref="S4.E7.m1.1.1.1.1.1.1.1.2"><times id="S4.E7.m1.1.1.1.1.1.1.1.2.2.cmml" xref="S4.E7.m1.1.1.1.1.1.1.1.2.2"></times><ci id="S4.E7.m1.1.1.1.1.1.1.1.2.3.cmml" xref="S4.E7.m1.1.1.1.1.1.1.1.2.3">𝛾</ci><ci id="S4.E7.m1.1.1.1.1.1.1.1.2.4.cmml" xref="S4.E7.m1.1.1.1.1.1.1.1.2.4">𝑉</ci><apply id="S4.E7.m1.1.1.1.1.1.1.1.2.1.1.1.cmml" xref="S4.E7.m1.1.1.1.1.1.1.1.2.1.1"><csymbol cd="ambiguous" id="S4.E7.m1.1.1.1.1.1.1.1.2.1.1.1.1.cmml" xref="S4.E7.m1.1.1.1.1.1.1.1.2.1.1">subscript</csymbol><ci id="S4.E7.m1.1.1.1.1.1.1.1.2.1.1.1.2.cmml" xref="S4.E7.m1.1.1.1.1.1.1.1.2.1.1.1.2">𝑢</ci><apply id="S4.E7.m1.1.1.1.1.1.1.1.2.1.1.1.3.cmml" xref="S4.E7.m1.1.1.1.1.1.1.1.2.1.1.1.3"><plus id="S4.E7.m1.1.1.1.1.1.1.1.2.1.1.1.3.1.cmml" xref="S4.E7.m1.1.1.1.1.1.1.1.2.1.1.1.3.1"></plus><ci id="S4.E7.m1.1.1.1.1.1.1.1.2.1.1.1.3.2.cmml" xref="S4.E7.m1.1.1.1.1.1.1.1.2.1.1.1.3.2">𝑖</ci><cn type="integer" id="S4.E7.m1.1.1.1.1.1.1.1.2.1.1.1.3.3.cmml" xref="S4.E7.m1.1.1.1.1.1.1.1.2.1.1.1.3.3">1</cn></apply></apply></apply></apply></apply></apply></apply></apply><ci id="S4.E7.m1.3.3.1.1.2.2.2a.cmml" xref="S4.E7.m1.3.3.1.1.2.2.2"><mtext mathsize="70%" id="S4.E7.m1.3.3.1.1.2.2.2.cmml" xref="S4.E7.m1.3.3.1.1.2.2.2">State, next state value difference under model</mtext></ci></apply></apply><apply id="S4.E7.m1.3.3.1.1.3.cmml" xref="S4.E7.m1.3.3.1.1.3"><csymbol cd="ambiguous" id="S4.E7.m1.3.3.1.1.3.1.cmml" xref="S4.E7.m1.3.3.1.1.3">subscript</csymbol><apply id="S4.E7.m1.2.2.cmml" xref="S4.E7.m1.2.2"><ci id="S4.E7.m1.2.2.2.cmml" xref="S4.E7.m1.2.2.2">⏟</ci><apply id="S4.E7.m1.2.2.1.cmml" xref="S4.E7.m1.2.2.1"><times id="S4.E7.m1.2.2.1.2.cmml" xref="S4.E7.m1.2.2.1.2"></times><apply id="S4.E7.m1.2.2.1.3.cmml" xref="S4.E7.m1.2.2.1.3"><csymbol cd="ambiguous" id="S4.E7.m1.2.2.1.3.1.cmml" xref="S4.E7.m1.2.2.1.3">subscript</csymbol><apply id="S4.E7.m1.2.2.1.3.2.cmml" xref="S4.E7.m1.2.2.1.3.2"><ci id="S4.E7.m1.2.2.1.3.2.1.cmml" xref="S4.E7.m1.2.2.1.3.2.1">^</ci><ci id="S4.E7.m1.2.2.1.3.2.2.cmml" xref="S4.E7.m1.2.2.1.3.2.2">𝒥</ci></apply><ci id="S4.E7.m1.2.2.1.3.3a.cmml" xref="S4.E7.m1.2.2.1.3.3"><mtext mathsize="70%" id="S4.E7.m1.2.2.1.3.3.cmml" xref="S4.E7.m1.2.2.1.3.3">eos</mtext></ci></apply><apply id="S4.E7.m1.2.2.1.1.1.1.cmml" xref="S4.E7.m1.2.2.1.1.1"><csymbol cd="ambiguous" id="S4.E7.m1.2.2.1.1.1.1.1.cmml" xref="S4.E7.m1.2.2.1.1.1">subscript</csymbol><ci id="S4.E7.m1.2.2.1.1.1.1.2.cmml" xref="S4.E7.m1.2.2.1.1.1.1.2">ℓ</ci><ci id="S4.E7.m1.2.2.1.1.1.1.3.cmml" xref="S4.E7.m1.2.2.1.1.1.1.3">𝜃</ci></apply></apply></apply><ci id="S4.E7.m1.3.3.1.1.3.2a.cmml" xref="S4.E7.m1.3.3.1.1.3.2"><mtext mathsize="70%" id="S4.E7.m1.3.3.1.1.3.2.cmml" xref="S4.E7.m1.3.3.1.1.3.2">Loss from completed sequences</mtext></ci></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="S4.E7.m1.3c">\displaystyle-\underbrace{\sum_{i}^{M}\frac{\gamma^{i}}{2}\left[V(u_{i})-\gamma V(u_{i+1})\right]}_{\text{State, next state value difference under model}}+\underbrace{{\hat{\cal J}}_{\text{eos}}(\ell_{\theta})}_{\text{Loss from completed sequences}},</annotation></semantics></math></td>
<td class="ltx_eqn_cell ltx_eqn_center_padright"></td>
<td rowspan="1" class="ltx_eqn_cell ltx_eqn_eqno ltx_align_middle ltx_align_right"><span class="ltx_tag ltx_tag_equation ltx_align_right">(7)</span></td>
</tr></tbody>
</table>
<p id="S4.p3.5" class="ltx_p">with</p>
<table id="A9.EGx8" class="ltx_equationgroup ltx_eqn_align ltx_eqn_table">

<tbody id="S4.E8"><tr class="ltx_equation ltx_eqn_row ltx_align_baseline">
<td class="ltx_eqn_cell ltx_eqn_center_padleft"></td>
<td class="ltx_td ltx_align_right ltx_eqn_cell"><math id="S4.E8.m1.2" class="ltx_Math" alttext="\displaystyle{\hat{\cal J}}_{\text{eos}}(\ell_{\theta})=\frac{\gamma^{N}}{\alpha(1-\gamma)}\phi\left(\alpha(1-\gamma)V(s_{N})\right)-\frac{\gamma^{N}}{2}V(s_{N})-\frac{\gamma^{M}}{2}V(u_{M})," display="inline"><semantics id="S4.E8.m1.2a"><mrow id="S4.E8.m1.2.2.1" xref="S4.E8.m1.2.2.1.1.cmml"><mrow id="S4.E8.m1.2.2.1.1" xref="S4.E8.m1.2.2.1.1.cmml"><mrow id="S4.E8.m1.2.2.1.1.1" xref="S4.E8.m1.2.2.1.1.1.cmml"><msub id="S4.E8.m1.2.2.1.1.1.3" xref="S4.E8.m1.2.2.1.1.1.3.cmml"><mover accent="true" id="S4.E8.m1.2.2.1.1.1.3.2" xref="S4.E8.m1.2.2.1.1.1.3.2.cmml"><mi class="ltx_font_mathcaligraphic" id="S4.E8.m1.2.2.1.1.1.3.2.2" xref="S4.E8.m1.2.2.1.1.1.3.2.2.cmml">𝒥</mi><mo id="S4.E8.m1.2.2.1.1.1.3.2.1" xref="S4.E8.m1.2.2.1.1.1.3.2.1.cmml">^</mo></mover><mtext id="S4.E8.m1.2.2.1.1.1.3.3" xref="S4.E8.m1.2.2.1.1.1.3.3a.cmml">eos</mtext></msub><mo lspace="0em" rspace="0em" id="S4.E8.m1.2.2.1.1.1.2" xref="S4.E8.m1.2.2.1.1.1.2.cmml">​</mo><mrow id="S4.E8.m1.2.2.1.1.1.1.1" xref="S4.E8.m1.2.2.1.1.1.1.1.1.cmml"><mo stretchy="false" id="S4.E8.m1.2.2.1.1.1.1.1.2" xref="S4.E8.m1.2.2.1.1.1.1.1.1.cmml">(</mo><msub id="S4.E8.m1.2.2.1.1.1.1.1.1" xref="S4.E8.m1.2.2.1.1.1.1.1.1.cmml"><mi mathvariant="normal" id="S4.E8.m1.2.2.1.1.1.1.1.1.2" xref="S4.E8.m1.2.2.1.1.1.1.1.1.2.cmml">ℓ</mi><mi id="S4.E8.m1.2.2.1.1.1.1.1.1.3" xref="S4.E8.m1.2.2.1.1.1.1.1.1.3.cmml">θ</mi></msub><mo stretchy="false" id="S4.E8.m1.2.2.1.1.1.1.1.3" xref="S4.E8.m1.2.2.1.1.1.1.1.1.cmml">)</mo></mrow></mrow><mo id="S4.E8.m1.2.2.1.1.5" xref="S4.E8.m1.2.2.1.1.5.cmml">=</mo><mrow id="S4.E8.m1.2.2.1.1.4" xref="S4.E8.m1.2.2.1.1.4.cmml"><mrow id="S4.E8.m1.2.2.1.1.2.1" xref="S4.E8.m1.2.2.1.1.2.1.cmml"><mstyle displaystyle="true" id="S4.E8.m1.1.1" xref="S4.E8.m1.1.1.cmml"><mfrac id="S4.E8.m1.1.1a" xref="S4.E8.m1.1.1.cmml"><msup id="S4.E8.m1.1.1.3" xref="S4.E8.m1.1.1.3.cmml"><mi id="S4.E8.m1.1.1.3.2" xref="S4.E8.m1.1.1.3.2.cmml">γ</mi><mi id="S4.E8.m1.1.1.3.3" xref="S4.E8.m1.1.1.3.3.cmml">N</mi></msup><mrow id="S4.E8.m1.1.1.1" xref="S4.E8.m1.1.1.1.cmml"><mi id="S4.E8.m1.1.1.1.3" xref="S4.E8.m1.1.1.1.3.cmml">α</mi><mo lspace="0em" rspace="0em" id="S4.E8.m1.1.1.1.2" xref="S4.E8.m1.1.1.1.2.cmml">​</mo><mrow id="S4.E8.m1.1.1.1.1.1" xref="S4.E8.m1.1.1.1.1.1.1.cmml"><mo stretchy="false" id="S4.E8.m1.1.1.1.1.1.2" xref="S4.E8.m1.1.1.1.1.1.1.cmml">(</mo><mrow id="S4.E8.m1.1.1.1.1.1.1" xref="S4.E8.m1.1.1.1.1.1.1.cmml"><mn id="S4.E8.m1.1.1.1.1.1.1.2" xref="S4.E8.m1.1.1.1.1.1.1.2.cmml">1</mn><mo id="S4.E8.m1.1.1.1.1.1.1.1" xref="S4.E8.m1.1.1.1.1.1.1.1.cmml">−</mo><mi id="S4.E8.m1.1.1.1.1.1.1.3" xref="S4.E8.m1.1.1.1.1.1.1.3.cmml">γ</mi></mrow><mo stretchy="false" id="S4.E8.m1.1.1.1.1.1.3" xref="S4.E8.m1.1.1.1.1.1.1.cmml">)</mo></mrow></mrow></mfrac></mstyle><mo lspace="0em" rspace="0em" id="S4.E8.m1.2.2.1.1.2.1.2" xref="S4.E8.m1.2.2.1.1.2.1.2.cmml">​</mo><mi id="S4.E8.m1.2.2.1.1.2.1.3" xref="S4.E8.m1.2.2.1.1.2.1.3.cmml">ϕ</mi><mo lspace="0em" rspace="0em" id="S4.E8.m1.2.2.1.1.2.1.2a" xref="S4.E8.m1.2.2.1.1.2.1.2.cmml">​</mo><mrow id="S4.E8.m1.2.2.1.1.2.1.1.1" xref="S4.E8.m1.2.2.1.1.2.1.1.1.1.cmml"><mo id="S4.E8.m1.2.2.1.1.2.1.1.1.2" xref="S4.E8.m1.2.2.1.1.2.1.1.1.1.cmml">(</mo><mrow id="S4.E8.m1.2.2.1.1.2.1.1.1.1" xref="S4.E8.m1.2.2.1.1.2.1.1.1.1.cmml"><mi id="S4.E8.m1.2.2.1.1.2.1.1.1.1.4" xref="S4.E8.m1.2.2.1.1.2.1.1.1.1.4.cmml">α</mi><mo lspace="0em" rspace="0em" id="S4.E8.m1.2.2.1.1.2.1.1.1.1.3" xref="S4.E8.m1.2.2.1.1.2.1.1.1.1.3.cmml">​</mo><mrow id="S4.E8.m1.2.2.1.1.2.1.1.1.1.1.1" xref="S4.E8.m1.2.2.1.1.2.1.1.1.1.1.1.1.cmml"><mo stretchy="false" id="S4.E8.m1.2.2.1.1.2.1.1.1.1.1.1.2" xref="S4.E8.m1.2.2.1.1.2.1.1.1.1.1.1.1.cmml">(</mo><mrow id="S4.E8.m1.2.2.1.1.2.1.1.1.1.1.1.1" xref="S4.E8.m1.2.2.1.1.2.1.1.1.1.1.1.1.cmml"><mn id="S4.E8.m1.2.2.1.1.2.1.1.1.1.1.1.1.2" xref="S4.E8.m1.2.2.1.1.2.1.1.1.1.1.1.1.2.cmml">1</mn><mo id="S4.E8.m1.2.2.1.1.2.1.1.1.1.1.1.1.1" xref="S4.E8.m1.2.2.1.1.2.1.1.1.1.1.1.1.1.cmml">−</mo><mi id="S4.E8.m1.2.2.1.1.2.1.1.1.1.1.1.1.3" xref="S4.E8.m1.2.2.1.1.2.1.1.1.1.1.1.1.3.cmml">γ</mi></mrow><mo stretchy="false" id="S4.E8.m1.2.2.1.1.2.1.1.1.1.1.1.3" xref="S4.E8.m1.2.2.1.1.2.1.1.1.1.1.1.1.cmml">)</mo></mrow><mo lspace="0em" rspace="0em" id="S4.E8.m1.2.2.1.1.2.1.1.1.1.3a" xref="S4.E8.m1.2.2.1.1.2.1.1.1.1.3.cmml">​</mo><mi id="S4.E8.m1.2.2.1.1.2.1.1.1.1.5" xref="S4.E8.m1.2.2.1.1.2.1.1.1.1.5.cmml">V</mi><mo lspace="0em" rspace="0em" id="S4.E8.m1.2.2.1.1.2.1.1.1.1.3b" xref="S4.E8.m1.2.2.1.1.2.1.1.1.1.3.cmml">​</mo><mrow id="S4.E8.m1.2.2.1.1.2.1.1.1.1.2.1" xref="S4.E8.m1.2.2.1.1.2.1.1.1.1.2.1.1.cmml"><mo stretchy="false" id="S4.E8.m1.2.2.1.1.2.1.1.1.1.2.1.2" xref="S4.E8.m1.2.2.1.1.2.1.1.1.1.2.1.1.cmml">(</mo><msub id="S4.E8.m1.2.2.1.1.2.1.1.1.1.2.1.1" xref="S4.E8.m1.2.2.1.1.2.1.1.1.1.2.1.1.cmml"><mi id="S4.E8.m1.2.2.1.1.2.1.1.1.1.2.1.1.2" xref="S4.E8.m1.2.2.1.1.2.1.1.1.1.2.1.1.2.cmml">s</mi><mi id="S4.E8.m1.2.2.1.1.2.1.1.1.1.2.1.1.3" xref="S4.E8.m1.2.2.1.1.2.1.1.1.1.2.1.1.3.cmml">N</mi></msub><mo stretchy="false" id="S4.E8.m1.2.2.1.1.2.1.1.1.1.2.1.3" xref="S4.E8.m1.2.2.1.1.2.1.1.1.1.2.1.1.cmml">)</mo></mrow></mrow><mo id="S4.E8.m1.2.2.1.1.2.1.1.1.3" xref="S4.E8.m1.2.2.1.1.2.1.1.1.1.cmml">)</mo></mrow></mrow><mo id="S4.E8.m1.2.2.1.1.4.4" xref="S4.E8.m1.2.2.1.1.4.4.cmml">−</mo><mrow id="S4.E8.m1.2.2.1.1.3.2" xref="S4.E8.m1.2.2.1.1.3.2.cmml"><mstyle displaystyle="true" id="S4.E8.m1.2.2.1.1.3.2.3" xref="S4.E8.m1.2.2.1.1.3.2.3.cmml"><mfrac id="S4.E8.m1.2.2.1.1.3.2.3a" xref="S4.E8.m1.2.2.1.1.3.2.3.cmml"><msup id="S4.E8.m1.2.2.1.1.3.2.3.2" xref="S4.E8.m1.2.2.1.1.3.2.3.2.cmml"><mi id="S4.E8.m1.2.2.1.1.3.2.3.2.2" xref="S4.E8.m1.2.2.1.1.3.2.3.2.2.cmml">γ</mi><mi id="S4.E8.m1.2.2.1.1.3.2.3.2.3" xref="S4.E8.m1.2.2.1.1.3.2.3.2.3.cmml">N</mi></msup><mn id="S4.E8.m1.2.2.1.1.3.2.3.3" xref="S4.E8.m1.2.2.1.1.3.2.3.3.cmml">2</mn></mfrac></mstyle><mo lspace="0em" rspace="0em" id="S4.E8.m1.2.2.1.1.3.2.2" xref="S4.E8.m1.2.2.1.1.3.2.2.cmml">​</mo><mi id="S4.E8.m1.2.2.1.1.3.2.4" xref="S4.E8.m1.2.2.1.1.3.2.4.cmml">V</mi><mo lspace="0em" rspace="0em" id="S4.E8.m1.2.2.1.1.3.2.2a" xref="S4.E8.m1.2.2.1.1.3.2.2.cmml">​</mo><mrow id="S4.E8.m1.2.2.1.1.3.2.1.1" xref="S4.E8.m1.2.2.1.1.3.2.1.1.1.cmml"><mo stretchy="false" id="S4.E8.m1.2.2.1.1.3.2.1.1.2" xref="S4.E8.m1.2.2.1.1.3.2.1.1.1.cmml">(</mo><msub id="S4.E8.m1.2.2.1.1.3.2.1.1.1" xref="S4.E8.m1.2.2.1.1.3.2.1.1.1.cmml"><mi id="S4.E8.m1.2.2.1.1.3.2.1.1.1.2" xref="S4.E8.m1.2.2.1.1.3.2.1.1.1.2.cmml">s</mi><mi id="S4.E8.m1.2.2.1.1.3.2.1.1.1.3" xref="S4.E8.m1.2.2.1.1.3.2.1.1.1.3.cmml">N</mi></msub><mo stretchy="false" id="S4.E8.m1.2.2.1.1.3.2.1.1.3" xref="S4.E8.m1.2.2.1.1.3.2.1.1.1.cmml">)</mo></mrow></mrow><mo id="S4.E8.m1.2.2.1.1.4.4a" xref="S4.E8.m1.2.2.1.1.4.4.cmml">−</mo><mrow id="S4.E8.m1.2.2.1.1.4.3" xref="S4.E8.m1.2.2.1.1.4.3.cmml"><mstyle displaystyle="true" id="S4.E8.m1.2.2.1.1.4.3.3" xref="S4.E8.m1.2.2.1.1.4.3.3.cmml"><mfrac id="S4.E8.m1.2.2.1.1.4.3.3a" xref="S4.E8.m1.2.2.1.1.4.3.3.cmml"><msup id="S4.E8.m1.2.2.1.1.4.3.3.2" xref="S4.E8.m1.2.2.1.1.4.3.3.2.cmml"><mi id="S4.E8.m1.2.2.1.1.4.3.3.2.2" xref="S4.E8.m1.2.2.1.1.4.3.3.2.2.cmml">γ</mi><mi id="S4.E8.m1.2.2.1.1.4.3.3.2.3" xref="S4.E8.m1.2.2.1.1.4.3.3.2.3.cmml">M</mi></msup><mn id="S4.E8.m1.2.2.1.1.4.3.3.3" xref="S4.E8.m1.2.2.1.1.4.3.3.3.cmml">2</mn></mfrac></mstyle><mo lspace="0em" rspace="0em" id="S4.E8.m1.2.2.1.1.4.3.2" xref="S4.E8.m1.2.2.1.1.4.3.2.cmml">​</mo><mi id="S4.E8.m1.2.2.1.1.4.3.4" xref="S4.E8.m1.2.2.1.1.4.3.4.cmml">V</mi><mo lspace="0em" rspace="0em" id="S4.E8.m1.2.2.1.1.4.3.2a" xref="S4.E8.m1.2.2.1.1.4.3.2.cmml">​</mo><mrow id="S4.E8.m1.2.2.1.1.4.3.1.1" xref="S4.E8.m1.2.2.1.1.4.3.1.1.1.cmml"><mo stretchy="false" id="S4.E8.m1.2.2.1.1.4.3.1.1.2" xref="S4.E8.m1.2.2.1.1.4.3.1.1.1.cmml">(</mo><msub id="S4.E8.m1.2.2.1.1.4.3.1.1.1" xref="S4.E8.m1.2.2.1.1.4.3.1.1.1.cmml"><mi id="S4.E8.m1.2.2.1.1.4.3.1.1.1.2" xref="S4.E8.m1.2.2.1.1.4.3.1.1.1.2.cmml">u</mi><mi id="S4.E8.m1.2.2.1.1.4.3.1.1.1.3" xref="S4.E8.m1.2.2.1.1.4.3.1.1.1.3.cmml">M</mi></msub><mo stretchy="false" id="S4.E8.m1.2.2.1.1.4.3.1.1.3" xref="S4.E8.m1.2.2.1.1.4.3.1.1.1.cmml">)</mo></mrow></mrow></mrow></mrow><mo id="S4.E8.m1.2.2.1.2" xref="S4.E8.m1.2.2.1.1.cmml">,</mo></mrow><annotation-xml encoding="MathML-Content" id="S4.E8.m1.2b"><apply id="S4.E8.m1.2.2.1.1.cmml" xref="S4.E8.m1.2.2.1"><eq id="S4.E8.m1.2.2.1.1.5.cmml" xref="S4.E8.m1.2.2.1.1.5"></eq><apply id="S4.E8.m1.2.2.1.1.1.cmml" xref="S4.E8.m1.2.2.1.1.1"><times id="S4.E8.m1.2.2.1.1.1.2.cmml" xref="S4.E8.m1.2.2.1.1.1.2"></times><apply id="S4.E8.m1.2.2.1.1.1.3.cmml" xref="S4.E8.m1.2.2.1.1.1.3"><csymbol cd="ambiguous" id="S4.E8.m1.2.2.1.1.1.3.1.cmml" xref="S4.E8.m1.2.2.1.1.1.3">subscript</csymbol><apply id="S4.E8.m1.2.2.1.1.1.3.2.cmml" xref="S4.E8.m1.2.2.1.1.1.3.2"><ci id="S4.E8.m1.2.2.1.1.1.3.2.1.cmml" xref="S4.E8.m1.2.2.1.1.1.3.2.1">^</ci><ci id="S4.E8.m1.2.2.1.1.1.3.2.2.cmml" xref="S4.E8.m1.2.2.1.1.1.3.2.2">𝒥</ci></apply><ci id="S4.E8.m1.2.2.1.1.1.3.3a.cmml" xref="S4.E8.m1.2.2.1.1.1.3.3"><mtext mathsize="70%" id="S4.E8.m1.2.2.1.1.1.3.3.cmml" xref="S4.E8.m1.2.2.1.1.1.3.3">eos</mtext></ci></apply><apply id="S4.E8.m1.2.2.1.1.1.1.1.1.cmml" xref="S4.E8.m1.2.2.1.1.1.1.1"><csymbol cd="ambiguous" id="S4.E8.m1.2.2.1.1.1.1.1.1.1.cmml" xref="S4.E8.m1.2.2.1.1.1.1.1">subscript</csymbol><ci id="S4.E8.m1.2.2.1.1.1.1.1.1.2.cmml" xref="S4.E8.m1.2.2.1.1.1.1.1.1.2">ℓ</ci><ci id="S4.E8.m1.2.2.1.1.1.1.1.1.3.cmml" xref="S4.E8.m1.2.2.1.1.1.1.1.1.3">𝜃</ci></apply></apply><apply id="S4.E8.m1.2.2.1.1.4.cmml" xref="S4.E8.m1.2.2.1.1.4"><minus id="S4.E8.m1.2.2.1.1.4.4.cmml" xref="S4.E8.m1.2.2.1.1.4.4"></minus><apply id="S4.E8.m1.2.2.1.1.2.1.cmml" xref="S4.E8.m1.2.2.1.1.2.1"><times id="S4.E8.m1.2.2.1.1.2.1.2.cmml" xref="S4.E8.m1.2.2.1.1.2.1.2"></times><apply id="S4.E8.m1.1.1.cmml" xref="S4.E8.m1.1.1"><divide id="S4.E8.m1.1.1.2.cmml" xref="S4.E8.m1.1.1"></divide><apply id="S4.E8.m1.1.1.3.cmml" xref="S4.E8.m1.1.1.3"><csymbol cd="ambiguous" id="S4.E8.m1.1.1.3.1.cmml" xref="S4.E8.m1.1.1.3">superscript</csymbol><ci id="S4.E8.m1.1.1.3.2.cmml" xref="S4.E8.m1.1.1.3.2">𝛾</ci><ci id="S4.E8.m1.1.1.3.3.cmml" xref="S4.E8.m1.1.1.3.3">𝑁</ci></apply><apply id="S4.E8.m1.1.1.1.cmml" xref="S4.E8.m1.1.1.1"><times id="S4.E8.m1.1.1.1.2.cmml" xref="S4.E8.m1.1.1.1.2"></times><ci id="S4.E8.m1.1.1.1.3.cmml" xref="S4.E8.m1.1.1.1.3">𝛼</ci><apply id="S4.E8.m1.1.1.1.1.1.1.cmml" xref="S4.E8.m1.1.1.1.1.1"><minus id="S4.E8.m1.1.1.1.1.1.1.1.cmml" xref="S4.E8.m1.1.1.1.1.1.1.1"></minus><cn type="integer" id="S4.E8.m1.1.1.1.1.1.1.2.cmml" xref="S4.E8.m1.1.1.1.1.1.1.2">1</cn><ci id="S4.E8.m1.1.1.1.1.1.1.3.cmml" xref="S4.E8.m1.1.1.1.1.1.1.3">𝛾</ci></apply></apply></apply><ci id="S4.E8.m1.2.2.1.1.2.1.3.cmml" xref="S4.E8.m1.2.2.1.1.2.1.3">italic-ϕ</ci><apply id="S4.E8.m1.2.2.1.1.2.1.1.1.1.cmml" xref="S4.E8.m1.2.2.1.1.2.1.1.1"><times id="S4.E8.m1.2.2.1.1.2.1.1.1.1.3.cmml" xref="S4.E8.m1.2.2.1.1.2.1.1.1.1.3"></times><ci id="S4.E8.m1.2.2.1.1.2.1.1.1.1.4.cmml" xref="S4.E8.m1.2.2.1.1.2.1.1.1.1.4">𝛼</ci><apply id="S4.E8.m1.2.2.1.1.2.1.1.1.1.1.1.1.cmml" xref="S4.E8.m1.2.2.1.1.2.1.1.1.1.1.1"><minus id="S4.E8.m1.2.2.1.1.2.1.1.1.1.1.1.1.1.cmml" xref="S4.E8.m1.2.2.1.1.2.1.1.1.1.1.1.1.1"></minus><cn type="integer" id="S4.E8.m1.2.2.1.1.2.1.1.1.1.1.1.1.2.cmml" xref="S4.E8.m1.2.2.1.1.2.1.1.1.1.1.1.1.2">1</cn><ci id="S4.E8.m1.2.2.1.1.2.1.1.1.1.1.1.1.3.cmml" xref="S4.E8.m1.2.2.1.1.2.1.1.1.1.1.1.1.3">𝛾</ci></apply><ci id="S4.E8.m1.2.2.1.1.2.1.1.1.1.5.cmml" xref="S4.E8.m1.2.2.1.1.2.1.1.1.1.5">𝑉</ci><apply id="S4.E8.m1.2.2.1.1.2.1.1.1.1.2.1.1.cmml" xref="S4.E8.m1.2.2.1.1.2.1.1.1.1.2.1"><csymbol cd="ambiguous" id="S4.E8.m1.2.2.1.1.2.1.1.1.1.2.1.1.1.cmml" xref="S4.E8.m1.2.2.1.1.2.1.1.1.1.2.1">subscript</csymbol><ci id="S4.E8.m1.2.2.1.1.2.1.1.1.1.2.1.1.2.cmml" xref="S4.E8.m1.2.2.1.1.2.1.1.1.1.2.1.1.2">𝑠</ci><ci id="S4.E8.m1.2.2.1.1.2.1.1.1.1.2.1.1.3.cmml" xref="S4.E8.m1.2.2.1.1.2.1.1.1.1.2.1.1.3">𝑁</ci></apply></apply></apply><apply id="S4.E8.m1.2.2.1.1.3.2.cmml" xref="S4.E8.m1.2.2.1.1.3.2"><times id="S4.E8.m1.2.2.1.1.3.2.2.cmml" xref="S4.E8.m1.2.2.1.1.3.2.2"></times><apply id="S4.E8.m1.2.2.1.1.3.2.3.cmml" xref="S4.E8.m1.2.2.1.1.3.2.3"><divide id="S4.E8.m1.2.2.1.1.3.2.3.1.cmml" xref="S4.E8.m1.2.2.1.1.3.2.3"></divide><apply id="S4.E8.m1.2.2.1.1.3.2.3.2.cmml" xref="S4.E8.m1.2.2.1.1.3.2.3.2"><csymbol cd="ambiguous" id="S4.E8.m1.2.2.1.1.3.2.3.2.1.cmml" xref="S4.E8.m1.2.2.1.1.3.2.3.2">superscript</csymbol><ci id="S4.E8.m1.2.2.1.1.3.2.3.2.2.cmml" xref="S4.E8.m1.2.2.1.1.3.2.3.2.2">𝛾</ci><ci id="S4.E8.m1.2.2.1.1.3.2.3.2.3.cmml" xref="S4.E8.m1.2.2.1.1.3.2.3.2.3">𝑁</ci></apply><cn type="integer" id="S4.E8.m1.2.2.1.1.3.2.3.3.cmml" xref="S4.E8.m1.2.2.1.1.3.2.3.3">2</cn></apply><ci id="S4.E8.m1.2.2.1.1.3.2.4.cmml" xref="S4.E8.m1.2.2.1.1.3.2.4">𝑉</ci><apply id="S4.E8.m1.2.2.1.1.3.2.1.1.1.cmml" xref="S4.E8.m1.2.2.1.1.3.2.1.1"><csymbol cd="ambiguous" id="S4.E8.m1.2.2.1.1.3.2.1.1.1.1.cmml" xref="S4.E8.m1.2.2.1.1.3.2.1.1">subscript</csymbol><ci id="S4.E8.m1.2.2.1.1.3.2.1.1.1.2.cmml" xref="S4.E8.m1.2.2.1.1.3.2.1.1.1.2">𝑠</ci><ci id="S4.E8.m1.2.2.1.1.3.2.1.1.1.3.cmml" xref="S4.E8.m1.2.2.1.1.3.2.1.1.1.3">𝑁</ci></apply></apply><apply id="S4.E8.m1.2.2.1.1.4.3.cmml" xref="S4.E8.m1.2.2.1.1.4.3"><times id="S4.E8.m1.2.2.1.1.4.3.2.cmml" xref="S4.E8.m1.2.2.1.1.4.3.2"></times><apply id="S4.E8.m1.2.2.1.1.4.3.3.cmml" xref="S4.E8.m1.2.2.1.1.4.3.3"><divide id="S4.E8.m1.2.2.1.1.4.3.3.1.cmml" xref="S4.E8.m1.2.2.1.1.4.3.3"></divide><apply id="S4.E8.m1.2.2.1.1.4.3.3.2.cmml" xref="S4.E8.m1.2.2.1.1.4.3.3.2"><csymbol cd="ambiguous" id="S4.E8.m1.2.2.1.1.4.3.3.2.1.cmml" xref="S4.E8.m1.2.2.1.1.4.3.3.2">superscript</csymbol><ci id="S4.E8.m1.2.2.1.1.4.3.3.2.2.cmml" xref="S4.E8.m1.2.2.1.1.4.3.3.2.2">𝛾</ci><ci id="S4.E8.m1.2.2.1.1.4.3.3.2.3.cmml" xref="S4.E8.m1.2.2.1.1.4.3.3.2.3">𝑀</ci></apply><cn type="integer" id="S4.E8.m1.2.2.1.1.4.3.3.3.cmml" xref="S4.E8.m1.2.2.1.1.4.3.3.3">2</cn></apply><ci id="S4.E8.m1.2.2.1.1.4.3.4.cmml" xref="S4.E8.m1.2.2.1.1.4.3.4">𝑉</ci><apply id="S4.E8.m1.2.2.1.1.4.3.1.1.1.cmml" xref="S4.E8.m1.2.2.1.1.4.3.1.1"><csymbol cd="ambiguous" id="S4.E8.m1.2.2.1.1.4.3.1.1.1.1.cmml" xref="S4.E8.m1.2.2.1.1.4.3.1.1">subscript</csymbol><ci id="S4.E8.m1.2.2.1.1.4.3.1.1.1.2.cmml" xref="S4.E8.m1.2.2.1.1.4.3.1.1.1.2">𝑢</ci><ci id="S4.E8.m1.2.2.1.1.4.3.1.1.1.3.cmml" xref="S4.E8.m1.2.2.1.1.4.3.1.1.1.3">𝑀</ci></apply></apply></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="S4.E8.m1.2c">\displaystyle{\hat{\cal J}}_{\text{eos}}(\ell_{\theta})=\frac{\gamma^{N}}{\alpha(1-\gamma)}\phi\left(\alpha(1-\gamma)V(s_{N})\right)-\frac{\gamma^{N}}{2}V(s_{N})-\frac{\gamma^{M}}{2}V(u_{M}),</annotation></semantics></math></td>
<td class="ltx_eqn_cell ltx_eqn_center_padright"></td>
<td rowspan="1" class="ltx_eqn_cell ltx_eqn_eqno ltx_align_middle ltx_align_right"><span class="ltx_tag ltx_tag_equation ltx_align_right">(8)</span></td>
</tr></tbody>
</table>
</div>
<div id="S4.p4" class="ltx_para">
<p id="S4.p4.7" class="ltx_p">and <math id="S4.p4.1.m1.2" class="ltx_Math" alttext="V(s)=\log\sum_{a^{\prime}\in\mathcal{A}}\exp\ell_{\theta}(a^{\prime}|s)" display="inline"><semantics id="S4.p4.1.m1.2a"><mrow id="S4.p4.1.m1.2.2" xref="S4.p4.1.m1.2.2.cmml"><mrow id="S4.p4.1.m1.2.2.3" xref="S4.p4.1.m1.2.2.3.cmml"><mi id="S4.p4.1.m1.2.2.3.2" xref="S4.p4.1.m1.2.2.3.2.cmml">V</mi><mo lspace="0em" rspace="0em" id="S4.p4.1.m1.2.2.3.1" xref="S4.p4.1.m1.2.2.3.1.cmml">​</mo><mrow id="S4.p4.1.m1.2.2.3.3.2" xref="S4.p4.1.m1.2.2.3.cmml"><mo stretchy="false" id="S4.p4.1.m1.2.2.3.3.2.1" xref="S4.p4.1.m1.2.2.3.cmml">(</mo><mi id="S4.p4.1.m1.1.1" xref="S4.p4.1.m1.1.1.cmml">s</mi><mo stretchy="false" id="S4.p4.1.m1.2.2.3.3.2.2" xref="S4.p4.1.m1.2.2.3.cmml">)</mo></mrow></mrow><mo id="S4.p4.1.m1.2.2.2" xref="S4.p4.1.m1.2.2.2.cmml">=</mo><mrow id="S4.p4.1.m1.2.2.1" xref="S4.p4.1.m1.2.2.1.cmml"><mi id="S4.p4.1.m1.2.2.1.3" xref="S4.p4.1.m1.2.2.1.3.cmml">log</mi><mo lspace="0em" rspace="0em" id="S4.p4.1.m1.2.2.1.2" xref="S4.p4.1.m1.2.2.1.2.cmml">​</mo><mrow id="S4.p4.1.m1.2.2.1.1" xref="S4.p4.1.m1.2.2.1.1.cmml"><msub id="S4.p4.1.m1.2.2.1.1.2" xref="S4.p4.1.m1.2.2.1.1.2.cmml"><mo id="S4.p4.1.m1.2.2.1.1.2.2" xref="S4.p4.1.m1.2.2.1.1.2.2.cmml">∑</mo><mrow id="S4.p4.1.m1.2.2.1.1.2.3" xref="S4.p4.1.m1.2.2.1.1.2.3.cmml"><msup id="S4.p4.1.m1.2.2.1.1.2.3.2" xref="S4.p4.1.m1.2.2.1.1.2.3.2.cmml"><mi id="S4.p4.1.m1.2.2.1.1.2.3.2.2" xref="S4.p4.1.m1.2.2.1.1.2.3.2.2.cmml">a</mi><mo id="S4.p4.1.m1.2.2.1.1.2.3.2.3" xref="S4.p4.1.m1.2.2.1.1.2.3.2.3.cmml">′</mo></msup><mo id="S4.p4.1.m1.2.2.1.1.2.3.1" xref="S4.p4.1.m1.2.2.1.1.2.3.1.cmml">∈</mo><mi class="ltx_font_mathcaligraphic" id="S4.p4.1.m1.2.2.1.1.2.3.3" xref="S4.p4.1.m1.2.2.1.1.2.3.3.cmml">𝒜</mi></mrow></msub><mrow id="S4.p4.1.m1.2.2.1.1.1" xref="S4.p4.1.m1.2.2.1.1.1.cmml"><mrow id="S4.p4.1.m1.2.2.1.1.1.3" xref="S4.p4.1.m1.2.2.1.1.1.3.cmml"><mi id="S4.p4.1.m1.2.2.1.1.1.3.1" xref="S4.p4.1.m1.2.2.1.1.1.3.1.cmml">exp</mi><mo lspace="0.167em" id="S4.p4.1.m1.2.2.1.1.1.3a" xref="S4.p4.1.m1.2.2.1.1.1.3.cmml">⁡</mo><msub id="S4.p4.1.m1.2.2.1.1.1.3.2" xref="S4.p4.1.m1.2.2.1.1.1.3.2.cmml"><mi mathvariant="normal" id="S4.p4.1.m1.2.2.1.1.1.3.2.2" xref="S4.p4.1.m1.2.2.1.1.1.3.2.2.cmml">ℓ</mi><mi id="S4.p4.1.m1.2.2.1.1.1.3.2.3" xref="S4.p4.1.m1.2.2.1.1.1.3.2.3.cmml">θ</mi></msub></mrow><mo lspace="0em" rspace="0em" id="S4.p4.1.m1.2.2.1.1.1.2" xref="S4.p4.1.m1.2.2.1.1.1.2.cmml">​</mo><mrow id="S4.p4.1.m1.2.2.1.1.1.1.1" xref="S4.p4.1.m1.2.2.1.1.1.1.1.1.cmml"><mo stretchy="false" id="S4.p4.1.m1.2.2.1.1.1.1.1.2" xref="S4.p4.1.m1.2.2.1.1.1.1.1.1.cmml">(</mo><mrow id="S4.p4.1.m1.2.2.1.1.1.1.1.1" xref="S4.p4.1.m1.2.2.1.1.1.1.1.1.cmml"><msup id="S4.p4.1.m1.2.2.1.1.1.1.1.1.2" xref="S4.p4.1.m1.2.2.1.1.1.1.1.1.2.cmml"><mi id="S4.p4.1.m1.2.2.1.1.1.1.1.1.2.2" xref="S4.p4.1.m1.2.2.1.1.1.1.1.1.2.2.cmml">a</mi><mo id="S4.p4.1.m1.2.2.1.1.1.1.1.1.2.3" xref="S4.p4.1.m1.2.2.1.1.1.1.1.1.2.3.cmml">′</mo></msup><mo fence="false" id="S4.p4.1.m1.2.2.1.1.1.1.1.1.1" xref="S4.p4.1.m1.2.2.1.1.1.1.1.1.1.cmml">|</mo><mi id="S4.p4.1.m1.2.2.1.1.1.1.1.1.3" xref="S4.p4.1.m1.2.2.1.1.1.1.1.1.3.cmml">s</mi></mrow><mo stretchy="false" id="S4.p4.1.m1.2.2.1.1.1.1.1.3" xref="S4.p4.1.m1.2.2.1.1.1.1.1.1.cmml">)</mo></mrow></mrow></mrow></mrow></mrow><annotation-xml encoding="MathML-Content" id="S4.p4.1.m1.2b"><apply id="S4.p4.1.m1.2.2.cmml" xref="S4.p4.1.m1.2.2"><eq id="S4.p4.1.m1.2.2.2.cmml" xref="S4.p4.1.m1.2.2.2"></eq><apply id="S4.p4.1.m1.2.2.3.cmml" xref="S4.p4.1.m1.2.2.3"><times id="S4.p4.1.m1.2.2.3.1.cmml" xref="S4.p4.1.m1.2.2.3.1"></times><ci id="S4.p4.1.m1.2.2.3.2.cmml" xref="S4.p4.1.m1.2.2.3.2">𝑉</ci><ci id="S4.p4.1.m1.1.1.cmml" xref="S4.p4.1.m1.1.1">𝑠</ci></apply><apply id="S4.p4.1.m1.2.2.1.cmml" xref="S4.p4.1.m1.2.2.1"><times id="S4.p4.1.m1.2.2.1.2.cmml" xref="S4.p4.1.m1.2.2.1.2"></times><log id="S4.p4.1.m1.2.2.1.3.cmml" xref="S4.p4.1.m1.2.2.1.3"></log><apply id="S4.p4.1.m1.2.2.1.1.cmml" xref="S4.p4.1.m1.2.2.1.1"><apply id="S4.p4.1.m1.2.2.1.1.2.cmml" xref="S4.p4.1.m1.2.2.1.1.2"><csymbol cd="ambiguous" id="S4.p4.1.m1.2.2.1.1.2.1.cmml" xref="S4.p4.1.m1.2.2.1.1.2">subscript</csymbol><sum id="S4.p4.1.m1.2.2.1.1.2.2.cmml" xref="S4.p4.1.m1.2.2.1.1.2.2"></sum><apply id="S4.p4.1.m1.2.2.1.1.2.3.cmml" xref="S4.p4.1.m1.2.2.1.1.2.3"><in id="S4.p4.1.m1.2.2.1.1.2.3.1.cmml" xref="S4.p4.1.m1.2.2.1.1.2.3.1"></in><apply id="S4.p4.1.m1.2.2.1.1.2.3.2.cmml" xref="S4.p4.1.m1.2.2.1.1.2.3.2"><csymbol cd="ambiguous" id="S4.p4.1.m1.2.2.1.1.2.3.2.1.cmml" xref="S4.p4.1.m1.2.2.1.1.2.3.2">superscript</csymbol><ci id="S4.p4.1.m1.2.2.1.1.2.3.2.2.cmml" xref="S4.p4.1.m1.2.2.1.1.2.3.2.2">𝑎</ci><ci id="S4.p4.1.m1.2.2.1.1.2.3.2.3.cmml" xref="S4.p4.1.m1.2.2.1.1.2.3.2.3">′</ci></apply><ci id="S4.p4.1.m1.2.2.1.1.2.3.3.cmml" xref="S4.p4.1.m1.2.2.1.1.2.3.3">𝒜</ci></apply></apply><apply id="S4.p4.1.m1.2.2.1.1.1.cmml" xref="S4.p4.1.m1.2.2.1.1.1"><times id="S4.p4.1.m1.2.2.1.1.1.2.cmml" xref="S4.p4.1.m1.2.2.1.1.1.2"></times><apply id="S4.p4.1.m1.2.2.1.1.1.3.cmml" xref="S4.p4.1.m1.2.2.1.1.1.3"><exp id="S4.p4.1.m1.2.2.1.1.1.3.1.cmml" xref="S4.p4.1.m1.2.2.1.1.1.3.1"></exp><apply id="S4.p4.1.m1.2.2.1.1.1.3.2.cmml" xref="S4.p4.1.m1.2.2.1.1.1.3.2"><csymbol cd="ambiguous" id="S4.p4.1.m1.2.2.1.1.1.3.2.1.cmml" xref="S4.p4.1.m1.2.2.1.1.1.3.2">subscript</csymbol><ci id="S4.p4.1.m1.2.2.1.1.1.3.2.2.cmml" xref="S4.p4.1.m1.2.2.1.1.1.3.2.2">ℓ</ci><ci id="S4.p4.1.m1.2.2.1.1.1.3.2.3.cmml" xref="S4.p4.1.m1.2.2.1.1.1.3.2.3">𝜃</ci></apply></apply><apply id="S4.p4.1.m1.2.2.1.1.1.1.1.1.cmml" xref="S4.p4.1.m1.2.2.1.1.1.1.1"><csymbol cd="latexml" id="S4.p4.1.m1.2.2.1.1.1.1.1.1.1.cmml" xref="S4.p4.1.m1.2.2.1.1.1.1.1.1.1">conditional</csymbol><apply id="S4.p4.1.m1.2.2.1.1.1.1.1.1.2.cmml" xref="S4.p4.1.m1.2.2.1.1.1.1.1.1.2"><csymbol cd="ambiguous" id="S4.p4.1.m1.2.2.1.1.1.1.1.1.2.1.cmml" xref="S4.p4.1.m1.2.2.1.1.1.1.1.1.2">superscript</csymbol><ci id="S4.p4.1.m1.2.2.1.1.1.1.1.1.2.2.cmml" xref="S4.p4.1.m1.2.2.1.1.1.1.1.1.2.2">𝑎</ci><ci id="S4.p4.1.m1.2.2.1.1.1.1.1.1.2.3.cmml" xref="S4.p4.1.m1.2.2.1.1.1.1.1.1.2.3">′</ci></apply><ci id="S4.p4.1.m1.2.2.1.1.1.1.1.1.3.cmml" xref="S4.p4.1.m1.2.2.1.1.1.1.1.1.3">𝑠</ci></apply></apply></apply></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="S4.p4.1.m1.2c">V(s)=\log\sum_{a^{\prime}\in\mathcal{A}}\exp\ell_{\theta}(a^{\prime}|s)</annotation></semantics></math>.
The separate treatment of the <span id="S4.p4.7.1" class="ltx_text ltx_font_typewriter">&lt;eos&gt;</span> tokens arises because we must take a sum over the infinite timesteps in equation (<a href="#S3.E3" title="Equation 3 ‣ 3.1 Sequence Modelling as a Markov Decision Process ‣ 3 Method ‣ SequenceMatch: Imitation Learning for Autoregressive Sequence Modelling with Backtracking" class="ltx_ref"><span class="ltx_text ltx_ref_tag">3</span></a>) in the terminal states with <span id="S4.p4.7.2" class="ltx_text ltx_font_typewriter">&lt;eos&gt;</span> tokens. Analytically computing this infinite sum results in the terms in <math id="S4.p4.2.m2.1" class="ltx_Math" alttext="{\hat{\cal J}}_{\text{eos}}(\ell_{\theta})" display="inline"><semantics id="S4.p4.2.m2.1a"><mrow id="S4.p4.2.m2.1.1" xref="S4.p4.2.m2.1.1.cmml"><msub id="S4.p4.2.m2.1.1.3" xref="S4.p4.2.m2.1.1.3.cmml"><mover accent="true" id="S4.p4.2.m2.1.1.3.2" xref="S4.p4.2.m2.1.1.3.2.cmml"><mi class="ltx_font_mathcaligraphic" id="S4.p4.2.m2.1.1.3.2.2" xref="S4.p4.2.m2.1.1.3.2.2.cmml">𝒥</mi><mo id="S4.p4.2.m2.1.1.3.2.1" xref="S4.p4.2.m2.1.1.3.2.1.cmml">^</mo></mover><mtext id="S4.p4.2.m2.1.1.3.3" xref="S4.p4.2.m2.1.1.3.3a.cmml">eos</mtext></msub><mo lspace="0em" rspace="0em" id="S4.p4.2.m2.1.1.2" xref="S4.p4.2.m2.1.1.2.cmml">​</mo><mrow id="S4.p4.2.m2.1.1.1.1" xref="S4.p4.2.m2.1.1.1.1.1.cmml"><mo stretchy="false" id="S4.p4.2.m2.1.1.1.1.2" xref="S4.p4.2.m2.1.1.1.1.1.cmml">(</mo><msub id="S4.p4.2.m2.1.1.1.1.1" xref="S4.p4.2.m2.1.1.1.1.1.cmml"><mi mathvariant="normal" id="S4.p4.2.m2.1.1.1.1.1.2" xref="S4.p4.2.m2.1.1.1.1.1.2.cmml">ℓ</mi><mi id="S4.p4.2.m2.1.1.1.1.1.3" xref="S4.p4.2.m2.1.1.1.1.1.3.cmml">θ</mi></msub><mo stretchy="false" id="S4.p4.2.m2.1.1.1.1.3" xref="S4.p4.2.m2.1.1.1.1.1.cmml">)</mo></mrow></mrow><annotation-xml encoding="MathML-Content" id="S4.p4.2.m2.1b"><apply id="S4.p4.2.m2.1.1.cmml" xref="S4.p4.2.m2.1.1"><times id="S4.p4.2.m2.1.1.2.cmml" xref="S4.p4.2.m2.1.1.2"></times><apply id="S4.p4.2.m2.1.1.3.cmml" xref="S4.p4.2.m2.1.1.3"><csymbol cd="ambiguous" id="S4.p4.2.m2.1.1.3.1.cmml" xref="S4.p4.2.m2.1.1.3">subscript</csymbol><apply id="S4.p4.2.m2.1.1.3.2.cmml" xref="S4.p4.2.m2.1.1.3.2"><ci id="S4.p4.2.m2.1.1.3.2.1.cmml" xref="S4.p4.2.m2.1.1.3.2.1">^</ci><ci id="S4.p4.2.m2.1.1.3.2.2.cmml" xref="S4.p4.2.m2.1.1.3.2.2">𝒥</ci></apply><ci id="S4.p4.2.m2.1.1.3.3a.cmml" xref="S4.p4.2.m2.1.1.3.3"><mtext mathsize="70%" id="S4.p4.2.m2.1.1.3.3.cmml" xref="S4.p4.2.m2.1.1.3.3">eos</mtext></ci></apply><apply id="S4.p4.2.m2.1.1.1.1.1.cmml" xref="S4.p4.2.m2.1.1.1.1"><csymbol cd="ambiguous" id="S4.p4.2.m2.1.1.1.1.1.1.cmml" xref="S4.p4.2.m2.1.1.1.1">subscript</csymbol><ci id="S4.p4.2.m2.1.1.1.1.1.2.cmml" xref="S4.p4.2.m2.1.1.1.1.1.2">ℓ</ci><ci id="S4.p4.2.m2.1.1.1.1.1.3.cmml" xref="S4.p4.2.m2.1.1.1.1.1.3">𝜃</ci></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="S4.p4.2.m2.1c">{\hat{\cal J}}_{\text{eos}}(\ell_{\theta})</annotation></semantics></math>. It has also been shown <cite class="ltx_cite ltx_citemacro_citep">[<a href="#bib.bib1" title="" class="ltx_ref">1</a>]</cite> that minimizing the the divergence of mixtures <math id="S4.p4.3.m3.2" class="ltx_Math" alttext="D_{\chi^{2}}(\rho_{\text{data}},(\rho_{\text{data}}+\rho_{\theta})/2)" display="inline"><semantics id="S4.p4.3.m3.2a"><mrow id="S4.p4.3.m3.2.2" xref="S4.p4.3.m3.2.2.cmml"><msub id="S4.p4.3.m3.2.2.4" xref="S4.p4.3.m3.2.2.4.cmml"><mi id="S4.p4.3.m3.2.2.4.2" xref="S4.p4.3.m3.2.2.4.2.cmml">D</mi><msup id="S4.p4.3.m3.2.2.4.3" xref="S4.p4.3.m3.2.2.4.3.cmml"><mi id="S4.p4.3.m3.2.2.4.3.2" xref="S4.p4.3.m3.2.2.4.3.2.cmml">χ</mi><mn id="S4.p4.3.m3.2.2.4.3.3" xref="S4.p4.3.m3.2.2.4.3.3.cmml">2</mn></msup></msub><mo lspace="0em" rspace="0em" id="S4.p4.3.m3.2.2.3" xref="S4.p4.3.m3.2.2.3.cmml">​</mo><mrow id="S4.p4.3.m3.2.2.2.2" xref="S4.p4.3.m3.2.2.2.3.cmml"><mo stretchy="false" id="S4.p4.3.m3.2.2.2.2.3" xref="S4.p4.3.m3.2.2.2.3.cmml">(</mo><msub id="S4.p4.3.m3.1.1.1.1.1" xref="S4.p4.3.m3.1.1.1.1.1.cmml"><mi id="S4.p4.3.m3.1.1.1.1.1.2" xref="S4.p4.3.m3.1.1.1.1.1.2.cmml">ρ</mi><mtext id="S4.p4.3.m3.1.1.1.1.1.3" xref="S4.p4.3.m3.1.1.1.1.1.3a.cmml">data</mtext></msub><mo id="S4.p4.3.m3.2.2.2.2.4" xref="S4.p4.3.m3.2.2.2.3.cmml">,</mo><mrow id="S4.p4.3.m3.2.2.2.2.2" xref="S4.p4.3.m3.2.2.2.2.2.cmml"><mrow id="S4.p4.3.m3.2.2.2.2.2.1.1" xref="S4.p4.3.m3.2.2.2.2.2.1.1.1.cmml"><mo stretchy="false" id="S4.p4.3.m3.2.2.2.2.2.1.1.2" xref="S4.p4.3.m3.2.2.2.2.2.1.1.1.cmml">(</mo><mrow id="S4.p4.3.m3.2.2.2.2.2.1.1.1" xref="S4.p4.3.m3.2.2.2.2.2.1.1.1.cmml"><msub id="S4.p4.3.m3.2.2.2.2.2.1.1.1.2" xref="S4.p4.3.m3.2.2.2.2.2.1.1.1.2.cmml"><mi id="S4.p4.3.m3.2.2.2.2.2.1.1.1.2.2" xref="S4.p4.3.m3.2.2.2.2.2.1.1.1.2.2.cmml">ρ</mi><mtext id="S4.p4.3.m3.2.2.2.2.2.1.1.1.2.3" xref="S4.p4.3.m3.2.2.2.2.2.1.1.1.2.3a.cmml">data</mtext></msub><mo id="S4.p4.3.m3.2.2.2.2.2.1.1.1.1" xref="S4.p4.3.m3.2.2.2.2.2.1.1.1.1.cmml">+</mo><msub id="S4.p4.3.m3.2.2.2.2.2.1.1.1.3" xref="S4.p4.3.m3.2.2.2.2.2.1.1.1.3.cmml"><mi id="S4.p4.3.m3.2.2.2.2.2.1.1.1.3.2" xref="S4.p4.3.m3.2.2.2.2.2.1.1.1.3.2.cmml">ρ</mi><mi id="S4.p4.3.m3.2.2.2.2.2.1.1.1.3.3" xref="S4.p4.3.m3.2.2.2.2.2.1.1.1.3.3.cmml">θ</mi></msub></mrow><mo stretchy="false" id="S4.p4.3.m3.2.2.2.2.2.1.1.3" xref="S4.p4.3.m3.2.2.2.2.2.1.1.1.cmml">)</mo></mrow><mo id="S4.p4.3.m3.2.2.2.2.2.2" xref="S4.p4.3.m3.2.2.2.2.2.2.cmml">/</mo><mn id="S4.p4.3.m3.2.2.2.2.2.3" xref="S4.p4.3.m3.2.2.2.2.2.3.cmml">2</mn></mrow><mo stretchy="false" id="S4.p4.3.m3.2.2.2.2.5" xref="S4.p4.3.m3.2.2.2.3.cmml">)</mo></mrow></mrow><annotation-xml encoding="MathML-Content" id="S4.p4.3.m3.2b"><apply id="S4.p4.3.m3.2.2.cmml" xref="S4.p4.3.m3.2.2"><times id="S4.p4.3.m3.2.2.3.cmml" xref="S4.p4.3.m3.2.2.3"></times><apply id="S4.p4.3.m3.2.2.4.cmml" xref="S4.p4.3.m3.2.2.4"><csymbol cd="ambiguous" id="S4.p4.3.m3.2.2.4.1.cmml" xref="S4.p4.3.m3.2.2.4">subscript</csymbol><ci id="S4.p4.3.m3.2.2.4.2.cmml" xref="S4.p4.3.m3.2.2.4.2">𝐷</ci><apply id="S4.p4.3.m3.2.2.4.3.cmml" xref="S4.p4.3.m3.2.2.4.3"><csymbol cd="ambiguous" id="S4.p4.3.m3.2.2.4.3.1.cmml" xref="S4.p4.3.m3.2.2.4.3">superscript</csymbol><ci id="S4.p4.3.m3.2.2.4.3.2.cmml" xref="S4.p4.3.m3.2.2.4.3.2">𝜒</ci><cn type="integer" id="S4.p4.3.m3.2.2.4.3.3.cmml" xref="S4.p4.3.m3.2.2.4.3.3">2</cn></apply></apply><interval closure="open" id="S4.p4.3.m3.2.2.2.3.cmml" xref="S4.p4.3.m3.2.2.2.2"><apply id="S4.p4.3.m3.1.1.1.1.1.cmml" xref="S4.p4.3.m3.1.1.1.1.1"><csymbol cd="ambiguous" id="S4.p4.3.m3.1.1.1.1.1.1.cmml" xref="S4.p4.3.m3.1.1.1.1.1">subscript</csymbol><ci id="S4.p4.3.m3.1.1.1.1.1.2.cmml" xref="S4.p4.3.m3.1.1.1.1.1.2">𝜌</ci><ci id="S4.p4.3.m3.1.1.1.1.1.3a.cmml" xref="S4.p4.3.m3.1.1.1.1.1.3"><mtext mathsize="70%" id="S4.p4.3.m3.1.1.1.1.1.3.cmml" xref="S4.p4.3.m3.1.1.1.1.1.3">data</mtext></ci></apply><apply id="S4.p4.3.m3.2.2.2.2.2.cmml" xref="S4.p4.3.m3.2.2.2.2.2"><divide id="S4.p4.3.m3.2.2.2.2.2.2.cmml" xref="S4.p4.3.m3.2.2.2.2.2.2"></divide><apply id="S4.p4.3.m3.2.2.2.2.2.1.1.1.cmml" xref="S4.p4.3.m3.2.2.2.2.2.1.1"><plus id="S4.p4.3.m3.2.2.2.2.2.1.1.1.1.cmml" xref="S4.p4.3.m3.2.2.2.2.2.1.1.1.1"></plus><apply id="S4.p4.3.m3.2.2.2.2.2.1.1.1.2.cmml" xref="S4.p4.3.m3.2.2.2.2.2.1.1.1.2"><csymbol cd="ambiguous" id="S4.p4.3.m3.2.2.2.2.2.1.1.1.2.1.cmml" xref="S4.p4.3.m3.2.2.2.2.2.1.1.1.2">subscript</csymbol><ci id="S4.p4.3.m3.2.2.2.2.2.1.1.1.2.2.cmml" xref="S4.p4.3.m3.2.2.2.2.2.1.1.1.2.2">𝜌</ci><ci id="S4.p4.3.m3.2.2.2.2.2.1.1.1.2.3a.cmml" xref="S4.p4.3.m3.2.2.2.2.2.1.1.1.2.3"><mtext mathsize="70%" id="S4.p4.3.m3.2.2.2.2.2.1.1.1.2.3.cmml" xref="S4.p4.3.m3.2.2.2.2.2.1.1.1.2.3">data</mtext></ci></apply><apply id="S4.p4.3.m3.2.2.2.2.2.1.1.1.3.cmml" xref="S4.p4.3.m3.2.2.2.2.2.1.1.1.3"><csymbol cd="ambiguous" id="S4.p4.3.m3.2.2.2.2.2.1.1.1.3.1.cmml" xref="S4.p4.3.m3.2.2.2.2.2.1.1.1.3">subscript</csymbol><ci id="S4.p4.3.m3.2.2.2.2.2.1.1.1.3.2.cmml" xref="S4.p4.3.m3.2.2.2.2.2.1.1.1.3.2">𝜌</ci><ci id="S4.p4.3.m3.2.2.2.2.2.1.1.1.3.3.cmml" xref="S4.p4.3.m3.2.2.2.2.2.1.1.1.3.3">𝜃</ci></apply></apply><cn type="integer" id="S4.p4.3.m3.2.2.2.2.2.3.cmml" xref="S4.p4.3.m3.2.2.2.2.2.3">2</cn></apply></interval></apply></annotation-xml><annotation encoding="application/x-tex" id="S4.p4.3.m3.2c">D_{\chi^{2}}(\rho_{\text{data}},(\rho_{\text{data}}+\rho_{\theta})/2)</annotation></semantics></math> is more effective than simply minimizing the <math id="S4.p4.4.m4.1" class="ltx_Math" alttext="\chi^{2}" display="inline"><semantics id="S4.p4.4.m4.1a"><msup id="S4.p4.4.m4.1.1" xref="S4.p4.4.m4.1.1.cmml"><mi id="S4.p4.4.m4.1.1.2" xref="S4.p4.4.m4.1.1.2.cmml">χ</mi><mn id="S4.p4.4.m4.1.1.3" xref="S4.p4.4.m4.1.1.3.cmml">2</mn></msup><annotation-xml encoding="MathML-Content" id="S4.p4.4.m4.1b"><apply id="S4.p4.4.m4.1.1.cmml" xref="S4.p4.4.m4.1.1"><csymbol cd="ambiguous" id="S4.p4.4.m4.1.1.1.cmml" xref="S4.p4.4.m4.1.1">superscript</csymbol><ci id="S4.p4.4.m4.1.1.2.cmml" xref="S4.p4.4.m4.1.1.2">𝜒</ci><cn type="integer" id="S4.p4.4.m4.1.1.3.cmml" xref="S4.p4.4.m4.1.1.3">2</cn></apply></annotation-xml><annotation encoding="application/x-tex" id="S4.p4.4.m4.1c">\chi^{2}</annotation></semantics></math>-divergence between model and data. This can be implemented by calculating the loss for the <math id="S4.p4.5.m5.1" class="ltx_Math" alttext="\chi^{2}" display="inline"><semantics id="S4.p4.5.m5.1a"><msup id="S4.p4.5.m5.1.1" xref="S4.p4.5.m5.1.1.cmml"><mi id="S4.p4.5.m5.1.1.2" xref="S4.p4.5.m5.1.1.2.cmml">χ</mi><mn id="S4.p4.5.m5.1.1.3" xref="S4.p4.5.m5.1.1.3.cmml">2</mn></msup><annotation-xml encoding="MathML-Content" id="S4.p4.5.m5.1b"><apply id="S4.p4.5.m5.1.1.cmml" xref="S4.p4.5.m5.1.1"><csymbol cd="ambiguous" id="S4.p4.5.m5.1.1.1.cmml" xref="S4.p4.5.m5.1.1">superscript</csymbol><ci id="S4.p4.5.m5.1.1.2.cmml" xref="S4.p4.5.m5.1.1.2">𝜒</ci><cn type="integer" id="S4.p4.5.m5.1.1.3.cmml" xref="S4.p4.5.m5.1.1.3">2</cn></apply></annotation-xml><annotation encoding="application/x-tex" id="S4.p4.5.m5.1c">\chi^{2}</annotation></semantics></math>-divergence (with <math id="S4.p4.6.m6.1" class="ltx_Math" alttext="\phi(x)=x-\tfrac{1}{4\alpha}x^{2}" display="inline"><semantics id="S4.p4.6.m6.1a"><mrow id="S4.p4.6.m6.1.2" xref="S4.p4.6.m6.1.2.cmml"><mrow id="S4.p4.6.m6.1.2.2" xref="S4.p4.6.m6.1.2.2.cmml"><mi id="S4.p4.6.m6.1.2.2.2" xref="S4.p4.6.m6.1.2.2.2.cmml">ϕ</mi><mo lspace="0em" rspace="0em" id="S4.p4.6.m6.1.2.2.1" xref="S4.p4.6.m6.1.2.2.1.cmml">​</mo><mrow id="S4.p4.6.m6.1.2.2.3.2" xref="S4.p4.6.m6.1.2.2.cmml"><mo stretchy="false" id="S4.p4.6.m6.1.2.2.3.2.1" xref="S4.p4.6.m6.1.2.2.cmml">(</mo><mi id="S4.p4.6.m6.1.1" xref="S4.p4.6.m6.1.1.cmml">x</mi><mo stretchy="false" id="S4.p4.6.m6.1.2.2.3.2.2" xref="S4.p4.6.m6.1.2.2.cmml">)</mo></mrow></mrow><mo id="S4.p4.6.m6.1.2.1" xref="S4.p4.6.m6.1.2.1.cmml">=</mo><mrow id="S4.p4.6.m6.1.2.3" xref="S4.p4.6.m6.1.2.3.cmml"><mi id="S4.p4.6.m6.1.2.3.2" xref="S4.p4.6.m6.1.2.3.2.cmml">x</mi><mo id="S4.p4.6.m6.1.2.3.1" xref="S4.p4.6.m6.1.2.3.1.cmml">−</mo><mrow id="S4.p4.6.m6.1.2.3.3" xref="S4.p4.6.m6.1.2.3.3.cmml"><mfrac id="S4.p4.6.m6.1.2.3.3.2" xref="S4.p4.6.m6.1.2.3.3.2.cmml"><mn id="S4.p4.6.m6.1.2.3.3.2.2" xref="S4.p4.6.m6.1.2.3.3.2.2.cmml">1</mn><mrow id="S4.p4.6.m6.1.2.3.3.2.3" xref="S4.p4.6.m6.1.2.3.3.2.3.cmml"><mn id="S4.p4.6.m6.1.2.3.3.2.3.2" xref="S4.p4.6.m6.1.2.3.3.2.3.2.cmml">4</mn><mo lspace="0em" rspace="0em" id="S4.p4.6.m6.1.2.3.3.2.3.1" xref="S4.p4.6.m6.1.2.3.3.2.3.1.cmml">​</mo><mi id="S4.p4.6.m6.1.2.3.3.2.3.3" xref="S4.p4.6.m6.1.2.3.3.2.3.3.cmml">α</mi></mrow></mfrac><mo lspace="0em" rspace="0em" id="S4.p4.6.m6.1.2.3.3.1" xref="S4.p4.6.m6.1.2.3.3.1.cmml">​</mo><msup id="S4.p4.6.m6.1.2.3.3.3" xref="S4.p4.6.m6.1.2.3.3.3.cmml"><mi id="S4.p4.6.m6.1.2.3.3.3.2" xref="S4.p4.6.m6.1.2.3.3.3.2.cmml">x</mi><mn id="S4.p4.6.m6.1.2.3.3.3.3" xref="S4.p4.6.m6.1.2.3.3.3.3.cmml">2</mn></msup></mrow></mrow></mrow><annotation-xml encoding="MathML-Content" id="S4.p4.6.m6.1b"><apply id="S4.p4.6.m6.1.2.cmml" xref="S4.p4.6.m6.1.2"><eq id="S4.p4.6.m6.1.2.1.cmml" xref="S4.p4.6.m6.1.2.1"></eq><apply id="S4.p4.6.m6.1.2.2.cmml" xref="S4.p4.6.m6.1.2.2"><times id="S4.p4.6.m6.1.2.2.1.cmml" xref="S4.p4.6.m6.1.2.2.1"></times><ci id="S4.p4.6.m6.1.2.2.2.cmml" xref="S4.p4.6.m6.1.2.2.2">italic-ϕ</ci><ci id="S4.p4.6.m6.1.1.cmml" xref="S4.p4.6.m6.1.1">𝑥</ci></apply><apply id="S4.p4.6.m6.1.2.3.cmml" xref="S4.p4.6.m6.1.2.3"><minus id="S4.p4.6.m6.1.2.3.1.cmml" xref="S4.p4.6.m6.1.2.3.1"></minus><ci id="S4.p4.6.m6.1.2.3.2.cmml" xref="S4.p4.6.m6.1.2.3.2">𝑥</ci><apply id="S4.p4.6.m6.1.2.3.3.cmml" xref="S4.p4.6.m6.1.2.3.3"><times id="S4.p4.6.m6.1.2.3.3.1.cmml" xref="S4.p4.6.m6.1.2.3.3.1"></times><apply id="S4.p4.6.m6.1.2.3.3.2.cmml" xref="S4.p4.6.m6.1.2.3.3.2"><divide id="S4.p4.6.m6.1.2.3.3.2.1.cmml" xref="S4.p4.6.m6.1.2.3.3.2"></divide><cn type="integer" id="S4.p4.6.m6.1.2.3.3.2.2.cmml" xref="S4.p4.6.m6.1.2.3.3.2.2">1</cn><apply id="S4.p4.6.m6.1.2.3.3.2.3.cmml" xref="S4.p4.6.m6.1.2.3.3.2.3"><times id="S4.p4.6.m6.1.2.3.3.2.3.1.cmml" xref="S4.p4.6.m6.1.2.3.3.2.3.1"></times><cn type="integer" id="S4.p4.6.m6.1.2.3.3.2.3.2.cmml" xref="S4.p4.6.m6.1.2.3.3.2.3.2">4</cn><ci id="S4.p4.6.m6.1.2.3.3.2.3.3.cmml" xref="S4.p4.6.m6.1.2.3.3.2.3.3">𝛼</ci></apply></apply><apply id="S4.p4.6.m6.1.2.3.3.3.cmml" xref="S4.p4.6.m6.1.2.3.3.3"><csymbol cd="ambiguous" id="S4.p4.6.m6.1.2.3.3.3.1.cmml" xref="S4.p4.6.m6.1.2.3.3.3">superscript</csymbol><ci id="S4.p4.6.m6.1.2.3.3.3.2.cmml" xref="S4.p4.6.m6.1.2.3.3.3.2">𝑥</ci><cn type="integer" id="S4.p4.6.m6.1.2.3.3.3.3.cmml" xref="S4.p4.6.m6.1.2.3.3.3.3">2</cn></apply></apply></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="S4.p4.6.m6.1c">\phi(x)=x-\tfrac{1}{4\alpha}x^{2}</annotation></semantics></math>) and adding an additional regularization term <math id="S4.p4.7.m7.4" class="ltx_Math" alttext="\mathbb{E}_{s,a,s^{\prime}\sim\rho_{\theta}}\left[(\alpha\ell_{\theta}(a|s)-\gamma\alpha V(s^{\prime}))^{2}\right]" display="inline"><semantics id="S4.p4.7.m7.4a"><mrow id="S4.p4.7.m7.4.4" xref="S4.p4.7.m7.4.4.cmml"><msub id="S4.p4.7.m7.4.4.3" xref="S4.p4.7.m7.4.4.3.cmml"><mi id="S4.p4.7.m7.4.4.3.2" xref="S4.p4.7.m7.4.4.3.2.cmml">𝔼</mi><mrow id="S4.p4.7.m7.3.3.3" xref="S4.p4.7.m7.3.3.3.cmml"><mrow id="S4.p4.7.m7.3.3.3.3.1" xref="S4.p4.7.m7.3.3.3.3.2.cmml"><mi id="S4.p4.7.m7.1.1.1.1" xref="S4.p4.7.m7.1.1.1.1.cmml">s</mi><mo id="S4.p4.7.m7.3.3.3.3.1.2" xref="S4.p4.7.m7.3.3.3.3.2.cmml">,</mo><mi id="S4.p4.7.m7.2.2.2.2" xref="S4.p4.7.m7.2.2.2.2.cmml">a</mi><mo id="S4.p4.7.m7.3.3.3.3.1.3" xref="S4.p4.7.m7.3.3.3.3.2.cmml">,</mo><msup id="S4.p4.7.m7.3.3.3.3.1.1" xref="S4.p4.7.m7.3.3.3.3.1.1.cmml"><mi id="S4.p4.7.m7.3.3.3.3.1.1.2" xref="S4.p4.7.m7.3.3.3.3.1.1.2.cmml">s</mi><mo id="S4.p4.7.m7.3.3.3.3.1.1.3" xref="S4.p4.7.m7.3.3.3.3.1.1.3.cmml">′</mo></msup></mrow><mo id="S4.p4.7.m7.3.3.3.4" xref="S4.p4.7.m7.3.3.3.4.cmml">∼</mo><msub id="S4.p4.7.m7.3.3.3.5" xref="S4.p4.7.m7.3.3.3.5.cmml"><mi id="S4.p4.7.m7.3.3.3.5.2" xref="S4.p4.7.m7.3.3.3.5.2.cmml">ρ</mi><mi id="S4.p4.7.m7.3.3.3.5.3" xref="S4.p4.7.m7.3.3.3.5.3.cmml">θ</mi></msub></mrow></msub><mo lspace="0em" rspace="0em" id="S4.p4.7.m7.4.4.2" xref="S4.p4.7.m7.4.4.2.cmml">​</mo><mrow id="S4.p4.7.m7.4.4.1.1" xref="S4.p4.7.m7.4.4.1.2.cmml"><mo id="S4.p4.7.m7.4.4.1.1.2" xref="S4.p4.7.m7.4.4.1.2.1.cmml">[</mo><msup id="S4.p4.7.m7.4.4.1.1.1" xref="S4.p4.7.m7.4.4.1.1.1.cmml"><mrow id="S4.p4.7.m7.4.4.1.1.1.1.1" xref="S4.p4.7.m7.4.4.1.1.1.1.1.1.cmml"><mo stretchy="false" id="S4.p4.7.m7.4.4.1.1.1.1.1.2" xref="S4.p4.7.m7.4.4.1.1.1.1.1.1.cmml">(</mo><mrow id="S4.p4.7.m7.4.4.1.1.1.1.1.1" xref="S4.p4.7.m7.4.4.1.1.1.1.1.1.cmml"><mrow id="S4.p4.7.m7.4.4.1.1.1.1.1.1.1" xref="S4.p4.7.m7.4.4.1.1.1.1.1.1.1.cmml"><mi id="S4.p4.7.m7.4.4.1.1.1.1.1.1.1.3" xref="S4.p4.7.m7.4.4.1.1.1.1.1.1.1.3.cmml">α</mi><mo lspace="0em" rspace="0em" id="S4.p4.7.m7.4.4.1.1.1.1.1.1.1.2" xref="S4.p4.7.m7.4.4.1.1.1.1.1.1.1.2.cmml">​</mo><msub id="S4.p4.7.m7.4.4.1.1.1.1.1.1.1.4" xref="S4.p4.7.m7.4.4.1.1.1.1.1.1.1.4.cmml"><mi mathvariant="normal" id="S4.p4.7.m7.4.4.1.1.1.1.1.1.1.4.2" xref="S4.p4.7.m7.4.4.1.1.1.1.1.1.1.4.2.cmml">ℓ</mi><mi id="S4.p4.7.m7.4.4.1.1.1.1.1.1.1.4.3" xref="S4.p4.7.m7.4.4.1.1.1.1.1.1.1.4.3.cmml">θ</mi></msub><mo lspace="0em" rspace="0em" id="S4.p4.7.m7.4.4.1.1.1.1.1.1.1.2a" xref="S4.p4.7.m7.4.4.1.1.1.1.1.1.1.2.cmml">​</mo><mrow id="S4.p4.7.m7.4.4.1.1.1.1.1.1.1.1.1" xref="S4.p4.7.m7.4.4.1.1.1.1.1.1.1.1.1.1.cmml"><mo stretchy="false" id="S4.p4.7.m7.4.4.1.1.1.1.1.1.1.1.1.2" xref="S4.p4.7.m7.4.4.1.1.1.1.1.1.1.1.1.1.cmml">(</mo><mrow id="S4.p4.7.m7.4.4.1.1.1.1.1.1.1.1.1.1" xref="S4.p4.7.m7.4.4.1.1.1.1.1.1.1.1.1.1.cmml"><mi id="S4.p4.7.m7.4.4.1.1.1.1.1.1.1.1.1.1.2" xref="S4.p4.7.m7.4.4.1.1.1.1.1.1.1.1.1.1.2.cmml">a</mi><mo fence="false" id="S4.p4.7.m7.4.4.1.1.1.1.1.1.1.1.1.1.1" xref="S4.p4.7.m7.4.4.1.1.1.1.1.1.1.1.1.1.1.cmml">|</mo><mi id="S4.p4.7.m7.4.4.1.1.1.1.1.1.1.1.1.1.3" xref="S4.p4.7.m7.4.4.1.1.1.1.1.1.1.1.1.1.3.cmml">s</mi></mrow><mo stretchy="false" id="S4.p4.7.m7.4.4.1.1.1.1.1.1.1.1.1.3" xref="S4.p4.7.m7.4.4.1.1.1.1.1.1.1.1.1.1.cmml">)</mo></mrow></mrow><mo id="S4.p4.7.m7.4.4.1.1.1.1.1.1.3" xref="S4.p4.7.m7.4.4.1.1.1.1.1.1.3.cmml">−</mo><mrow id="S4.p4.7.m7.4.4.1.1.1.1.1.1.2" xref="S4.p4.7.m7.4.4.1.1.1.1.1.1.2.cmml"><mi id="S4.p4.7.m7.4.4.1.1.1.1.1.1.2.3" xref="S4.p4.7.m7.4.4.1.1.1.1.1.1.2.3.cmml">γ</mi><mo lspace="0em" rspace="0em" id="S4.p4.7.m7.4.4.1.1.1.1.1.1.2.2" xref="S4.p4.7.m7.4.4.1.1.1.1.1.1.2.2.cmml">​</mo><mi id="S4.p4.7.m7.4.4.1.1.1.1.1.1.2.4" xref="S4.p4.7.m7.4.4.1.1.1.1.1.1.2.4.cmml">α</mi><mo lspace="0em" rspace="0em" id="S4.p4.7.m7.4.4.1.1.1.1.1.1.2.2a" xref="S4.p4.7.m7.4.4.1.1.1.1.1.1.2.2.cmml">​</mo><mi id="S4.p4.7.m7.4.4.1.1.1.1.1.1.2.5" xref="S4.p4.7.m7.4.4.1.1.1.1.1.1.2.5.cmml">V</mi><mo lspace="0em" rspace="0em" id="S4.p4.7.m7.4.4.1.1.1.1.1.1.2.2b" xref="S4.p4.7.m7.4.4.1.1.1.1.1.1.2.2.cmml">​</mo><mrow id="S4.p4.7.m7.4.4.1.1.1.1.1.1.2.1.1" xref="S4.p4.7.m7.4.4.1.1.1.1.1.1.2.1.1.1.cmml"><mo stretchy="false" id="S4.p4.7.m7.4.4.1.1.1.1.1.1.2.1.1.2" xref="S4.p4.7.m7.4.4.1.1.1.1.1.1.2.1.1.1.cmml">(</mo><msup id="S4.p4.7.m7.4.4.1.1.1.1.1.1.2.1.1.1" xref="S4.p4.7.m7.4.4.1.1.1.1.1.1.2.1.1.1.cmml"><mi id="S4.p4.7.m7.4.4.1.1.1.1.1.1.2.1.1.1.2" xref="S4.p4.7.m7.4.4.1.1.1.1.1.1.2.1.1.1.2.cmml">s</mi><mo id="S4.p4.7.m7.4.4.1.1.1.1.1.1.2.1.1.1.3" xref="S4.p4.7.m7.4.4.1.1.1.1.1.1.2.1.1.1.3.cmml">′</mo></msup><mo stretchy="false" id="S4.p4.7.m7.4.4.1.1.1.1.1.1.2.1.1.3" xref="S4.p4.7.m7.4.4.1.1.1.1.1.1.2.1.1.1.cmml">)</mo></mrow></mrow></mrow><mo stretchy="false" id="S4.p4.7.m7.4.4.1.1.1.1.1.3" xref="S4.p4.7.m7.4.4.1.1.1.1.1.1.cmml">)</mo></mrow><mn id="S4.p4.7.m7.4.4.1.1.1.3" xref="S4.p4.7.m7.4.4.1.1.1.3.cmml">2</mn></msup><mo id="S4.p4.7.m7.4.4.1.1.3" xref="S4.p4.7.m7.4.4.1.2.1.cmml">]</mo></mrow></mrow><annotation-xml encoding="MathML-Content" id="S4.p4.7.m7.4b"><apply id="S4.p4.7.m7.4.4.cmml" xref="S4.p4.7.m7.4.4"><times id="S4.p4.7.m7.4.4.2.cmml" xref="S4.p4.7.m7.4.4.2"></times><apply id="S4.p4.7.m7.4.4.3.cmml" xref="S4.p4.7.m7.4.4.3"><csymbol cd="ambiguous" id="S4.p4.7.m7.4.4.3.1.cmml" xref="S4.p4.7.m7.4.4.3">subscript</csymbol><ci id="S4.p4.7.m7.4.4.3.2.cmml" xref="S4.p4.7.m7.4.4.3.2">𝔼</ci><apply id="S4.p4.7.m7.3.3.3.cmml" xref="S4.p4.7.m7.3.3.3"><csymbol cd="latexml" id="S4.p4.7.m7.3.3.3.4.cmml" xref="S4.p4.7.m7.3.3.3.4">similar-to</csymbol><list id="S4.p4.7.m7.3.3.3.3.2.cmml" xref="S4.p4.7.m7.3.3.3.3.1"><ci id="S4.p4.7.m7.1.1.1.1.cmml" xref="S4.p4.7.m7.1.1.1.1">𝑠</ci><ci id="S4.p4.7.m7.2.2.2.2.cmml" xref="S4.p4.7.m7.2.2.2.2">𝑎</ci><apply id="S4.p4.7.m7.3.3.3.3.1.1.cmml" xref="S4.p4.7.m7.3.3.3.3.1.1"><csymbol cd="ambiguous" id="S4.p4.7.m7.3.3.3.3.1.1.1.cmml" xref="S4.p4.7.m7.3.3.3.3.1.1">superscript</csymbol><ci id="S4.p4.7.m7.3.3.3.3.1.1.2.cmml" xref="S4.p4.7.m7.3.3.3.3.1.1.2">𝑠</ci><ci id="S4.p4.7.m7.3.3.3.3.1.1.3.cmml" xref="S4.p4.7.m7.3.3.3.3.1.1.3">′</ci></apply></list><apply id="S4.p4.7.m7.3.3.3.5.cmml" xref="S4.p4.7.m7.3.3.3.5"><csymbol cd="ambiguous" id="S4.p4.7.m7.3.3.3.5.1.cmml" xref="S4.p4.7.m7.3.3.3.5">subscript</csymbol><ci id="S4.p4.7.m7.3.3.3.5.2.cmml" xref="S4.p4.7.m7.3.3.3.5.2">𝜌</ci><ci id="S4.p4.7.m7.3.3.3.5.3.cmml" xref="S4.p4.7.m7.3.3.3.5.3">𝜃</ci></apply></apply></apply><apply id="S4.p4.7.m7.4.4.1.2.cmml" xref="S4.p4.7.m7.4.4.1.1"><csymbol cd="latexml" id="S4.p4.7.m7.4.4.1.2.1.cmml" xref="S4.p4.7.m7.4.4.1.1.2">delimited-[]</csymbol><apply id="S4.p4.7.m7.4.4.1.1.1.cmml" xref="S4.p4.7.m7.4.4.1.1.1"><csymbol cd="ambiguous" id="S4.p4.7.m7.4.4.1.1.1.2.cmml" xref="S4.p4.7.m7.4.4.1.1.1">superscript</csymbol><apply id="S4.p4.7.m7.4.4.1.1.1.1.1.1.cmml" xref="S4.p4.7.m7.4.4.1.1.1.1.1"><minus id="S4.p4.7.m7.4.4.1.1.1.1.1.1.3.cmml" xref="S4.p4.7.m7.4.4.1.1.1.1.1.1.3"></minus><apply id="S4.p4.7.m7.4.4.1.1.1.1.1.1.1.cmml" xref="S4.p4.7.m7.4.4.1.1.1.1.1.1.1"><times id="S4.p4.7.m7.4.4.1.1.1.1.1.1.1.2.cmml" xref="S4.p4.7.m7.4.4.1.1.1.1.1.1.1.2"></times><ci id="S4.p4.7.m7.4.4.1.1.1.1.1.1.1.3.cmml" xref="S4.p4.7.m7.4.4.1.1.1.1.1.1.1.3">𝛼</ci><apply id="S4.p4.7.m7.4.4.1.1.1.1.1.1.1.4.cmml" xref="S4.p4.7.m7.4.4.1.1.1.1.1.1.1.4"><csymbol cd="ambiguous" id="S4.p4.7.m7.4.4.1.1.1.1.1.1.1.4.1.cmml" xref="S4.p4.7.m7.4.4.1.1.1.1.1.1.1.4">subscript</csymbol><ci id="S4.p4.7.m7.4.4.1.1.1.1.1.1.1.4.2.cmml" xref="S4.p4.7.m7.4.4.1.1.1.1.1.1.1.4.2">ℓ</ci><ci id="S4.p4.7.m7.4.4.1.1.1.1.1.1.1.4.3.cmml" xref="S4.p4.7.m7.4.4.1.1.1.1.1.1.1.4.3">𝜃</ci></apply><apply id="S4.p4.7.m7.4.4.1.1.1.1.1.1.1.1.1.1.cmml" xref="S4.p4.7.m7.4.4.1.1.1.1.1.1.1.1.1"><csymbol cd="latexml" id="S4.p4.7.m7.4.4.1.1.1.1.1.1.1.1.1.1.1.cmml" xref="S4.p4.7.m7.4.4.1.1.1.1.1.1.1.1.1.1.1">conditional</csymbol><ci id="S4.p4.7.m7.4.4.1.1.1.1.1.1.1.1.1.1.2.cmml" xref="S4.p4.7.m7.4.4.1.1.1.1.1.1.1.1.1.1.2">𝑎</ci><ci id="S4.p4.7.m7.4.4.1.1.1.1.1.1.1.1.1.1.3.cmml" xref="S4.p4.7.m7.4.4.1.1.1.1.1.1.1.1.1.1.3">𝑠</ci></apply></apply><apply id="S4.p4.7.m7.4.4.1.1.1.1.1.1.2.cmml" xref="S4.p4.7.m7.4.4.1.1.1.1.1.1.2"><times id="S4.p4.7.m7.4.4.1.1.1.1.1.1.2.2.cmml" xref="S4.p4.7.m7.4.4.1.1.1.1.1.1.2.2"></times><ci id="S4.p4.7.m7.4.4.1.1.1.1.1.1.2.3.cmml" xref="S4.p4.7.m7.4.4.1.1.1.1.1.1.2.3">𝛾</ci><ci id="S4.p4.7.m7.4.4.1.1.1.1.1.1.2.4.cmml" xref="S4.p4.7.m7.4.4.1.1.1.1.1.1.2.4">𝛼</ci><ci id="S4.p4.7.m7.4.4.1.1.1.1.1.1.2.5.cmml" xref="S4.p4.7.m7.4.4.1.1.1.1.1.1.2.5">𝑉</ci><apply id="S4.p4.7.m7.4.4.1.1.1.1.1.1.2.1.1.1.cmml" xref="S4.p4.7.m7.4.4.1.1.1.1.1.1.2.1.1"><csymbol cd="ambiguous" id="S4.p4.7.m7.4.4.1.1.1.1.1.1.2.1.1.1.1.cmml" xref="S4.p4.7.m7.4.4.1.1.1.1.1.1.2.1.1">superscript</csymbol><ci id="S4.p4.7.m7.4.4.1.1.1.1.1.1.2.1.1.1.2.cmml" xref="S4.p4.7.m7.4.4.1.1.1.1.1.1.2.1.1.1.2">𝑠</ci><ci id="S4.p4.7.m7.4.4.1.1.1.1.1.1.2.1.1.1.3.cmml" xref="S4.p4.7.m7.4.4.1.1.1.1.1.1.2.1.1.1.3">′</ci></apply></apply></apply><cn type="integer" id="S4.p4.7.m7.4.4.1.1.1.3.cmml" xref="S4.p4.7.m7.4.4.1.1.1.3">2</cn></apply></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="S4.p4.7.m7.4c">\mathbb{E}_{s,a,s^{\prime}\sim\rho_{\theta}}\left[(\alpha\ell_{\theta}(a|s)-\gamma\alpha V(s^{\prime}))^{2}\right]</annotation></semantics></math>.</p>
</div>
<div id="S4.p5" class="ltx_para">
<p id="S4.p5.2" class="ltx_p">While the overall objective <math id="S4.p5.1.m1.1" class="ltx_Math" alttext="\mathcal{\hat{J}}(\ell_{\theta})" display="inline"><semantics id="S4.p5.1.m1.1a"><mrow id="S4.p5.1.m1.1.1" xref="S4.p5.1.m1.1.1.cmml"><mover accent="true" id="S4.p5.1.m1.1.1.3" xref="S4.p5.1.m1.1.1.3.cmml"><mi class="ltx_font_mathcaligraphic" id="S4.p5.1.m1.1.1.3.2" xref="S4.p5.1.m1.1.1.3.2.cmml">𝒥</mi><mo id="S4.p5.1.m1.1.1.3.1" xref="S4.p5.1.m1.1.1.3.1.cmml">^</mo></mover><mo lspace="0em" rspace="0em" id="S4.p5.1.m1.1.1.2" xref="S4.p5.1.m1.1.1.2.cmml">​</mo><mrow id="S4.p5.1.m1.1.1.1.1" xref="S4.p5.1.m1.1.1.1.1.1.cmml"><mo stretchy="false" id="S4.p5.1.m1.1.1.1.1.2" xref="S4.p5.1.m1.1.1.1.1.1.cmml">(</mo><msub id="S4.p5.1.m1.1.1.1.1.1" xref="S4.p5.1.m1.1.1.1.1.1.cmml"><mi mathvariant="normal" id="S4.p5.1.m1.1.1.1.1.1.2" xref="S4.p5.1.m1.1.1.1.1.1.2.cmml">ℓ</mi><mi id="S4.p5.1.m1.1.1.1.1.1.3" xref="S4.p5.1.m1.1.1.1.1.1.3.cmml">θ</mi></msub><mo stretchy="false" id="S4.p5.1.m1.1.1.1.1.3" xref="S4.p5.1.m1.1.1.1.1.1.cmml">)</mo></mrow></mrow><annotation-xml encoding="MathML-Content" id="S4.p5.1.m1.1b"><apply id="S4.p5.1.m1.1.1.cmml" xref="S4.p5.1.m1.1.1"><times id="S4.p5.1.m1.1.1.2.cmml" xref="S4.p5.1.m1.1.1.2"></times><apply id="S4.p5.1.m1.1.1.3.cmml" xref="S4.p5.1.m1.1.1.3"><ci id="S4.p5.1.m1.1.1.3.1.cmml" xref="S4.p5.1.m1.1.1.3.1">^</ci><ci id="S4.p5.1.m1.1.1.3.2.cmml" xref="S4.p5.1.m1.1.1.3.2">𝒥</ci></apply><apply id="S4.p5.1.m1.1.1.1.1.1.cmml" xref="S4.p5.1.m1.1.1.1.1"><csymbol cd="ambiguous" id="S4.p5.1.m1.1.1.1.1.1.1.cmml" xref="S4.p5.1.m1.1.1.1.1">subscript</csymbol><ci id="S4.p5.1.m1.1.1.1.1.1.2.cmml" xref="S4.p5.1.m1.1.1.1.1.1.2">ℓ</ci><ci id="S4.p5.1.m1.1.1.1.1.1.3.cmml" xref="S4.p5.1.m1.1.1.1.1.1.3">𝜃</ci></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="S4.p5.1.m1.1c">\mathcal{\hat{J}}(\ell_{\theta})</annotation></semantics></math> may look similar to the MLE estimator due to the <math id="S4.p5.2.m2.4" class="ltx_Math" alttext="\ell_{\theta}(a|s)-\gamma V(s)=\ell_{\theta}(a|s)-\gamma\log\sum_{a^{\prime}\in\mathcal{A}}\exp\ell_{\theta}(a^{\prime}|s^{\prime})" display="inline"><semantics id="S4.p5.2.m2.4a"><mrow id="S4.p5.2.m2.4.4" xref="S4.p5.2.m2.4.4.cmml"><mrow id="S4.p5.2.m2.2.2.1" xref="S4.p5.2.m2.2.2.1.cmml"><mrow id="S4.p5.2.m2.2.2.1.1" xref="S4.p5.2.m2.2.2.1.1.cmml"><msub id="S4.p5.2.m2.2.2.1.1.3" xref="S4.p5.2.m2.2.2.1.1.3.cmml"><mi mathvariant="normal" id="S4.p5.2.m2.2.2.1.1.3.2" xref="S4.p5.2.m2.2.2.1.1.3.2.cmml">ℓ</mi><mi id="S4.p5.2.m2.2.2.1.1.3.3" xref="S4.p5.2.m2.2.2.1.1.3.3.cmml">θ</mi></msub><mo lspace="0em" rspace="0em" id="S4.p5.2.m2.2.2.1.1.2" xref="S4.p5.2.m2.2.2.1.1.2.cmml">​</mo><mrow id="S4.p5.2.m2.2.2.1.1.1.1" xref="S4.p5.2.m2.2.2.1.1.1.1.1.cmml"><mo stretchy="false" id="S4.p5.2.m2.2.2.1.1.1.1.2" xref="S4.p5.2.m2.2.2.1.1.1.1.1.cmml">(</mo><mrow id="S4.p5.2.m2.2.2.1.1.1.1.1" xref="S4.p5.2.m2.2.2.1.1.1.1.1.cmml"><mi id="S4.p5.2.m2.2.2.1.1.1.1.1.2" xref="S4.p5.2.m2.2.2.1.1.1.1.1.2.cmml">a</mi><mo fence="false" id="S4.p5.2.m2.2.2.1.1.1.1.1.1" xref="S4.p5.2.m2.2.2.1.1.1.1.1.1.cmml">|</mo><mi id="S4.p5.2.m2.2.2.1.1.1.1.1.3" xref="S4.p5.2.m2.2.2.1.1.1.1.1.3.cmml">s</mi></mrow><mo stretchy="false" id="S4.p5.2.m2.2.2.1.1.1.1.3" xref="S4.p5.2.m2.2.2.1.1.1.1.1.cmml">)</mo></mrow></mrow><mo id="S4.p5.2.m2.2.2.1.2" xref="S4.p5.2.m2.2.2.1.2.cmml">−</mo><mrow id="S4.p5.2.m2.2.2.1.3" xref="S4.p5.2.m2.2.2.1.3.cmml"><mi id="S4.p5.2.m2.2.2.1.3.2" xref="S4.p5.2.m2.2.2.1.3.2.cmml">γ</mi><mo lspace="0em" rspace="0em" id="S4.p5.2.m2.2.2.1.3.1" xref="S4.p5.2.m2.2.2.1.3.1.cmml">​</mo><mi id="S4.p5.2.m2.2.2.1.3.3" xref="S4.p5.2.m2.2.2.1.3.3.cmml">V</mi><mo lspace="0em" rspace="0em" id="S4.p5.2.m2.2.2.1.3.1a" xref="S4.p5.2.m2.2.2.1.3.1.cmml">​</mo><mrow id="S4.p5.2.m2.2.2.1.3.4.2" xref="S4.p5.2.m2.2.2.1.3.cmml"><mo stretchy="false" id="S4.p5.2.m2.2.2.1.3.4.2.1" xref="S4.p5.2.m2.2.2.1.3.cmml">(</mo><mi id="S4.p5.2.m2.1.1" xref="S4.p5.2.m2.1.1.cmml">s</mi><mo stretchy="false" id="S4.p5.2.m2.2.2.1.3.4.2.2" xref="S4.p5.2.m2.2.2.1.3.cmml">)</mo></mrow></mrow></mrow><mo id="S4.p5.2.m2.4.4.4" xref="S4.p5.2.m2.4.4.4.cmml">=</mo><mrow id="S4.p5.2.m2.4.4.3" xref="S4.p5.2.m2.4.4.3.cmml"><mrow id="S4.p5.2.m2.3.3.2.1" xref="S4.p5.2.m2.3.3.2.1.cmml"><msub id="S4.p5.2.m2.3.3.2.1.3" xref="S4.p5.2.m2.3.3.2.1.3.cmml"><mi mathvariant="normal" id="S4.p5.2.m2.3.3.2.1.3.2" xref="S4.p5.2.m2.3.3.2.1.3.2.cmml">ℓ</mi><mi id="S4.p5.2.m2.3.3.2.1.3.3" xref="S4.p5.2.m2.3.3.2.1.3.3.cmml">θ</mi></msub><mo lspace="0em" rspace="0em" id="S4.p5.2.m2.3.3.2.1.2" xref="S4.p5.2.m2.3.3.2.1.2.cmml">​</mo><mrow id="S4.p5.2.m2.3.3.2.1.1.1" xref="S4.p5.2.m2.3.3.2.1.1.1.1.cmml"><mo stretchy="false" id="S4.p5.2.m2.3.3.2.1.1.1.2" xref="S4.p5.2.m2.3.3.2.1.1.1.1.cmml">(</mo><mrow id="S4.p5.2.m2.3.3.2.1.1.1.1" xref="S4.p5.2.m2.3.3.2.1.1.1.1.cmml"><mi id="S4.p5.2.m2.3.3.2.1.1.1.1.2" xref="S4.p5.2.m2.3.3.2.1.1.1.1.2.cmml">a</mi><mo fence="false" id="S4.p5.2.m2.3.3.2.1.1.1.1.1" xref="S4.p5.2.m2.3.3.2.1.1.1.1.1.cmml">|</mo><mi id="S4.p5.2.m2.3.3.2.1.1.1.1.3" xref="S4.p5.2.m2.3.3.2.1.1.1.1.3.cmml">s</mi></mrow><mo stretchy="false" id="S4.p5.2.m2.3.3.2.1.1.1.3" xref="S4.p5.2.m2.3.3.2.1.1.1.1.cmml">)</mo></mrow></mrow><mo id="S4.p5.2.m2.4.4.3.3" xref="S4.p5.2.m2.4.4.3.3.cmml">−</mo><mrow id="S4.p5.2.m2.4.4.3.2" xref="S4.p5.2.m2.4.4.3.2.cmml"><mi id="S4.p5.2.m2.4.4.3.2.3" xref="S4.p5.2.m2.4.4.3.2.3.cmml">γ</mi><mo lspace="0.167em" rspace="0em" id="S4.p5.2.m2.4.4.3.2.2" xref="S4.p5.2.m2.4.4.3.2.2.cmml">​</mo><mi id="S4.p5.2.m2.4.4.3.2.4" xref="S4.p5.2.m2.4.4.3.2.4.cmml">log</mi><mo lspace="0em" rspace="0em" id="S4.p5.2.m2.4.4.3.2.2a" xref="S4.p5.2.m2.4.4.3.2.2.cmml">​</mo><mrow id="S4.p5.2.m2.4.4.3.2.1" xref="S4.p5.2.m2.4.4.3.2.1.cmml"><msub id="S4.p5.2.m2.4.4.3.2.1.2" xref="S4.p5.2.m2.4.4.3.2.1.2.cmml"><mo id="S4.p5.2.m2.4.4.3.2.1.2.2" xref="S4.p5.2.m2.4.4.3.2.1.2.2.cmml">∑</mo><mrow id="S4.p5.2.m2.4.4.3.2.1.2.3" xref="S4.p5.2.m2.4.4.3.2.1.2.3.cmml"><msup id="S4.p5.2.m2.4.4.3.2.1.2.3.2" xref="S4.p5.2.m2.4.4.3.2.1.2.3.2.cmml"><mi id="S4.p5.2.m2.4.4.3.2.1.2.3.2.2" xref="S4.p5.2.m2.4.4.3.2.1.2.3.2.2.cmml">a</mi><mo id="S4.p5.2.m2.4.4.3.2.1.2.3.2.3" xref="S4.p5.2.m2.4.4.3.2.1.2.3.2.3.cmml">′</mo></msup><mo id="S4.p5.2.m2.4.4.3.2.1.2.3.1" xref="S4.p5.2.m2.4.4.3.2.1.2.3.1.cmml">∈</mo><mi class="ltx_font_mathcaligraphic" id="S4.p5.2.m2.4.4.3.2.1.2.3.3" xref="S4.p5.2.m2.4.4.3.2.1.2.3.3.cmml">𝒜</mi></mrow></msub><mrow id="S4.p5.2.m2.4.4.3.2.1.1" xref="S4.p5.2.m2.4.4.3.2.1.1.cmml"><mrow id="S4.p5.2.m2.4.4.3.2.1.1.3" xref="S4.p5.2.m2.4.4.3.2.1.1.3.cmml"><mi id="S4.p5.2.m2.4.4.3.2.1.1.3.1" xref="S4.p5.2.m2.4.4.3.2.1.1.3.1.cmml">exp</mi><mo lspace="0.167em" id="S4.p5.2.m2.4.4.3.2.1.1.3a" xref="S4.p5.2.m2.4.4.3.2.1.1.3.cmml">⁡</mo><msub id="S4.p5.2.m2.4.4.3.2.1.1.3.2" xref="S4.p5.2.m2.4.4.3.2.1.1.3.2.cmml"><mi mathvariant="normal" id="S4.p5.2.m2.4.4.3.2.1.1.3.2.2" xref="S4.p5.2.m2.4.4.3.2.1.1.3.2.2.cmml">ℓ</mi><mi id="S4.p5.2.m2.4.4.3.2.1.1.3.2.3" xref="S4.p5.2.m2.4.4.3.2.1.1.3.2.3.cmml">θ</mi></msub></mrow><mo lspace="0em" rspace="0em" id="S4.p5.2.m2.4.4.3.2.1.1.2" xref="S4.p5.2.m2.4.4.3.2.1.1.2.cmml">​</mo><mrow id="S4.p5.2.m2.4.4.3.2.1.1.1.1" xref="S4.p5.2.m2.4.4.3.2.1.1.1.1.1.cmml"><mo stretchy="false" id="S4.p5.2.m2.4.4.3.2.1.1.1.1.2" xref="S4.p5.2.m2.4.4.3.2.1.1.1.1.1.cmml">(</mo><mrow id="S4.p5.2.m2.4.4.3.2.1.1.1.1.1" xref="S4.p5.2.m2.4.4.3.2.1.1.1.1.1.cmml"><msup id="S4.p5.2.m2.4.4.3.2.1.1.1.1.1.2" xref="S4.p5.2.m2.4.4.3.2.1.1.1.1.1.2.cmml"><mi id="S4.p5.2.m2.4.4.3.2.1.1.1.1.1.2.2" xref="S4.p5.2.m2.4.4.3.2.1.1.1.1.1.2.2.cmml">a</mi><mo id="S4.p5.2.m2.4.4.3.2.1.1.1.1.1.2.3" xref="S4.p5.2.m2.4.4.3.2.1.1.1.1.1.2.3.cmml">′</mo></msup><mo fence="false" id="S4.p5.2.m2.4.4.3.2.1.1.1.1.1.1" xref="S4.p5.2.m2.4.4.3.2.1.1.1.1.1.1.cmml">|</mo><msup id="S4.p5.2.m2.4.4.3.2.1.1.1.1.1.3" xref="S4.p5.2.m2.4.4.3.2.1.1.1.1.1.3.cmml"><mi id="S4.p5.2.m2.4.4.3.2.1.1.1.1.1.3.2" xref="S4.p5.2.m2.4.4.3.2.1.1.1.1.1.3.2.cmml">s</mi><mo id="S4.p5.2.m2.4.4.3.2.1.1.1.1.1.3.3" xref="S4.p5.2.m2.4.4.3.2.1.1.1.1.1.3.3.cmml">′</mo></msup></mrow><mo stretchy="false" id="S4.p5.2.m2.4.4.3.2.1.1.1.1.3" xref="S4.p5.2.m2.4.4.3.2.1.1.1.1.1.cmml">)</mo></mrow></mrow></mrow></mrow></mrow></mrow><annotation-xml encoding="MathML-Content" id="S4.p5.2.m2.4b"><apply id="S4.p5.2.m2.4.4.cmml" xref="S4.p5.2.m2.4.4"><eq id="S4.p5.2.m2.4.4.4.cmml" xref="S4.p5.2.m2.4.4.4"></eq><apply id="S4.p5.2.m2.2.2.1.cmml" xref="S4.p5.2.m2.2.2.1"><minus id="S4.p5.2.m2.2.2.1.2.cmml" xref="S4.p5.2.m2.2.2.1.2"></minus><apply id="S4.p5.2.m2.2.2.1.1.cmml" xref="S4.p5.2.m2.2.2.1.1"><times id="S4.p5.2.m2.2.2.1.1.2.cmml" xref="S4.p5.2.m2.2.2.1.1.2"></times><apply id="S4.p5.2.m2.2.2.1.1.3.cmml" xref="S4.p5.2.m2.2.2.1.1.3"><csymbol cd="ambiguous" id="S4.p5.2.m2.2.2.1.1.3.1.cmml" xref="S4.p5.2.m2.2.2.1.1.3">subscript</csymbol><ci id="S4.p5.2.m2.2.2.1.1.3.2.cmml" xref="S4.p5.2.m2.2.2.1.1.3.2">ℓ</ci><ci id="S4.p5.2.m2.2.2.1.1.3.3.cmml" xref="S4.p5.2.m2.2.2.1.1.3.3">𝜃</ci></apply><apply id="S4.p5.2.m2.2.2.1.1.1.1.1.cmml" xref="S4.p5.2.m2.2.2.1.1.1.1"><csymbol cd="latexml" id="S4.p5.2.m2.2.2.1.1.1.1.1.1.cmml" xref="S4.p5.2.m2.2.2.1.1.1.1.1.1">conditional</csymbol><ci id="S4.p5.2.m2.2.2.1.1.1.1.1.2.cmml" xref="S4.p5.2.m2.2.2.1.1.1.1.1.2">𝑎</ci><ci id="S4.p5.2.m2.2.2.1.1.1.1.1.3.cmml" xref="S4.p5.2.m2.2.2.1.1.1.1.1.3">𝑠</ci></apply></apply><apply id="S4.p5.2.m2.2.2.1.3.cmml" xref="S4.p5.2.m2.2.2.1.3"><times id="S4.p5.2.m2.2.2.1.3.1.cmml" xref="S4.p5.2.m2.2.2.1.3.1"></times><ci id="S4.p5.2.m2.2.2.1.3.2.cmml" xref="S4.p5.2.m2.2.2.1.3.2">𝛾</ci><ci id="S4.p5.2.m2.2.2.1.3.3.cmml" xref="S4.p5.2.m2.2.2.1.3.3">𝑉</ci><ci id="S4.p5.2.m2.1.1.cmml" xref="S4.p5.2.m2.1.1">𝑠</ci></apply></apply><apply id="S4.p5.2.m2.4.4.3.cmml" xref="S4.p5.2.m2.4.4.3"><minus id="S4.p5.2.m2.4.4.3.3.cmml" xref="S4.p5.2.m2.4.4.3.3"></minus><apply id="S4.p5.2.m2.3.3.2.1.cmml" xref="S4.p5.2.m2.3.3.2.1"><times id="S4.p5.2.m2.3.3.2.1.2.cmml" xref="S4.p5.2.m2.3.3.2.1.2"></times><apply id="S4.p5.2.m2.3.3.2.1.3.cmml" xref="S4.p5.2.m2.3.3.2.1.3"><csymbol cd="ambiguous" id="S4.p5.2.m2.3.3.2.1.3.1.cmml" xref="S4.p5.2.m2.3.3.2.1.3">subscript</csymbol><ci id="S4.p5.2.m2.3.3.2.1.3.2.cmml" xref="S4.p5.2.m2.3.3.2.1.3.2">ℓ</ci><ci id="S4.p5.2.m2.3.3.2.1.3.3.cmml" xref="S4.p5.2.m2.3.3.2.1.3.3">𝜃</ci></apply><apply id="S4.p5.2.m2.3.3.2.1.1.1.1.cmml" xref="S4.p5.2.m2.3.3.2.1.1.1"><csymbol cd="latexml" id="S4.p5.2.m2.3.3.2.1.1.1.1.1.cmml" xref="S4.p5.2.m2.3.3.2.1.1.1.1.1">conditional</csymbol><ci id="S4.p5.2.m2.3.3.2.1.1.1.1.2.cmml" xref="S4.p5.2.m2.3.3.2.1.1.1.1.2">𝑎</ci><ci id="S4.p5.2.m2.3.3.2.1.1.1.1.3.cmml" xref="S4.p5.2.m2.3.3.2.1.1.1.1.3">𝑠</ci></apply></apply><apply id="S4.p5.2.m2.4.4.3.2.cmml" xref="S4.p5.2.m2.4.4.3.2"><times id="S4.p5.2.m2.4.4.3.2.2.cmml" xref="S4.p5.2.m2.4.4.3.2.2"></times><ci id="S4.p5.2.m2.4.4.3.2.3.cmml" xref="S4.p5.2.m2.4.4.3.2.3">𝛾</ci><log id="S4.p5.2.m2.4.4.3.2.4.cmml" xref="S4.p5.2.m2.4.4.3.2.4"></log><apply id="S4.p5.2.m2.4.4.3.2.1.cmml" xref="S4.p5.2.m2.4.4.3.2.1"><apply id="S4.p5.2.m2.4.4.3.2.1.2.cmml" xref="S4.p5.2.m2.4.4.3.2.1.2"><csymbol cd="ambiguous" id="S4.p5.2.m2.4.4.3.2.1.2.1.cmml" xref="S4.p5.2.m2.4.4.3.2.1.2">subscript</csymbol><sum id="S4.p5.2.m2.4.4.3.2.1.2.2.cmml" xref="S4.p5.2.m2.4.4.3.2.1.2.2"></sum><apply id="S4.p5.2.m2.4.4.3.2.1.2.3.cmml" xref="S4.p5.2.m2.4.4.3.2.1.2.3"><in id="S4.p5.2.m2.4.4.3.2.1.2.3.1.cmml" xref="S4.p5.2.m2.4.4.3.2.1.2.3.1"></in><apply id="S4.p5.2.m2.4.4.3.2.1.2.3.2.cmml" xref="S4.p5.2.m2.4.4.3.2.1.2.3.2"><csymbol cd="ambiguous" id="S4.p5.2.m2.4.4.3.2.1.2.3.2.1.cmml" xref="S4.p5.2.m2.4.4.3.2.1.2.3.2">superscript</csymbol><ci id="S4.p5.2.m2.4.4.3.2.1.2.3.2.2.cmml" xref="S4.p5.2.m2.4.4.3.2.1.2.3.2.2">𝑎</ci><ci id="S4.p5.2.m2.4.4.3.2.1.2.3.2.3.cmml" xref="S4.p5.2.m2.4.4.3.2.1.2.3.2.3">′</ci></apply><ci id="S4.p5.2.m2.4.4.3.2.1.2.3.3.cmml" xref="S4.p5.2.m2.4.4.3.2.1.2.3.3">𝒜</ci></apply></apply><apply id="S4.p5.2.m2.4.4.3.2.1.1.cmml" xref="S4.p5.2.m2.4.4.3.2.1.1"><times id="S4.p5.2.m2.4.4.3.2.1.1.2.cmml" xref="S4.p5.2.m2.4.4.3.2.1.1.2"></times><apply id="S4.p5.2.m2.4.4.3.2.1.1.3.cmml" xref="S4.p5.2.m2.4.4.3.2.1.1.3"><exp id="S4.p5.2.m2.4.4.3.2.1.1.3.1.cmml" xref="S4.p5.2.m2.4.4.3.2.1.1.3.1"></exp><apply id="S4.p5.2.m2.4.4.3.2.1.1.3.2.cmml" xref="S4.p5.2.m2.4.4.3.2.1.1.3.2"><csymbol cd="ambiguous" id="S4.p5.2.m2.4.4.3.2.1.1.3.2.1.cmml" xref="S4.p5.2.m2.4.4.3.2.1.1.3.2">subscript</csymbol><ci id="S4.p5.2.m2.4.4.3.2.1.1.3.2.2.cmml" xref="S4.p5.2.m2.4.4.3.2.1.1.3.2.2">ℓ</ci><ci id="S4.p5.2.m2.4.4.3.2.1.1.3.2.3.cmml" xref="S4.p5.2.m2.4.4.3.2.1.1.3.2.3">𝜃</ci></apply></apply><apply id="S4.p5.2.m2.4.4.3.2.1.1.1.1.1.cmml" xref="S4.p5.2.m2.4.4.3.2.1.1.1.1"><csymbol cd="latexml" id="S4.p5.2.m2.4.4.3.2.1.1.1.1.1.1.cmml" xref="S4.p5.2.m2.4.4.3.2.1.1.1.1.1.1">conditional</csymbol><apply id="S4.p5.2.m2.4.4.3.2.1.1.1.1.1.2.cmml" xref="S4.p5.2.m2.4.4.3.2.1.1.1.1.1.2"><csymbol cd="ambiguous" id="S4.p5.2.m2.4.4.3.2.1.1.1.1.1.2.1.cmml" xref="S4.p5.2.m2.4.4.3.2.1.1.1.1.1.2">superscript</csymbol><ci id="S4.p5.2.m2.4.4.3.2.1.1.1.1.1.2.2.cmml" xref="S4.p5.2.m2.4.4.3.2.1.1.1.1.1.2.2">𝑎</ci><ci id="S4.p5.2.m2.4.4.3.2.1.1.1.1.1.2.3.cmml" xref="S4.p5.2.m2.4.4.3.2.1.1.1.1.1.2.3">′</ci></apply><apply id="S4.p5.2.m2.4.4.3.2.1.1.1.1.1.3.cmml" xref="S4.p5.2.m2.4.4.3.2.1.1.1.1.1.3"><csymbol cd="ambiguous" id="S4.p5.2.m2.4.4.3.2.1.1.1.1.1.3.1.cmml" xref="S4.p5.2.m2.4.4.3.2.1.1.1.1.1.3">superscript</csymbol><ci id="S4.p5.2.m2.4.4.3.2.1.1.1.1.1.3.2.cmml" xref="S4.p5.2.m2.4.4.3.2.1.1.1.1.1.3.2">𝑠</ci><ci id="S4.p5.2.m2.4.4.3.2.1.1.1.1.1.3.3.cmml" xref="S4.p5.2.m2.4.4.3.2.1.1.1.1.1.3.3">′</ci></apply></apply></apply></apply></apply></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="S4.p5.2.m2.4c">\ell_{\theta}(a|s)-\gamma V(s)=\ell_{\theta}(a|s)-\gamma\log\sum_{a^{\prime}\in\mathcal{A}}\exp\ell_{\theta}(a^{\prime}|s^{\prime})</annotation></semantics></math> term, it should be stressed that the normalization is with respect to the next sequence state, as opposed to the MLE loss which normalizes according to the current sequence state.</p>
</div>
<div id="S4.p6" class="ltx_para">
<p id="S4.p6.9" class="ltx_p">While the loss <math id="S4.p6.1.m1.1" class="ltx_Math" alttext="\mathcal{J}(\ell_{\theta})" display="inline"><semantics id="S4.p6.1.m1.1a"><mrow id="S4.p6.1.m1.1.1" xref="S4.p6.1.m1.1.1.cmml"><mi class="ltx_font_mathcaligraphic" id="S4.p6.1.m1.1.1.3" xref="S4.p6.1.m1.1.1.3.cmml">𝒥</mi><mo lspace="0em" rspace="0em" id="S4.p6.1.m1.1.1.2" xref="S4.p6.1.m1.1.1.2.cmml">​</mo><mrow id="S4.p6.1.m1.1.1.1.1" xref="S4.p6.1.m1.1.1.1.1.1.cmml"><mo stretchy="false" id="S4.p6.1.m1.1.1.1.1.2" xref="S4.p6.1.m1.1.1.1.1.1.cmml">(</mo><msub id="S4.p6.1.m1.1.1.1.1.1" xref="S4.p6.1.m1.1.1.1.1.1.cmml"><mi mathvariant="normal" id="S4.p6.1.m1.1.1.1.1.1.2" xref="S4.p6.1.m1.1.1.1.1.1.2.cmml">ℓ</mi><mi id="S4.p6.1.m1.1.1.1.1.1.3" xref="S4.p6.1.m1.1.1.1.1.1.3.cmml">θ</mi></msub><mo stretchy="false" id="S4.p6.1.m1.1.1.1.1.3" xref="S4.p6.1.m1.1.1.1.1.1.cmml">)</mo></mrow></mrow><annotation-xml encoding="MathML-Content" id="S4.p6.1.m1.1b"><apply id="S4.p6.1.m1.1.1.cmml" xref="S4.p6.1.m1.1.1"><times id="S4.p6.1.m1.1.1.2.cmml" xref="S4.p6.1.m1.1.1.2"></times><ci id="S4.p6.1.m1.1.1.3.cmml" xref="S4.p6.1.m1.1.1.3">𝒥</ci><apply id="S4.p6.1.m1.1.1.1.1.1.cmml" xref="S4.p6.1.m1.1.1.1.1"><csymbol cd="ambiguous" id="S4.p6.1.m1.1.1.1.1.1.1.cmml" xref="S4.p6.1.m1.1.1.1.1">subscript</csymbol><ci id="S4.p6.1.m1.1.1.1.1.1.2.cmml" xref="S4.p6.1.m1.1.1.1.1.1.2">ℓ</ci><ci id="S4.p6.1.m1.1.1.1.1.1.3.cmml" xref="S4.p6.1.m1.1.1.1.1.1.3">𝜃</ci></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="S4.p6.1.m1.1c">\mathcal{J}(\ell_{\theta})</annotation></semantics></math> may look obscure, it is instructive to take the limit as <math id="S4.p6.2.m2.1" class="ltx_Math" alttext="\alpha\to 0" display="inline"><semantics id="S4.p6.2.m2.1a"><mrow id="S4.p6.2.m2.1.1" xref="S4.p6.2.m2.1.1.cmml"><mi id="S4.p6.2.m2.1.1.2" xref="S4.p6.2.m2.1.1.2.cmml">α</mi><mo stretchy="false" id="S4.p6.2.m2.1.1.1" xref="S4.p6.2.m2.1.1.1.cmml">→</mo><mn id="S4.p6.2.m2.1.1.3" xref="S4.p6.2.m2.1.1.3.cmml">0</mn></mrow><annotation-xml encoding="MathML-Content" id="S4.p6.2.m2.1b"><apply id="S4.p6.2.m2.1.1.cmml" xref="S4.p6.2.m2.1.1"><ci id="S4.p6.2.m2.1.1.1.cmml" xref="S4.p6.2.m2.1.1.1">→</ci><ci id="S4.p6.2.m2.1.1.2.cmml" xref="S4.p6.2.m2.1.1.2">𝛼</ci><cn type="integer" id="S4.p6.2.m2.1.1.3.cmml" xref="S4.p6.2.m2.1.1.3">0</cn></apply></annotation-xml><annotation encoding="application/x-tex" id="S4.p6.2.m2.1c">\alpha\to 0</annotation></semantics></math> for the <math id="S4.p6.3.m3.1" class="ltx_Math" alttext="\phi" display="inline"><semantics id="S4.p6.3.m3.1a"><mi id="S4.p6.3.m3.1.1" xref="S4.p6.3.m3.1.1.cmml">ϕ</mi><annotation-xml encoding="MathML-Content" id="S4.p6.3.m3.1b"><ci id="S4.p6.3.m3.1.1.cmml" xref="S4.p6.3.m3.1.1">italic-ϕ</ci></annotation-xml><annotation encoding="application/x-tex" id="S4.p6.3.m3.1c">\phi</annotation></semantics></math> corresponding to the KL-divergence. We show in the appendix that we do indeed have <math id="S4.p6.4.m4.2" class="ltx_Math" alttext="\lim_{\alpha\to 0}\mathcal{J}_{\ell_{\theta}}=\operatorname{D_{\text{KL}}}(\rho_{\text{data}}\|\rho_{\theta})" display="inline"><semantics id="S4.p6.4.m4.2a"><mrow id="S4.p6.4.m4.2.2" xref="S4.p6.4.m4.2.2.cmml"><mrow id="S4.p6.4.m4.2.2.3" xref="S4.p6.4.m4.2.2.3.cmml"><msub id="S4.p6.4.m4.2.2.3.1" xref="S4.p6.4.m4.2.2.3.1.cmml"><mo id="S4.p6.4.m4.2.2.3.1.2" xref="S4.p6.4.m4.2.2.3.1.2.cmml">lim</mo><mrow id="S4.p6.4.m4.2.2.3.1.3" xref="S4.p6.4.m4.2.2.3.1.3.cmml"><mi id="S4.p6.4.m4.2.2.3.1.3.2" xref="S4.p6.4.m4.2.2.3.1.3.2.cmml">α</mi><mo stretchy="false" id="S4.p6.4.m4.2.2.3.1.3.1" xref="S4.p6.4.m4.2.2.3.1.3.1.cmml">→</mo><mn id="S4.p6.4.m4.2.2.3.1.3.3" xref="S4.p6.4.m4.2.2.3.1.3.3.cmml">0</mn></mrow></msub><msub id="S4.p6.4.m4.2.2.3.2" xref="S4.p6.4.m4.2.2.3.2.cmml"><mi class="ltx_font_mathcaligraphic" id="S4.p6.4.m4.2.2.3.2.2" xref="S4.p6.4.m4.2.2.3.2.2.cmml">𝒥</mi><msub id="S4.p6.4.m4.2.2.3.2.3" xref="S4.p6.4.m4.2.2.3.2.3.cmml"><mi mathvariant="normal" id="S4.p6.4.m4.2.2.3.2.3.2" xref="S4.p6.4.m4.2.2.3.2.3.2.cmml">ℓ</mi><mi id="S4.p6.4.m4.2.2.3.2.3.3" xref="S4.p6.4.m4.2.2.3.2.3.3.cmml">θ</mi></msub></msub></mrow><mo id="S4.p6.4.m4.2.2.2" xref="S4.p6.4.m4.2.2.2.cmml">=</mo><mrow id="S4.p6.4.m4.2.2.1.1" xref="S4.p6.4.m4.2.2.1.2.cmml"><msub id="S4.p6.4.m4.1.1" xref="S4.p6.4.m4.1.1.cmml"><mi mathvariant="normal" id="S4.p6.4.m4.1.1.2" xref="S4.p6.4.m4.1.1.2.cmml">D</mi><mtext id="S4.p6.4.m4.1.1.3" xref="S4.p6.4.m4.1.1.3a.cmml">KL</mtext></msub><mo id="S4.p6.4.m4.2.2.1.1a" xref="S4.p6.4.m4.2.2.1.2.cmml">⁡</mo><mrow id="S4.p6.4.m4.2.2.1.1.1" xref="S4.p6.4.m4.2.2.1.2.cmml"><mo stretchy="false" id="S4.p6.4.m4.2.2.1.1.1.2" xref="S4.p6.4.m4.2.2.1.2.cmml">(</mo><mrow id="S4.p6.4.m4.2.2.1.1.1.1" xref="S4.p6.4.m4.2.2.1.1.1.1.cmml"><msub id="S4.p6.4.m4.2.2.1.1.1.1.2" xref="S4.p6.4.m4.2.2.1.1.1.1.2.cmml"><mi id="S4.p6.4.m4.2.2.1.1.1.1.2.2" xref="S4.p6.4.m4.2.2.1.1.1.1.2.2.cmml">ρ</mi><mtext id="S4.p6.4.m4.2.2.1.1.1.1.2.3" xref="S4.p6.4.m4.2.2.1.1.1.1.2.3a.cmml">data</mtext></msub><mo id="S4.p6.4.m4.2.2.1.1.1.1.1" xref="S4.p6.4.m4.2.2.1.1.1.1.1.cmml">∥</mo><msub id="S4.p6.4.m4.2.2.1.1.1.1.3" xref="S4.p6.4.m4.2.2.1.1.1.1.3.cmml"><mi id="S4.p6.4.m4.2.2.1.1.1.1.3.2" xref="S4.p6.4.m4.2.2.1.1.1.1.3.2.cmml">ρ</mi><mi id="S4.p6.4.m4.2.2.1.1.1.1.3.3" xref="S4.p6.4.m4.2.2.1.1.1.1.3.3.cmml">θ</mi></msub></mrow><mo stretchy="false" id="S4.p6.4.m4.2.2.1.1.1.3" xref="S4.p6.4.m4.2.2.1.2.cmml">)</mo></mrow></mrow></mrow><annotation-xml encoding="MathML-Content" id="S4.p6.4.m4.2b"><apply id="S4.p6.4.m4.2.2.cmml" xref="S4.p6.4.m4.2.2"><eq id="S4.p6.4.m4.2.2.2.cmml" xref="S4.p6.4.m4.2.2.2"></eq><apply id="S4.p6.4.m4.2.2.3.cmml" xref="S4.p6.4.m4.2.2.3"><apply id="S4.p6.4.m4.2.2.3.1.cmml" xref="S4.p6.4.m4.2.2.3.1"><csymbol cd="ambiguous" id="S4.p6.4.m4.2.2.3.1.1.cmml" xref="S4.p6.4.m4.2.2.3.1">subscript</csymbol><limit id="S4.p6.4.m4.2.2.3.1.2.cmml" xref="S4.p6.4.m4.2.2.3.1.2"></limit><apply id="S4.p6.4.m4.2.2.3.1.3.cmml" xref="S4.p6.4.m4.2.2.3.1.3"><ci id="S4.p6.4.m4.2.2.3.1.3.1.cmml" xref="S4.p6.4.m4.2.2.3.1.3.1">→</ci><ci id="S4.p6.4.m4.2.2.3.1.3.2.cmml" xref="S4.p6.4.m4.2.2.3.1.3.2">𝛼</ci><cn type="integer" id="S4.p6.4.m4.2.2.3.1.3.3.cmml" xref="S4.p6.4.m4.2.2.3.1.3.3">0</cn></apply></apply><apply id="S4.p6.4.m4.2.2.3.2.cmml" xref="S4.p6.4.m4.2.2.3.2"><csymbol cd="ambiguous" id="S4.p6.4.m4.2.2.3.2.1.cmml" xref="S4.p6.4.m4.2.2.3.2">subscript</csymbol><ci id="S4.p6.4.m4.2.2.3.2.2.cmml" xref="S4.p6.4.m4.2.2.3.2.2">𝒥</ci><apply id="S4.p6.4.m4.2.2.3.2.3.cmml" xref="S4.p6.4.m4.2.2.3.2.3"><csymbol cd="ambiguous" id="S4.p6.4.m4.2.2.3.2.3.1.cmml" xref="S4.p6.4.m4.2.2.3.2.3">subscript</csymbol><ci id="S4.p6.4.m4.2.2.3.2.3.2.cmml" xref="S4.p6.4.m4.2.2.3.2.3.2">ℓ</ci><ci id="S4.p6.4.m4.2.2.3.2.3.3.cmml" xref="S4.p6.4.m4.2.2.3.2.3.3">𝜃</ci></apply></apply></apply><apply id="S4.p6.4.m4.2.2.1.2.cmml" xref="S4.p6.4.m4.2.2.1.1"><apply id="S4.p6.4.m4.1.1.cmml" xref="S4.p6.4.m4.1.1"><csymbol cd="ambiguous" id="S4.p6.4.m4.1.1.1.cmml" xref="S4.p6.4.m4.1.1">subscript</csymbol><ci id="S4.p6.4.m4.1.1.2.cmml" xref="S4.p6.4.m4.1.1.2">D</ci><ci id="S4.p6.4.m4.1.1.3a.cmml" xref="S4.p6.4.m4.1.1.3"><mtext mathsize="70%" id="S4.p6.4.m4.1.1.3.cmml" xref="S4.p6.4.m4.1.1.3">KL</mtext></ci></apply><apply id="S4.p6.4.m4.2.2.1.1.1.1.cmml" xref="S4.p6.4.m4.2.2.1.1.1.1"><csymbol cd="latexml" id="S4.p6.4.m4.2.2.1.1.1.1.1.cmml" xref="S4.p6.4.m4.2.2.1.1.1.1.1">conditional</csymbol><apply id="S4.p6.4.m4.2.2.1.1.1.1.2.cmml" xref="S4.p6.4.m4.2.2.1.1.1.1.2"><csymbol cd="ambiguous" id="S4.p6.4.m4.2.2.1.1.1.1.2.1.cmml" xref="S4.p6.4.m4.2.2.1.1.1.1.2">subscript</csymbol><ci id="S4.p6.4.m4.2.2.1.1.1.1.2.2.cmml" xref="S4.p6.4.m4.2.2.1.1.1.1.2.2">𝜌</ci><ci id="S4.p6.4.m4.2.2.1.1.1.1.2.3a.cmml" xref="S4.p6.4.m4.2.2.1.1.1.1.2.3"><mtext mathsize="70%" id="S4.p6.4.m4.2.2.1.1.1.1.2.3.cmml" xref="S4.p6.4.m4.2.2.1.1.1.1.2.3">data</mtext></ci></apply><apply id="S4.p6.4.m4.2.2.1.1.1.1.3.cmml" xref="S4.p6.4.m4.2.2.1.1.1.1.3"><csymbol cd="ambiguous" id="S4.p6.4.m4.2.2.1.1.1.1.3.1.cmml" xref="S4.p6.4.m4.2.2.1.1.1.1.3">subscript</csymbol><ci id="S4.p6.4.m4.2.2.1.1.1.1.3.2.cmml" xref="S4.p6.4.m4.2.2.1.1.1.1.3.2">𝜌</ci><ci id="S4.p6.4.m4.2.2.1.1.1.1.3.3.cmml" xref="S4.p6.4.m4.2.2.1.1.1.1.3.3">𝜃</ci></apply></apply></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="S4.p6.4.m4.2c">\lim_{\alpha\to 0}\mathcal{J}_{\ell_{\theta}}=\operatorname{D_{\text{KL}}}(\rho_{\text{data}}\|\rho_{\theta})</annotation></semantics></math>. The equality follows by approximating <math id="S4.p6.5.m5.3" class="ltx_Math" alttext="\frac{1}{\alpha}\phi(\alpha x)=x\phi^{\prime}(0)+\mathcal{O}(\alpha)" display="inline"><semantics id="S4.p6.5.m5.3a"><mrow id="S4.p6.5.m5.3.3" xref="S4.p6.5.m5.3.3.cmml"><mrow id="S4.p6.5.m5.3.3.1" xref="S4.p6.5.m5.3.3.1.cmml"><mfrac id="S4.p6.5.m5.3.3.1.3" xref="S4.p6.5.m5.3.3.1.3.cmml"><mn id="S4.p6.5.m5.3.3.1.3.2" xref="S4.p6.5.m5.3.3.1.3.2.cmml">1</mn><mi id="S4.p6.5.m5.3.3.1.3.3" xref="S4.p6.5.m5.3.3.1.3.3.cmml">α</mi></mfrac><mo lspace="0em" rspace="0em" id="S4.p6.5.m5.3.3.1.2" xref="S4.p6.5.m5.3.3.1.2.cmml">​</mo><mi id="S4.p6.5.m5.3.3.1.4" xref="S4.p6.5.m5.3.3.1.4.cmml">ϕ</mi><mo lspace="0em" rspace="0em" id="S4.p6.5.m5.3.3.1.2a" xref="S4.p6.5.m5.3.3.1.2.cmml">​</mo><mrow id="S4.p6.5.m5.3.3.1.1.1" xref="S4.p6.5.m5.3.3.1.1.1.1.cmml"><mo stretchy="false" id="S4.p6.5.m5.3.3.1.1.1.2" xref="S4.p6.5.m5.3.3.1.1.1.1.cmml">(</mo><mrow id="S4.p6.5.m5.3.3.1.1.1.1" xref="S4.p6.5.m5.3.3.1.1.1.1.cmml"><mi id="S4.p6.5.m5.3.3.1.1.1.1.2" xref="S4.p6.5.m5.3.3.1.1.1.1.2.cmml">α</mi><mo lspace="0em" rspace="0em" id="S4.p6.5.m5.3.3.1.1.1.1.1" xref="S4.p6.5.m5.3.3.1.1.1.1.1.cmml">​</mo><mi id="S4.p6.5.m5.3.3.1.1.1.1.3" xref="S4.p6.5.m5.3.3.1.1.1.1.3.cmml">x</mi></mrow><mo stretchy="false" id="S4.p6.5.m5.3.3.1.1.1.3" xref="S4.p6.5.m5.3.3.1.1.1.1.cmml">)</mo></mrow></mrow><mo id="S4.p6.5.m5.3.3.2" xref="S4.p6.5.m5.3.3.2.cmml">=</mo><mrow id="S4.p6.5.m5.3.3.3" xref="S4.p6.5.m5.3.3.3.cmml"><mrow id="S4.p6.5.m5.3.3.3.2" xref="S4.p6.5.m5.3.3.3.2.cmml"><mi id="S4.p6.5.m5.3.3.3.2.2" xref="S4.p6.5.m5.3.3.3.2.2.cmml">x</mi><mo lspace="0em" rspace="0em" id="S4.p6.5.m5.3.3.3.2.1" xref="S4.p6.5.m5.3.3.3.2.1.cmml">​</mo><msup id="S4.p6.5.m5.3.3.3.2.3" xref="S4.p6.5.m5.3.3.3.2.3.cmml"><mi id="S4.p6.5.m5.3.3.3.2.3.2" xref="S4.p6.5.m5.3.3.3.2.3.2.cmml">ϕ</mi><mo id="S4.p6.5.m5.3.3.3.2.3.3" xref="S4.p6.5.m5.3.3.3.2.3.3.cmml">′</mo></msup><mo lspace="0em" rspace="0em" id="S4.p6.5.m5.3.3.3.2.1a" xref="S4.p6.5.m5.3.3.3.2.1.cmml">​</mo><mrow id="S4.p6.5.m5.3.3.3.2.4.2" xref="S4.p6.5.m5.3.3.3.2.cmml"><mo stretchy="false" id="S4.p6.5.m5.3.3.3.2.4.2.1" xref="S4.p6.5.m5.3.3.3.2.cmml">(</mo><mn id="S4.p6.5.m5.1.1" xref="S4.p6.5.m5.1.1.cmml">0</mn><mo stretchy="false" id="S4.p6.5.m5.3.3.3.2.4.2.2" xref="S4.p6.5.m5.3.3.3.2.cmml">)</mo></mrow></mrow><mo id="S4.p6.5.m5.3.3.3.1" xref="S4.p6.5.m5.3.3.3.1.cmml">+</mo><mrow id="S4.p6.5.m5.3.3.3.3" xref="S4.p6.5.m5.3.3.3.3.cmml"><mi class="ltx_font_mathcaligraphic" id="S4.p6.5.m5.3.3.3.3.2" xref="S4.p6.5.m5.3.3.3.3.2.cmml">𝒪</mi><mo lspace="0em" rspace="0em" id="S4.p6.5.m5.3.3.3.3.1" xref="S4.p6.5.m5.3.3.3.3.1.cmml">​</mo><mrow id="S4.p6.5.m5.3.3.3.3.3.2" xref="S4.p6.5.m5.3.3.3.3.cmml"><mo stretchy="false" id="S4.p6.5.m5.3.3.3.3.3.2.1" xref="S4.p6.5.m5.3.3.3.3.cmml">(</mo><mi id="S4.p6.5.m5.2.2" xref="S4.p6.5.m5.2.2.cmml">α</mi><mo stretchy="false" id="S4.p6.5.m5.3.3.3.3.3.2.2" xref="S4.p6.5.m5.3.3.3.3.cmml">)</mo></mrow></mrow></mrow></mrow><annotation-xml encoding="MathML-Content" id="S4.p6.5.m5.3b"><apply id="S4.p6.5.m5.3.3.cmml" xref="S4.p6.5.m5.3.3"><eq id="S4.p6.5.m5.3.3.2.cmml" xref="S4.p6.5.m5.3.3.2"></eq><apply id="S4.p6.5.m5.3.3.1.cmml" xref="S4.p6.5.m5.3.3.1"><times id="S4.p6.5.m5.3.3.1.2.cmml" xref="S4.p6.5.m5.3.3.1.2"></times><apply id="S4.p6.5.m5.3.3.1.3.cmml" xref="S4.p6.5.m5.3.3.1.3"><divide id="S4.p6.5.m5.3.3.1.3.1.cmml" xref="S4.p6.5.m5.3.3.1.3"></divide><cn type="integer" id="S4.p6.5.m5.3.3.1.3.2.cmml" xref="S4.p6.5.m5.3.3.1.3.2">1</cn><ci id="S4.p6.5.m5.3.3.1.3.3.cmml" xref="S4.p6.5.m5.3.3.1.3.3">𝛼</ci></apply><ci id="S4.p6.5.m5.3.3.1.4.cmml" xref="S4.p6.5.m5.3.3.1.4">italic-ϕ</ci><apply id="S4.p6.5.m5.3.3.1.1.1.1.cmml" xref="S4.p6.5.m5.3.3.1.1.1"><times id="S4.p6.5.m5.3.3.1.1.1.1.1.cmml" xref="S4.p6.5.m5.3.3.1.1.1.1.1"></times><ci id="S4.p6.5.m5.3.3.1.1.1.1.2.cmml" xref="S4.p6.5.m5.3.3.1.1.1.1.2">𝛼</ci><ci id="S4.p6.5.m5.3.3.1.1.1.1.3.cmml" xref="S4.p6.5.m5.3.3.1.1.1.1.3">𝑥</ci></apply></apply><apply id="S4.p6.5.m5.3.3.3.cmml" xref="S4.p6.5.m5.3.3.3"><plus id="S4.p6.5.m5.3.3.3.1.cmml" xref="S4.p6.5.m5.3.3.3.1"></plus><apply id="S4.p6.5.m5.3.3.3.2.cmml" xref="S4.p6.5.m5.3.3.3.2"><times id="S4.p6.5.m5.3.3.3.2.1.cmml" xref="S4.p6.5.m5.3.3.3.2.1"></times><ci id="S4.p6.5.m5.3.3.3.2.2.cmml" xref="S4.p6.5.m5.3.3.3.2.2">𝑥</ci><apply id="S4.p6.5.m5.3.3.3.2.3.cmml" xref="S4.p6.5.m5.3.3.3.2.3"><csymbol cd="ambiguous" id="S4.p6.5.m5.3.3.3.2.3.1.cmml" xref="S4.p6.5.m5.3.3.3.2.3">superscript</csymbol><ci id="S4.p6.5.m5.3.3.3.2.3.2.cmml" xref="S4.p6.5.m5.3.3.3.2.3.2">italic-ϕ</ci><ci id="S4.p6.5.m5.3.3.3.2.3.3.cmml" xref="S4.p6.5.m5.3.3.3.2.3.3">′</ci></apply><cn type="integer" id="S4.p6.5.m5.1.1.cmml" xref="S4.p6.5.m5.1.1">0</cn></apply><apply id="S4.p6.5.m5.3.3.3.3.cmml" xref="S4.p6.5.m5.3.3.3.3"><times id="S4.p6.5.m5.3.3.3.3.1.cmml" xref="S4.p6.5.m5.3.3.3.3.1"></times><ci id="S4.p6.5.m5.3.3.3.3.2.cmml" xref="S4.p6.5.m5.3.3.3.3.2">𝒪</ci><ci id="S4.p6.5.m5.2.2.cmml" xref="S4.p6.5.m5.2.2">𝛼</ci></apply></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="S4.p6.5.m5.3c">\frac{1}{\alpha}\phi(\alpha x)=x\phi^{\prime}(0)+\mathcal{O}(\alpha)</annotation></semantics></math> if <math id="S4.p6.6.m6.1" class="ltx_Math" alttext="\phi" display="inline"><semantics id="S4.p6.6.m6.1a"><mi id="S4.p6.6.m6.1.1" xref="S4.p6.6.m6.1.1.cmml">ϕ</mi><annotation-xml encoding="MathML-Content" id="S4.p6.6.m6.1b"><ci id="S4.p6.6.m6.1.1.cmml" xref="S4.p6.6.m6.1.1">italic-ϕ</ci></annotation-xml><annotation encoding="application/x-tex" id="S4.p6.6.m6.1c">\phi</annotation></semantics></math> has a Taylor expansion at 0, which allows a linearization of <math id="S4.p6.7.m7.1" class="ltx_Math" alttext="\phi" display="inline"><semantics id="S4.p6.7.m7.1a"><mi id="S4.p6.7.m7.1.1" xref="S4.p6.7.m7.1.1.cmml">ϕ</mi><annotation-xml encoding="MathML-Content" id="S4.p6.7.m7.1b"><ci id="S4.p6.7.m7.1.1.cmml" xref="S4.p6.7.m7.1.1">italic-ϕ</ci></annotation-xml><annotation encoding="application/x-tex" id="S4.p6.7.m7.1c">\phi</annotation></semantics></math> and simplifications. We also show that in the absence of editing actions, <math id="S4.p6.8.m8.2" class="ltx_Math" alttext="\operatorname{D_{\text{KL}}}(\rho_{\text{data}}\|\rho_{\theta})" display="inline"><semantics id="S4.p6.8.m8.2a"><mrow id="S4.p6.8.m8.2.2.1" xref="S4.p6.8.m8.2.2.2.cmml"><msub id="S4.p6.8.m8.1.1" xref="S4.p6.8.m8.1.1.cmml"><mi mathvariant="normal" id="S4.p6.8.m8.1.1.2" xref="S4.p6.8.m8.1.1.2.cmml">D</mi><mtext id="S4.p6.8.m8.1.1.3" xref="S4.p6.8.m8.1.1.3a.cmml">KL</mtext></msub><mo id="S4.p6.8.m8.2.2.1a" xref="S4.p6.8.m8.2.2.2.cmml">⁡</mo><mrow id="S4.p6.8.m8.2.2.1.1" xref="S4.p6.8.m8.2.2.2.cmml"><mo stretchy="false" id="S4.p6.8.m8.2.2.1.1.2" xref="S4.p6.8.m8.2.2.2.cmml">(</mo><mrow id="S4.p6.8.m8.2.2.1.1.1" xref="S4.p6.8.m8.2.2.1.1.1.cmml"><msub id="S4.p6.8.m8.2.2.1.1.1.2" xref="S4.p6.8.m8.2.2.1.1.1.2.cmml"><mi id="S4.p6.8.m8.2.2.1.1.1.2.2" xref="S4.p6.8.m8.2.2.1.1.1.2.2.cmml">ρ</mi><mtext id="S4.p6.8.m8.2.2.1.1.1.2.3" xref="S4.p6.8.m8.2.2.1.1.1.2.3a.cmml">data</mtext></msub><mo id="S4.p6.8.m8.2.2.1.1.1.1" xref="S4.p6.8.m8.2.2.1.1.1.1.cmml">∥</mo><msub id="S4.p6.8.m8.2.2.1.1.1.3" xref="S4.p6.8.m8.2.2.1.1.1.3.cmml"><mi id="S4.p6.8.m8.2.2.1.1.1.3.2" xref="S4.p6.8.m8.2.2.1.1.1.3.2.cmml">ρ</mi><mi id="S4.p6.8.m8.2.2.1.1.1.3.3" xref="S4.p6.8.m8.2.2.1.1.1.3.3.cmml">θ</mi></msub></mrow><mo stretchy="false" id="S4.p6.8.m8.2.2.1.1.3" xref="S4.p6.8.m8.2.2.2.cmml">)</mo></mrow></mrow><annotation-xml encoding="MathML-Content" id="S4.p6.8.m8.2b"><apply id="S4.p6.8.m8.2.2.2.cmml" xref="S4.p6.8.m8.2.2.1"><apply id="S4.p6.8.m8.1.1.cmml" xref="S4.p6.8.m8.1.1"><csymbol cd="ambiguous" id="S4.p6.8.m8.1.1.1.cmml" xref="S4.p6.8.m8.1.1">subscript</csymbol><ci id="S4.p6.8.m8.1.1.2.cmml" xref="S4.p6.8.m8.1.1.2">D</ci><ci id="S4.p6.8.m8.1.1.3a.cmml" xref="S4.p6.8.m8.1.1.3"><mtext mathsize="70%" id="S4.p6.8.m8.1.1.3.cmml" xref="S4.p6.8.m8.1.1.3">KL</mtext></ci></apply><apply id="S4.p6.8.m8.2.2.1.1.1.cmml" xref="S4.p6.8.m8.2.2.1.1.1"><csymbol cd="latexml" id="S4.p6.8.m8.2.2.1.1.1.1.cmml" xref="S4.p6.8.m8.2.2.1.1.1.1">conditional</csymbol><apply id="S4.p6.8.m8.2.2.1.1.1.2.cmml" xref="S4.p6.8.m8.2.2.1.1.1.2"><csymbol cd="ambiguous" id="S4.p6.8.m8.2.2.1.1.1.2.1.cmml" xref="S4.p6.8.m8.2.2.1.1.1.2">subscript</csymbol><ci id="S4.p6.8.m8.2.2.1.1.1.2.2.cmml" xref="S4.p6.8.m8.2.2.1.1.1.2.2">𝜌</ci><ci id="S4.p6.8.m8.2.2.1.1.1.2.3a.cmml" xref="S4.p6.8.m8.2.2.1.1.1.2.3"><mtext mathsize="70%" id="S4.p6.8.m8.2.2.1.1.1.2.3.cmml" xref="S4.p6.8.m8.2.2.1.1.1.2.3">data</mtext></ci></apply><apply id="S4.p6.8.m8.2.2.1.1.1.3.cmml" xref="S4.p6.8.m8.2.2.1.1.1.3"><csymbol cd="ambiguous" id="S4.p6.8.m8.2.2.1.1.1.3.1.cmml" xref="S4.p6.8.m8.2.2.1.1.1.3">subscript</csymbol><ci id="S4.p6.8.m8.2.2.1.1.1.3.2.cmml" xref="S4.p6.8.m8.2.2.1.1.1.3.2">𝜌</ci><ci id="S4.p6.8.m8.2.2.1.1.1.3.3.cmml" xref="S4.p6.8.m8.2.2.1.1.1.3.3">𝜃</ci></apply></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="S4.p6.8.m8.2c">\operatorname{D_{\text{KL}}}(\rho_{\text{data}}\|\rho_{\theta})</annotation></semantics></math> reduces to a <math id="S4.p6.9.m9.1" class="ltx_Math" alttext="\gamma" display="inline"><semantics id="S4.p6.9.m9.1a"><mi id="S4.p6.9.m9.1.1" xref="S4.p6.9.m9.1.1.cmml">γ</mi><annotation-xml encoding="MathML-Content" id="S4.p6.9.m9.1b"><ci id="S4.p6.9.m9.1.1.cmml" xref="S4.p6.9.m9.1.1">𝛾</ci></annotation-xml><annotation encoding="application/x-tex" id="S4.p6.9.m9.1c">\gamma</annotation></semantics></math>-reweighted MLE objective.</p>
</div>
<section id="S4.SS1" class="ltx_subsection">
<h3 class="ltx_title ltx_title_subsection">
<span class="ltx_tag ltx_tag_subsection">4.1 </span>Relative Efficiency of Generating During Training</h3>

<div id="S4.SS1.p1" class="ltx_para">
<p id="S4.SS1.p1.1" class="ltx_p">Our loss as presented requires sampling from the model during training. Sampling is generally much slower than computing the logits. Even when using caching to reduce unnecessary recomputations, the time taken to sample from the model will scale with the expected length of the sequence. However, the sequences do not need to be exactly sampled from the current policy. Since any policy can be used, we can keep sequences generated from the policy at previous training steps, stored in a replay buffer <cite class="ltx_cite ltx_citemacro_citep">[<a href="#bib.bib22" title="" class="ltx_ref">22</a>]</cite>. We give an empirical analysis of the overhead when using SequenceMatch in the appendix.</p>
</div>
</section>
<section id="S4.SS2" class="ltx_subsection">
<h3 class="ltx_title ltx_title_subsection">
<span class="ltx_tag ltx_tag_subsection">4.2 </span>Efficient Implementation of Backspace with Editing Actions</h3>

<div id="S4.SS2.p1" class="ltx_para">
<p id="S4.SS2.p1.1" class="ltx_p">Editing actions which can delete previous parts of the input are challenging to implement while retaining the fast training of transformer-based autoregressive models. For instance, the sequence of actions <span id="S4.SS2.p1.1.1" class="ltx_text ltx_font_typewriter">[a; b; &lt;backspace&gt;]</span> cannot be fed directly into a policy network <math id="S4.SS2.p1.1.m1.1" class="ltx_Math" alttext="p_{\theta}(a|s)" display="inline"><semantics id="S4.SS2.p1.1.m1.1a"><mrow id="S4.SS2.p1.1.m1.1.1" xref="S4.SS2.p1.1.m1.1.1.cmml"><msub id="S4.SS2.p1.1.m1.1.1.3" xref="S4.SS2.p1.1.m1.1.1.3.cmml"><mi id="S4.SS2.p1.1.m1.1.1.3.2" xref="S4.SS2.p1.1.m1.1.1.3.2.cmml">p</mi><mi id="S4.SS2.p1.1.m1.1.1.3.3" xref="S4.SS2.p1.1.m1.1.1.3.3.cmml">θ</mi></msub><mo lspace="0em" rspace="0em" id="S4.SS2.p1.1.m1.1.1.2" xref="S4.SS2.p1.1.m1.1.1.2.cmml">​</mo><mrow id="S4.SS2.p1.1.m1.1.1.1.1" xref="S4.SS2.p1.1.m1.1.1.1.1.1.cmml"><mo stretchy="false" id="S4.SS2.p1.1.m1.1.1.1.1.2" xref="S4.SS2.p1.1.m1.1.1.1.1.1.cmml">(</mo><mrow id="S4.SS2.p1.1.m1.1.1.1.1.1" xref="S4.SS2.p1.1.m1.1.1.1.1.1.cmml"><mi id="S4.SS2.p1.1.m1.1.1.1.1.1.2" xref="S4.SS2.p1.1.m1.1.1.1.1.1.2.cmml">a</mi><mo fence="false" id="S4.SS2.p1.1.m1.1.1.1.1.1.1" xref="S4.SS2.p1.1.m1.1.1.1.1.1.1.cmml">|</mo><mi id="S4.SS2.p1.1.m1.1.1.1.1.1.3" xref="S4.SS2.p1.1.m1.1.1.1.1.1.3.cmml">s</mi></mrow><mo stretchy="false" id="S4.SS2.p1.1.m1.1.1.1.1.3" xref="S4.SS2.p1.1.m1.1.1.1.1.1.cmml">)</mo></mrow></mrow><annotation-xml encoding="MathML-Content" id="S4.SS2.p1.1.m1.1b"><apply id="S4.SS2.p1.1.m1.1.1.cmml" xref="S4.SS2.p1.1.m1.1.1"><times id="S4.SS2.p1.1.m1.1.1.2.cmml" xref="S4.SS2.p1.1.m1.1.1.2"></times><apply id="S4.SS2.p1.1.m1.1.1.3.cmml" xref="S4.SS2.p1.1.m1.1.1.3"><csymbol cd="ambiguous" id="S4.SS2.p1.1.m1.1.1.3.1.cmml" xref="S4.SS2.p1.1.m1.1.1.3">subscript</csymbol><ci id="S4.SS2.p1.1.m1.1.1.3.2.cmml" xref="S4.SS2.p1.1.m1.1.1.3.2">𝑝</ci><ci id="S4.SS2.p1.1.m1.1.1.3.3.cmml" xref="S4.SS2.p1.1.m1.1.1.3.3">𝜃</ci></apply><apply id="S4.SS2.p1.1.m1.1.1.1.1.1.cmml" xref="S4.SS2.p1.1.m1.1.1.1.1"><csymbol cd="latexml" id="S4.SS2.p1.1.m1.1.1.1.1.1.1.cmml" xref="S4.SS2.p1.1.m1.1.1.1.1.1.1">conditional</csymbol><ci id="S4.SS2.p1.1.m1.1.1.1.1.1.2.cmml" xref="S4.SS2.p1.1.m1.1.1.1.1.1.2">𝑎</ci><ci id="S4.SS2.p1.1.m1.1.1.1.1.1.3.cmml" xref="S4.SS2.p1.1.m1.1.1.1.1.1.3">𝑠</ci></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="S4.SS2.p1.1.m1.1c">p_{\theta}(a|s)</annotation></semantics></math>, since it contains actions, not states. The sequence <span id="S4.SS2.p1.1.2" class="ltx_text ltx_font_typewriter">[a; b; &lt;backspace&gt;]</span> is not a valid state: the corresponding state is <span id="S4.SS2.p1.1.3" class="ltx_text ltx_font_typewriter">[&lt;begin-sentence&gt; a]</span>.</p>
</div>
<div id="S4.SS2.p2" class="ltx_para">
<p id="S4.SS2.p2.1" class="ltx_p">In order to convert this into a form where we can compute the relevant logits using masked attention, we must pre-process the sequence of actions into corresponding inputs, labels, masks and position IDs using algorithm A in the appendix. The preprocessing is illustrated in figure <a href="#S4.F2" title="Figure 2 ‣ 4 Practical Occupancy Matching with Autoregressive Sequence Models ‣ SequenceMatch: Imitation Learning for Autoregressive Sequence Modelling with Backtracking" class="ltx_ref"><span class="ltx_text ltx_ref_tag">2</span></a>. On the other hand, generation with <span id="S4.SS2.p2.1.1" class="ltx_text ltx_font_typewriter">&lt;backspace&gt;</span> actions is straightforward: we already keep previous key-value cached values for generation with transformers. When <span id="S4.SS2.p2.1.2" class="ltx_text ltx_font_typewriter">&lt;backspace&gt;</span> is sampled, we simply roll back the state of the key-value cache and position id with negligible overhead.</p>
</div>
</section>
<section id="S4.SS3" class="ltx_subsection">
<h3 class="ltx_title ltx_title_subsection">
<span class="ltx_tag ltx_tag_subsection">4.3 </span>Augmenting Expert Sequences with Backspace</h3>

<div id="S4.SS3.p1" class="ltx_para">
<p id="S4.SS3.p1.8" class="ltx_p">To provide the policy with examples of how the <span id="S4.SS3.p1.8.2" class="ltx_text ltx_font_typewriter">&lt;backspace&gt;</span> token should be used, we augment the data sequences as follows: with (small) probability <math id="S4.SS3.p1.1.m1.1" class="ltx_Math" alttext="\eta" display="inline"><semantics id="S4.SS3.p1.1.m1.1a"><mi id="S4.SS3.p1.1.m1.1.1" xref="S4.SS3.p1.1.m1.1.1.cmml">η</mi><annotation-xml encoding="MathML-Content" id="S4.SS3.p1.1.m1.1b"><ci id="S4.SS3.p1.1.m1.1.1.cmml" xref="S4.SS3.p1.1.m1.1.1">𝜂</ci></annotation-xml><annotation encoding="application/x-tex" id="S4.SS3.p1.1.m1.1c">\eta</annotation></semantics></math>, we replace a sequence <math id="S4.SS3.p1.2.m2.5" class="ltx_Math" alttext="\ldots,x_{i-1},x_{i},x_{i+1},\ldots" display="inline"><semantics id="S4.SS3.p1.2.m2.5a"><mrow id="S4.SS3.p1.2.m2.5.5.3" xref="S4.SS3.p1.2.m2.5.5.4.cmml"><mi mathvariant="normal" id="S4.SS3.p1.2.m2.1.1" xref="S4.SS3.p1.2.m2.1.1.cmml">…</mi><mo id="S4.SS3.p1.2.m2.5.5.3.4" xref="S4.SS3.p1.2.m2.5.5.4.cmml">,</mo><msub id="S4.SS3.p1.2.m2.3.3.1.1" xref="S4.SS3.p1.2.m2.3.3.1.1.cmml"><mi id="S4.SS3.p1.2.m2.3.3.1.1.2" xref="S4.SS3.p1.2.m2.3.3.1.1.2.cmml">x</mi><mrow id="S4.SS3.p1.2.m2.3.3.1.1.3" xref="S4.SS3.p1.2.m2.3.3.1.1.3.cmml"><mi id="S4.SS3.p1.2.m2.3.3.1.1.3.2" xref="S4.SS3.p1.2.m2.3.3.1.1.3.2.cmml">i</mi><mo id="S4.SS3.p1.2.m2.3.3.1.1.3.1" xref="S4.SS3.p1.2.m2.3.3.1.1.3.1.cmml">−</mo><mn id="S4.SS3.p1.2.m2.3.3.1.1.3.3" xref="S4.SS3.p1.2.m2.3.3.1.1.3.3.cmml">1</mn></mrow></msub><mo id="S4.SS3.p1.2.m2.5.5.3.5" xref="S4.SS3.p1.2.m2.5.5.4.cmml">,</mo><msub id="S4.SS3.p1.2.m2.4.4.2.2" xref="S4.SS3.p1.2.m2.4.4.2.2.cmml"><mi id="S4.SS3.p1.2.m2.4.4.2.2.2" xref="S4.SS3.p1.2.m2.4.4.2.2.2.cmml">x</mi><mi id="S4.SS3.p1.2.m2.4.4.2.2.3" xref="S4.SS3.p1.2.m2.4.4.2.2.3.cmml">i</mi></msub><mo id="S4.SS3.p1.2.m2.5.5.3.6" xref="S4.SS3.p1.2.m2.5.5.4.cmml">,</mo><msub id="S4.SS3.p1.2.m2.5.5.3.3" xref="S4.SS3.p1.2.m2.5.5.3.3.cmml"><mi id="S4.SS3.p1.2.m2.5.5.3.3.2" xref="S4.SS3.p1.2.m2.5.5.3.3.2.cmml">x</mi><mrow id="S4.SS3.p1.2.m2.5.5.3.3.3" xref="S4.SS3.p1.2.m2.5.5.3.3.3.cmml"><mi id="S4.SS3.p1.2.m2.5.5.3.3.3.2" xref="S4.SS3.p1.2.m2.5.5.3.3.3.2.cmml">i</mi><mo id="S4.SS3.p1.2.m2.5.5.3.3.3.1" xref="S4.SS3.p1.2.m2.5.5.3.3.3.1.cmml">+</mo><mn id="S4.SS3.p1.2.m2.5.5.3.3.3.3" xref="S4.SS3.p1.2.m2.5.5.3.3.3.3.cmml">1</mn></mrow></msub><mo id="S4.SS3.p1.2.m2.5.5.3.7" xref="S4.SS3.p1.2.m2.5.5.4.cmml">,</mo><mi mathvariant="normal" id="S4.SS3.p1.2.m2.2.2" xref="S4.SS3.p1.2.m2.2.2.cmml">…</mi></mrow><annotation-xml encoding="MathML-Content" id="S4.SS3.p1.2.m2.5b"><list id="S4.SS3.p1.2.m2.5.5.4.cmml" xref="S4.SS3.p1.2.m2.5.5.3"><ci id="S4.SS3.p1.2.m2.1.1.cmml" xref="S4.SS3.p1.2.m2.1.1">…</ci><apply id="S4.SS3.p1.2.m2.3.3.1.1.cmml" xref="S4.SS3.p1.2.m2.3.3.1.1"><csymbol cd="ambiguous" id="S4.SS3.p1.2.m2.3.3.1.1.1.cmml" xref="S4.SS3.p1.2.m2.3.3.1.1">subscript</csymbol><ci id="S4.SS3.p1.2.m2.3.3.1.1.2.cmml" xref="S4.SS3.p1.2.m2.3.3.1.1.2">𝑥</ci><apply id="S4.SS3.p1.2.m2.3.3.1.1.3.cmml" xref="S4.SS3.p1.2.m2.3.3.1.1.3"><minus id="S4.SS3.p1.2.m2.3.3.1.1.3.1.cmml" xref="S4.SS3.p1.2.m2.3.3.1.1.3.1"></minus><ci id="S4.SS3.p1.2.m2.3.3.1.1.3.2.cmml" xref="S4.SS3.p1.2.m2.3.3.1.1.3.2">𝑖</ci><cn type="integer" id="S4.SS3.p1.2.m2.3.3.1.1.3.3.cmml" xref="S4.SS3.p1.2.m2.3.3.1.1.3.3">1</cn></apply></apply><apply id="S4.SS3.p1.2.m2.4.4.2.2.cmml" xref="S4.SS3.p1.2.m2.4.4.2.2"><csymbol cd="ambiguous" id="S4.SS3.p1.2.m2.4.4.2.2.1.cmml" xref="S4.SS3.p1.2.m2.4.4.2.2">subscript</csymbol><ci id="S4.SS3.p1.2.m2.4.4.2.2.2.cmml" xref="S4.SS3.p1.2.m2.4.4.2.2.2">𝑥</ci><ci id="S4.SS3.p1.2.m2.4.4.2.2.3.cmml" xref="S4.SS3.p1.2.m2.4.4.2.2.3">𝑖</ci></apply><apply id="S4.SS3.p1.2.m2.5.5.3.3.cmml" xref="S4.SS3.p1.2.m2.5.5.3.3"><csymbol cd="ambiguous" id="S4.SS3.p1.2.m2.5.5.3.3.1.cmml" xref="S4.SS3.p1.2.m2.5.5.3.3">subscript</csymbol><ci id="S4.SS3.p1.2.m2.5.5.3.3.2.cmml" xref="S4.SS3.p1.2.m2.5.5.3.3.2">𝑥</ci><apply id="S4.SS3.p1.2.m2.5.5.3.3.3.cmml" xref="S4.SS3.p1.2.m2.5.5.3.3.3"><plus id="S4.SS3.p1.2.m2.5.5.3.3.3.1.cmml" xref="S4.SS3.p1.2.m2.5.5.3.3.3.1"></plus><ci id="S4.SS3.p1.2.m2.5.5.3.3.3.2.cmml" xref="S4.SS3.p1.2.m2.5.5.3.3.3.2">𝑖</ci><cn type="integer" id="S4.SS3.p1.2.m2.5.5.3.3.3.3.cmml" xref="S4.SS3.p1.2.m2.5.5.3.3.3.3">1</cn></apply></apply><ci id="S4.SS3.p1.2.m2.2.2.cmml" xref="S4.SS3.p1.2.m2.2.2">…</ci></list></annotation-xml><annotation encoding="application/x-tex" id="S4.SS3.p1.2.m2.5c">\ldots,x_{i-1},x_{i},x_{i+1},\ldots</annotation></semantics></math> with <math id="S4.SS3.p1.3.m3.1" class="ltx_Math" alttext="x_{i-1},x_{i},x_{i}^{\prime}," display="inline"><semantics id="S4.SS3.p1.3.m3.1a"><mrow id="S4.SS3.p1.3.m3.1.1.1"><mrow id="S4.SS3.p1.3.m3.1.1.1.1.3" xref="S4.SS3.p1.3.m3.1.1.1.1.4.cmml"><msub id="S4.SS3.p1.3.m3.1.1.1.1.1.1" xref="S4.SS3.p1.3.m3.1.1.1.1.1.1.cmml"><mi id="S4.SS3.p1.3.m3.1.1.1.1.1.1.2" xref="S4.SS3.p1.3.m3.1.1.1.1.1.1.2.cmml">x</mi><mrow id="S4.SS3.p1.3.m3.1.1.1.1.1.1.3" xref="S4.SS3.p1.3.m3.1.1.1.1.1.1.3.cmml"><mi id="S4.SS3.p1.3.m3.1.1.1.1.1.1.3.2" xref="S4.SS3.p1.3.m3.1.1.1.1.1.1.3.2.cmml">i</mi><mo id="S4.SS3.p1.3.m3.1.1.1.1.1.1.3.1" xref="S4.SS3.p1.3.m3.1.1.1.1.1.1.3.1.cmml">−</mo><mn id="S4.SS3.p1.3.m3.1.1.1.1.1.1.3.3" xref="S4.SS3.p1.3.m3.1.1.1.1.1.1.3.3.cmml">1</mn></mrow></msub><mo id="S4.SS3.p1.3.m3.1.1.1.1.3.4" xref="S4.SS3.p1.3.m3.1.1.1.1.4.cmml">,</mo><msub id="S4.SS3.p1.3.m3.1.1.1.1.2.2" xref="S4.SS3.p1.3.m3.1.1.1.1.2.2.cmml"><mi id="S4.SS3.p1.3.m3.1.1.1.1.2.2.2" xref="S4.SS3.p1.3.m3.1.1.1.1.2.2.2.cmml">x</mi><mi id="S4.SS3.p1.3.m3.1.1.1.1.2.2.3" xref="S4.SS3.p1.3.m3.1.1.1.1.2.2.3.cmml">i</mi></msub><mo id="S4.SS3.p1.3.m3.1.1.1.1.3.5" xref="S4.SS3.p1.3.m3.1.1.1.1.4.cmml">,</mo><msubsup id="S4.SS3.p1.3.m3.1.1.1.1.3.3" xref="S4.SS3.p1.3.m3.1.1.1.1.3.3.cmml"><mi id="S4.SS3.p1.3.m3.1.1.1.1.3.3.2.2" xref="S4.SS3.p1.3.m3.1.1.1.1.3.3.2.2.cmml">x</mi><mi id="S4.SS3.p1.3.m3.1.1.1.1.3.3.2.3" xref="S4.SS3.p1.3.m3.1.1.1.1.3.3.2.3.cmml">i</mi><mo id="S4.SS3.p1.3.m3.1.1.1.1.3.3.3" xref="S4.SS3.p1.3.m3.1.1.1.1.3.3.3.cmml">′</mo></msubsup></mrow><mo id="S4.SS3.p1.3.m3.1.1.1.2">,</mo></mrow><annotation-xml encoding="MathML-Content" id="S4.SS3.p1.3.m3.1b"><list id="S4.SS3.p1.3.m3.1.1.1.1.4.cmml" xref="S4.SS3.p1.3.m3.1.1.1.1.3"><apply id="S4.SS3.p1.3.m3.1.1.1.1.1.1.cmml" xref="S4.SS3.p1.3.m3.1.1.1.1.1.1"><csymbol cd="ambiguous" id="S4.SS3.p1.3.m3.1.1.1.1.1.1.1.cmml" xref="S4.SS3.p1.3.m3.1.1.1.1.1.1">subscript</csymbol><ci id="S4.SS3.p1.3.m3.1.1.1.1.1.1.2.cmml" xref="S4.SS3.p1.3.m3.1.1.1.1.1.1.2">𝑥</ci><apply id="S4.SS3.p1.3.m3.1.1.1.1.1.1.3.cmml" xref="S4.SS3.p1.3.m3.1.1.1.1.1.1.3"><minus id="S4.SS3.p1.3.m3.1.1.1.1.1.1.3.1.cmml" xref="S4.SS3.p1.3.m3.1.1.1.1.1.1.3.1"></minus><ci id="S4.SS3.p1.3.m3.1.1.1.1.1.1.3.2.cmml" xref="S4.SS3.p1.3.m3.1.1.1.1.1.1.3.2">𝑖</ci><cn type="integer" id="S4.SS3.p1.3.m3.1.1.1.1.1.1.3.3.cmml" xref="S4.SS3.p1.3.m3.1.1.1.1.1.1.3.3">1</cn></apply></apply><apply id="S4.SS3.p1.3.m3.1.1.1.1.2.2.cmml" xref="S4.SS3.p1.3.m3.1.1.1.1.2.2"><csymbol cd="ambiguous" id="S4.SS3.p1.3.m3.1.1.1.1.2.2.1.cmml" xref="S4.SS3.p1.3.m3.1.1.1.1.2.2">subscript</csymbol><ci id="S4.SS3.p1.3.m3.1.1.1.1.2.2.2.cmml" xref="S4.SS3.p1.3.m3.1.1.1.1.2.2.2">𝑥</ci><ci id="S4.SS3.p1.3.m3.1.1.1.1.2.2.3.cmml" xref="S4.SS3.p1.3.m3.1.1.1.1.2.2.3">𝑖</ci></apply><apply id="S4.SS3.p1.3.m3.1.1.1.1.3.3.cmml" xref="S4.SS3.p1.3.m3.1.1.1.1.3.3"><csymbol cd="ambiguous" id="S4.SS3.p1.3.m3.1.1.1.1.3.3.1.cmml" xref="S4.SS3.p1.3.m3.1.1.1.1.3.3">superscript</csymbol><apply id="S4.SS3.p1.3.m3.1.1.1.1.3.3.2.cmml" xref="S4.SS3.p1.3.m3.1.1.1.1.3.3"><csymbol cd="ambiguous" id="S4.SS3.p1.3.m3.1.1.1.1.3.3.2.1.cmml" xref="S4.SS3.p1.3.m3.1.1.1.1.3.3">subscript</csymbol><ci id="S4.SS3.p1.3.m3.1.1.1.1.3.3.2.2.cmml" xref="S4.SS3.p1.3.m3.1.1.1.1.3.3.2.2">𝑥</ci><ci id="S4.SS3.p1.3.m3.1.1.1.1.3.3.2.3.cmml" xref="S4.SS3.p1.3.m3.1.1.1.1.3.3.2.3">𝑖</ci></apply><ci id="S4.SS3.p1.3.m3.1.1.1.1.3.3.3.cmml" xref="S4.SS3.p1.3.m3.1.1.1.1.3.3.3">′</ci></apply></list></annotation-xml><annotation encoding="application/x-tex" id="S4.SS3.p1.3.m3.1c">x_{i-1},x_{i},x_{i}^{\prime},</annotation></semantics></math> <span id="S4.SS3.p1.4.1" class="ltx_text ltx_font_typewriter">&lt;backspace&gt;<math id="S4.SS3.p1.4.1.m1.1" class="ltx_math_unparsed" alttext=",x_{i+1},\ldots" display="inline"><semantics id="S4.SS3.p1.4.1.m1.1a"><mrow id="S4.SS3.p1.4.1.m1.1b"><mo id="S4.SS3.p1.4.1.m1.1.1">,</mo><msub id="S4.SS3.p1.4.1.m1.1.2"><mi id="S4.SS3.p1.4.1.m1.1.2.2">x</mi><mrow id="S4.SS3.p1.4.1.m1.1.2.3"><mi id="S4.SS3.p1.4.1.m1.1.2.3.2">i</mi><mo id="S4.SS3.p1.4.1.m1.1.2.3.1">+</mo><mn id="S4.SS3.p1.4.1.m1.1.2.3.3">1</mn></mrow></msub><mo id="S4.SS3.p1.4.1.m1.1.3">,</mo><mi mathvariant="normal" id="S4.SS3.p1.4.1.m1.1.4">…</mi></mrow><annotation encoding="application/x-tex" id="S4.SS3.p1.4.1.m1.1c">,x_{i+1},\ldots</annotation></semantics></math></span>, where <math id="S4.SS3.p1.5.m4.1" class="ltx_Math" alttext="x_{i}^{\prime}" display="inline"><semantics id="S4.SS3.p1.5.m4.1a"><msubsup id="S4.SS3.p1.5.m4.1.1" xref="S4.SS3.p1.5.m4.1.1.cmml"><mi id="S4.SS3.p1.5.m4.1.1.2.2" xref="S4.SS3.p1.5.m4.1.1.2.2.cmml">x</mi><mi id="S4.SS3.p1.5.m4.1.1.2.3" xref="S4.SS3.p1.5.m4.1.1.2.3.cmml">i</mi><mo id="S4.SS3.p1.5.m4.1.1.3" xref="S4.SS3.p1.5.m4.1.1.3.cmml">′</mo></msubsup><annotation-xml encoding="MathML-Content" id="S4.SS3.p1.5.m4.1b"><apply id="S4.SS3.p1.5.m4.1.1.cmml" xref="S4.SS3.p1.5.m4.1.1"><csymbol cd="ambiguous" id="S4.SS3.p1.5.m4.1.1.1.cmml" xref="S4.SS3.p1.5.m4.1.1">superscript</csymbol><apply id="S4.SS3.p1.5.m4.1.1.2.cmml" xref="S4.SS3.p1.5.m4.1.1"><csymbol cd="ambiguous" id="S4.SS3.p1.5.m4.1.1.2.1.cmml" xref="S4.SS3.p1.5.m4.1.1">subscript</csymbol><ci id="S4.SS3.p1.5.m4.1.1.2.2.cmml" xref="S4.SS3.p1.5.m4.1.1.2.2">𝑥</ci><ci id="S4.SS3.p1.5.m4.1.1.2.3.cmml" xref="S4.SS3.p1.5.m4.1.1.2.3">𝑖</ci></apply><ci id="S4.SS3.p1.5.m4.1.1.3.cmml" xref="S4.SS3.p1.5.m4.1.1.3">′</ci></apply></annotation-xml><annotation encoding="application/x-tex" id="S4.SS3.p1.5.m4.1c">x_{i}^{\prime}</annotation></semantics></math> is chosen randomly from the vocabulary. However, we keep the action at position <math id="S4.SS3.p1.6.m5.1" class="ltx_Math" alttext="i" display="inline"><semantics id="S4.SS3.p1.6.m5.1a"><mi id="S4.SS3.p1.6.m5.1.1" xref="S4.SS3.p1.6.m5.1.1.cmml">i</mi><annotation-xml encoding="MathML-Content" id="S4.SS3.p1.6.m5.1b"><ci id="S4.SS3.p1.6.m5.1.1.cmml" xref="S4.SS3.p1.6.m5.1.1">𝑖</ci></annotation-xml><annotation encoding="application/x-tex" id="S4.SS3.p1.6.m5.1c">i</annotation></semantics></math> as <math id="S4.SS3.p1.7.m6.1" class="ltx_Math" alttext="x_{i+1}" display="inline"><semantics id="S4.SS3.p1.7.m6.1a"><msub id="S4.SS3.p1.7.m6.1.1" xref="S4.SS3.p1.7.m6.1.1.cmml"><mi id="S4.SS3.p1.7.m6.1.1.2" xref="S4.SS3.p1.7.m6.1.1.2.cmml">x</mi><mrow id="S4.SS3.p1.7.m6.1.1.3" xref="S4.SS3.p1.7.m6.1.1.3.cmml"><mi id="S4.SS3.p1.7.m6.1.1.3.2" xref="S4.SS3.p1.7.m6.1.1.3.2.cmml">i</mi><mo id="S4.SS3.p1.7.m6.1.1.3.1" xref="S4.SS3.p1.7.m6.1.1.3.1.cmml">+</mo><mn id="S4.SS3.p1.7.m6.1.1.3.3" xref="S4.SS3.p1.7.m6.1.1.3.3.cmml">1</mn></mrow></msub><annotation-xml encoding="MathML-Content" id="S4.SS3.p1.7.m6.1b"><apply id="S4.SS3.p1.7.m6.1.1.cmml" xref="S4.SS3.p1.7.m6.1.1"><csymbol cd="ambiguous" id="S4.SS3.p1.7.m6.1.1.1.cmml" xref="S4.SS3.p1.7.m6.1.1">subscript</csymbol><ci id="S4.SS3.p1.7.m6.1.1.2.cmml" xref="S4.SS3.p1.7.m6.1.1.2">𝑥</ci><apply id="S4.SS3.p1.7.m6.1.1.3.cmml" xref="S4.SS3.p1.7.m6.1.1.3"><plus id="S4.SS3.p1.7.m6.1.1.3.1.cmml" xref="S4.SS3.p1.7.m6.1.1.3.1"></plus><ci id="S4.SS3.p1.7.m6.1.1.3.2.cmml" xref="S4.SS3.p1.7.m6.1.1.3.2">𝑖</ci><cn type="integer" id="S4.SS3.p1.7.m6.1.1.3.3.cmml" xref="S4.SS3.p1.7.m6.1.1.3.3">1</cn></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="S4.SS3.p1.7.m6.1c">x_{i+1}</annotation></semantics></math>, with the result that the overall MDP is augmented with a stochastic dynamics: with probability <math id="S4.SS3.p1.8.m7.1" class="ltx_Math" alttext="\eta" display="inline"><semantics id="S4.SS3.p1.8.m7.1a"><mi id="S4.SS3.p1.8.m7.1.1" xref="S4.SS3.p1.8.m7.1.1.cmml">η</mi><annotation-xml encoding="MathML-Content" id="S4.SS3.p1.8.m7.1b"><ci id="S4.SS3.p1.8.m7.1.1.cmml" xref="S4.SS3.p1.8.m7.1.1">𝜂</ci></annotation-xml><annotation encoding="application/x-tex" id="S4.SS3.p1.8.m7.1c">\eta</annotation></semantics></math> a random token is inserted, instead of the chosen action. We also apply this to sequences which exceed the context length: the action is kept the same but the next token is forced to be the <span id="S4.SS3.p1.8.3" class="ltx_text ltx_font_typewriter">&lt;eos&gt;</span> token. This introduces bias, as the policy learns to match the data distribution under a slightly different MDP than generation takes place in. In practice however, it leads to improved performance compared to the policy learning with no examples of <span id="S4.SS3.p1.8.4" class="ltx_text ltx_font_typewriter">&lt;backspace&gt;</span>.</p>
</div>
<figure id="algorithm1" class="ltx_float ltx_algorithm">
<div id="algorithm1.18" class="ltx_listing ltx_lst_numbers_left ltx_listing">
<div id="algorithm1.5.5" class="ltx_listingline">




<span id="algorithm1.5.5.1" class="ltx_text ltx_font_bold">Input :</span> Dataset <math id="algorithm1.1.1.m1.1" class="ltx_Math" alttext="\mathcal{D}" display="inline"><semantics id="algorithm1.1.1.m1.1a"><mi class="ltx_font_mathcaligraphic" id="algorithm1.1.1.m1.1.1" xref="algorithm1.1.1.m1.1.1.cmml">𝒟</mi><annotation-xml encoding="MathML-Content" id="algorithm1.1.1.m1.1b"><ci id="algorithm1.1.1.m1.1.1.cmml" xref="algorithm1.1.1.m1.1.1">𝒟</ci></annotation-xml><annotation encoding="application/x-tex" id="algorithm1.1.1.m1.1c">\mathcal{D}</annotation></semantics></math> of data sequences, gradient-based optimizer <span id="algorithm1.5.5.2" class="ltx_text ltx_font_typewriter">step</span>, number of train steps <math id="algorithm1.2.2.m2.1" class="ltx_Math" alttext="n_{\text{train}}" display="inline"><semantics id="algorithm1.2.2.m2.1a"><msub id="algorithm1.2.2.m2.1.1" xref="algorithm1.2.2.m2.1.1.cmml"><mi id="algorithm1.2.2.m2.1.1.2" xref="algorithm1.2.2.m2.1.1.2.cmml">n</mi><mtext id="algorithm1.2.2.m2.1.1.3" xref="algorithm1.2.2.m2.1.1.3a.cmml">train</mtext></msub><annotation-xml encoding="MathML-Content" id="algorithm1.2.2.m2.1b"><apply id="algorithm1.2.2.m2.1.1.cmml" xref="algorithm1.2.2.m2.1.1"><csymbol cd="ambiguous" id="algorithm1.2.2.m2.1.1.1.cmml" xref="algorithm1.2.2.m2.1.1">subscript</csymbol><ci id="algorithm1.2.2.m2.1.1.2.cmml" xref="algorithm1.2.2.m2.1.1.2">𝑛</ci><ci id="algorithm1.2.2.m2.1.1.3a.cmml" xref="algorithm1.2.2.m2.1.1.3"><mtext mathsize="70%" id="algorithm1.2.2.m2.1.1.3.cmml" xref="algorithm1.2.2.m2.1.1.3">train</mtext></ci></apply></annotation-xml><annotation encoding="application/x-tex" id="algorithm1.2.2.m2.1c">n_{\text{train}}</annotation></semantics></math>, parameters <math id="algorithm1.3.3.m3.4" class="ltx_Math" alttext="\alpha,\beta,\gamma,\phi" display="inline"><semantics id="algorithm1.3.3.m3.4a"><mrow id="algorithm1.3.3.m3.4.5.2" xref="algorithm1.3.3.m3.4.5.1.cmml"><mi id="algorithm1.3.3.m3.1.1" xref="algorithm1.3.3.m3.1.1.cmml">α</mi><mo id="algorithm1.3.3.m3.4.5.2.1" xref="algorithm1.3.3.m3.4.5.1.cmml">,</mo><mi id="algorithm1.3.3.m3.2.2" xref="algorithm1.3.3.m3.2.2.cmml">β</mi><mo id="algorithm1.3.3.m3.4.5.2.2" xref="algorithm1.3.3.m3.4.5.1.cmml">,</mo><mi id="algorithm1.3.3.m3.3.3" xref="algorithm1.3.3.m3.3.3.cmml">γ</mi><mo id="algorithm1.3.3.m3.4.5.2.3" xref="algorithm1.3.3.m3.4.5.1.cmml">,</mo><mi id="algorithm1.3.3.m3.4.4" xref="algorithm1.3.3.m3.4.4.cmml">ϕ</mi></mrow><annotation-xml encoding="MathML-Content" id="algorithm1.3.3.m3.4b"><list id="algorithm1.3.3.m3.4.5.1.cmml" xref="algorithm1.3.3.m3.4.5.2"><ci id="algorithm1.3.3.m3.1.1.cmml" xref="algorithm1.3.3.m3.1.1">𝛼</ci><ci id="algorithm1.3.3.m3.2.2.cmml" xref="algorithm1.3.3.m3.2.2">𝛽</ci><ci id="algorithm1.3.3.m3.3.3.cmml" xref="algorithm1.3.3.m3.3.3">𝛾</ci><ci id="algorithm1.3.3.m3.4.4.cmml" xref="algorithm1.3.3.m3.4.4">italic-ϕ</ci></list></annotation-xml><annotation encoding="application/x-tex" id="algorithm1.3.3.m3.4c">\alpha,\beta,\gamma,\phi</annotation></semantics></math>, sampling interval <math id="algorithm1.4.4.m4.1" class="ltx_Math" alttext="k_{\text{sample}}" display="inline"><semantics id="algorithm1.4.4.m4.1a"><msub id="algorithm1.4.4.m4.1.1" xref="algorithm1.4.4.m4.1.1.cmml"><mi id="algorithm1.4.4.m4.1.1.2" xref="algorithm1.4.4.m4.1.1.2.cmml">k</mi><mtext id="algorithm1.4.4.m4.1.1.3" xref="algorithm1.4.4.m4.1.1.3a.cmml">sample</mtext></msub><annotation-xml encoding="MathML-Content" id="algorithm1.4.4.m4.1b"><apply id="algorithm1.4.4.m4.1.1.cmml" xref="algorithm1.4.4.m4.1.1"><csymbol cd="ambiguous" id="algorithm1.4.4.m4.1.1.1.cmml" xref="algorithm1.4.4.m4.1.1">subscript</csymbol><ci id="algorithm1.4.4.m4.1.1.2.cmml" xref="algorithm1.4.4.m4.1.1.2">𝑘</ci><ci id="algorithm1.4.4.m4.1.1.3a.cmml" xref="algorithm1.4.4.m4.1.1.3"><mtext mathsize="70%" id="algorithm1.4.4.m4.1.1.3.cmml" xref="algorithm1.4.4.m4.1.1.3">sample</mtext></ci></apply></annotation-xml><annotation encoding="application/x-tex" id="algorithm1.4.4.m4.1c">k_{\text{sample}}</annotation></semantics></math>, fixed context length <math id="algorithm1.5.5.m5.1" class="ltx_Math" alttext="T" display="inline"><semantics id="algorithm1.5.5.m5.1a"><mi id="algorithm1.5.5.m5.1.1" xref="algorithm1.5.5.m5.1.1.cmml">T</mi><annotation-xml encoding="MathML-Content" id="algorithm1.5.5.m5.1b"><ci id="algorithm1.5.5.m5.1.1.cmml" xref="algorithm1.5.5.m5.1.1">𝑇</ci></annotation-xml><annotation encoding="application/x-tex" id="algorithm1.5.5.m5.1c">T</annotation></semantics></math>
</div>
<div id="algorithm1.18.19" class="ltx_listingline">
Add noise and process data sequences with algorithm A to form new effective trajectories
</div>
<div id="algorithm1.7.7" class="ltx_listingline">
Initialize buffer <math id="algorithm1.6.6.m1.1" class="ltx_Math" alttext="\mathcal{B}" display="inline"><semantics id="algorithm1.6.6.m1.1a"><mi class="ltx_font_mathcaligraphic" id="algorithm1.6.6.m1.1.1" xref="algorithm1.6.6.m1.1.1.cmml">ℬ</mi><annotation-xml encoding="MathML-Content" id="algorithm1.6.6.m1.1b"><ci id="algorithm1.6.6.m1.1.1.cmml" xref="algorithm1.6.6.m1.1.1">ℬ</ci></annotation-xml><annotation encoding="application/x-tex" id="algorithm1.6.6.m1.1c">\mathcal{B}</annotation></semantics></math> of model sequences; Initialize autoregressive policy <math id="algorithm1.7.7.m2.1" class="ltx_math_unparsed" alttext="\ell_{\theta}(\cdot|s)" display="inline"><semantics id="algorithm1.7.7.m2.1a"><mrow id="algorithm1.7.7.m2.1b"><msub id="algorithm1.7.7.m2.1.1"><mi mathvariant="normal" id="algorithm1.7.7.m2.1.1.2">ℓ</mi><mi id="algorithm1.7.7.m2.1.1.3">θ</mi></msub><mrow id="algorithm1.7.7.m2.1.2"><mo stretchy="false" id="algorithm1.7.7.m2.1.2.1">(</mo><mo lspace="0em" rspace="0em" id="algorithm1.7.7.m2.1.2.2">⋅</mo><mo fence="false" rspace="0.167em" stretchy="false" id="algorithm1.7.7.m2.1.2.3">|</mo><mi id="algorithm1.7.7.m2.1.2.4">s</mi><mo stretchy="false" id="algorithm1.7.7.m2.1.2.5">)</mo></mrow></mrow><annotation encoding="application/x-tex" id="algorithm1.7.7.m2.1c">\ell_{\theta}(\cdot|s)</annotation></semantics></math>
</div>
<div id="algorithm1.9.9" class="ltx_listingline">
<span id="algorithm1.9.9.3" class="ltx_text ltx_font_bold">for</span> <em id="algorithm1.9.9.2" class="ltx_emph ltx_font_italic"><math id="algorithm1.8.8.1.m1.1" class="ltx_Math" alttext="k" display="inline"><semantics id="algorithm1.8.8.1.m1.1a"><mi id="algorithm1.8.8.1.m1.1.1" xref="algorithm1.8.8.1.m1.1.1.cmml">k</mi><annotation-xml encoding="MathML-Content" id="algorithm1.8.8.1.m1.1b"><ci id="algorithm1.8.8.1.m1.1.1.cmml" xref="algorithm1.8.8.1.m1.1.1">𝑘</ci></annotation-xml><annotation encoding="application/x-tex" id="algorithm1.8.8.1.m1.1c">k</annotation></semantics></math> in <math id="algorithm1.9.9.2.m2.1" class="ltx_Math" alttext="n_{\text{train}}" display="inline"><semantics id="algorithm1.9.9.2.m2.1a"><msub id="algorithm1.9.9.2.m2.1.1" xref="algorithm1.9.9.2.m2.1.1.cmml"><mi id="algorithm1.9.9.2.m2.1.1.2" xref="algorithm1.9.9.2.m2.1.1.2.cmml">n</mi><mtext class="ltx_mathvariant_italic" id="algorithm1.9.9.2.m2.1.1.3" xref="algorithm1.9.9.2.m2.1.1.3b.cmml"><em id="algorithm1.9.9.2.m2.1.1.3.1nest" class="ltx_emph" style="font-size:70%;">train</em></mtext></msub><annotation-xml encoding="MathML-Content" id="algorithm1.9.9.2.m2.1b"><apply id="algorithm1.9.9.2.m2.1.1.cmml" xref="algorithm1.9.9.2.m2.1.1"><csymbol cd="ambiguous" id="algorithm1.9.9.2.m2.1.1.1.cmml" xref="algorithm1.9.9.2.m2.1.1">subscript</csymbol><ci id="algorithm1.9.9.2.m2.1.1.2.cmml" xref="algorithm1.9.9.2.m2.1.1.2">𝑛</ci><ci id="algorithm1.9.9.2.m2.1.1.3b.cmml" xref="algorithm1.9.9.2.m2.1.1.3"><mtext class="ltx_mathvariant_italic" mathsize="70%" id="algorithm1.9.9.2.m2.1.1.3.cmml" xref="algorithm1.9.9.2.m2.1.1.3"><em id="algorithm1.9.9.2.m2.1.1.3.1anest" class="ltx_emph" style="font-size:70%;">train</em></mtext></ci></apply></annotation-xml><annotation encoding="application/x-tex" id="algorithm1.9.9.2.m2.1c">n_{\text{train}}</annotation></semantics></math></em> <span id="algorithm1.9.9.4" class="ltx_text ltx_font_bold">do</span> 
</div>
<div id="algorithm1.10.10" class="ltx_listingline">  <span class="ltx_rule" style="width:1px;height:100%;background:black;display:inline-block;"> </span>   
<span id="algorithm1.10.10.2" class="ltx_text ltx_font_bold">if</span> <em id="algorithm1.10.10.1" class="ltx_emph ltx_font_italic"><math id="algorithm1.10.10.1.m1.1" class="ltx_Math" alttext="k\mod k_{\text{sample}}=0" display="inline"><semantics id="algorithm1.10.10.1.m1.1a"><mrow id="algorithm1.10.10.1.m1.1.1" xref="algorithm1.10.10.1.m1.1.1.cmml"><mrow id="algorithm1.10.10.1.m1.1.1.2" xref="algorithm1.10.10.1.m1.1.1.2.cmml"><mi id="algorithm1.10.10.1.m1.1.1.2.2" xref="algorithm1.10.10.1.m1.1.1.2.2.cmml">k</mi><mo id="algorithm1.10.10.1.m1.1.1.2.1" xref="algorithm1.10.10.1.m1.1.1.2.1.cmml">mod</mo><msub id="algorithm1.10.10.1.m1.1.1.2.3" xref="algorithm1.10.10.1.m1.1.1.2.3.cmml"><mi id="algorithm1.10.10.1.m1.1.1.2.3.2" xref="algorithm1.10.10.1.m1.1.1.2.3.2.cmml">k</mi><mtext class="ltx_mathvariant_italic" id="algorithm1.10.10.1.m1.1.1.2.3.3" xref="algorithm1.10.10.1.m1.1.1.2.3.3b.cmml"><em id="algorithm1.10.10.1.m1.1.1.2.3.3.1nest" class="ltx_emph" style="font-size:70%;">sample</em></mtext></msub></mrow><mo id="algorithm1.10.10.1.m1.1.1.1" xref="algorithm1.10.10.1.m1.1.1.1.cmml">=</mo><mn id="algorithm1.10.10.1.m1.1.1.3" xref="algorithm1.10.10.1.m1.1.1.3.cmml">0</mn></mrow><annotation-xml encoding="MathML-Content" id="algorithm1.10.10.1.m1.1b"><apply id="algorithm1.10.10.1.m1.1.1.cmml" xref="algorithm1.10.10.1.m1.1.1"><eq id="algorithm1.10.10.1.m1.1.1.1.cmml" xref="algorithm1.10.10.1.m1.1.1.1"></eq><apply id="algorithm1.10.10.1.m1.1.1.2.cmml" xref="algorithm1.10.10.1.m1.1.1.2"><csymbol cd="latexml" id="algorithm1.10.10.1.m1.1.1.2.1.cmml" xref="algorithm1.10.10.1.m1.1.1.2.1">modulo</csymbol><ci id="algorithm1.10.10.1.m1.1.1.2.2.cmml" xref="algorithm1.10.10.1.m1.1.1.2.2">𝑘</ci><apply id="algorithm1.10.10.1.m1.1.1.2.3.cmml" xref="algorithm1.10.10.1.m1.1.1.2.3"><csymbol cd="ambiguous" id="algorithm1.10.10.1.m1.1.1.2.3.1.cmml" xref="algorithm1.10.10.1.m1.1.1.2.3">subscript</csymbol><ci id="algorithm1.10.10.1.m1.1.1.2.3.2.cmml" xref="algorithm1.10.10.1.m1.1.1.2.3.2">𝑘</ci><ci id="algorithm1.10.10.1.m1.1.1.2.3.3b.cmml" xref="algorithm1.10.10.1.m1.1.1.2.3.3"><mtext class="ltx_mathvariant_italic" mathsize="70%" id="algorithm1.10.10.1.m1.1.1.2.3.3.cmml" xref="algorithm1.10.10.1.m1.1.1.2.3.3"><em id="algorithm1.10.10.1.m1.1.1.2.3.3.1anest" class="ltx_emph" style="font-size:70%;">sample</em></mtext></ci></apply></apply><cn type="integer" id="algorithm1.10.10.1.m1.1.1.3.cmml" xref="algorithm1.10.10.1.m1.1.1.3">0</cn></apply></annotation-xml><annotation encoding="application/x-tex" id="algorithm1.10.10.1.m1.1c">k\mod k_{\text{sample}}=0</annotation></semantics></math></em> <span id="algorithm1.10.10.3" class="ltx_text ltx_font_bold">then</span> 
</div>
<div id="algorithm1.12.12" class="ltx_listingline">  <span class="ltx_rule" style="width:1px;height:100%;background:black;display:inline-block;"> </span>     <span class="ltx_rule" style="width:1px;height:100%;background:black;display:inline-block;"> </span>   
Populate <math id="algorithm1.11.11.m1.1" class="ltx_Math" alttext="\mathcal{B}" display="inline"><semantics id="algorithm1.11.11.m1.1a"><mi class="ltx_font_mathcaligraphic" id="algorithm1.11.11.m1.1.1" xref="algorithm1.11.11.m1.1.1.cmml">ℬ</mi><annotation-xml encoding="MathML-Content" id="algorithm1.11.11.m1.1b"><ci id="algorithm1.11.11.m1.1.1.cmml" xref="algorithm1.11.11.m1.1.1">ℬ</ci></annotation-xml><annotation encoding="application/x-tex" id="algorithm1.11.11.m1.1c">\mathcal{B}</annotation></semantics></math> with trajectories <math id="algorithm1.12.12.m2.1" class="ltx_Math" alttext="\mathcal{T}\sim\ell_{\theta}" display="inline"><semantics id="algorithm1.12.12.m2.1a"><mrow id="algorithm1.12.12.m2.1.1" xref="algorithm1.12.12.m2.1.1.cmml"><mi class="ltx_font_mathcaligraphic" id="algorithm1.12.12.m2.1.1.2" xref="algorithm1.12.12.m2.1.1.2.cmml">𝒯</mi><mo id="algorithm1.12.12.m2.1.1.1" xref="algorithm1.12.12.m2.1.1.1.cmml">∼</mo><msub id="algorithm1.12.12.m2.1.1.3" xref="algorithm1.12.12.m2.1.1.3.cmml"><mi mathvariant="normal" id="algorithm1.12.12.m2.1.1.3.2" xref="algorithm1.12.12.m2.1.1.3.2.cmml">ℓ</mi><mi id="algorithm1.12.12.m2.1.1.3.3" xref="algorithm1.12.12.m2.1.1.3.3.cmml">θ</mi></msub></mrow><annotation-xml encoding="MathML-Content" id="algorithm1.12.12.m2.1b"><apply id="algorithm1.12.12.m2.1.1.cmml" xref="algorithm1.12.12.m2.1.1"><csymbol cd="latexml" id="algorithm1.12.12.m2.1.1.1.cmml" xref="algorithm1.12.12.m2.1.1.1">similar-to</csymbol><ci id="algorithm1.12.12.m2.1.1.2.cmml" xref="algorithm1.12.12.m2.1.1.2">𝒯</ci><apply id="algorithm1.12.12.m2.1.1.3.cmml" xref="algorithm1.12.12.m2.1.1.3"><csymbol cd="ambiguous" id="algorithm1.12.12.m2.1.1.3.1.cmml" xref="algorithm1.12.12.m2.1.1.3">subscript</csymbol><ci id="algorithm1.12.12.m2.1.1.3.2.cmml" xref="algorithm1.12.12.m2.1.1.3.2">ℓ</ci><ci id="algorithm1.12.12.m2.1.1.3.3.cmml" xref="algorithm1.12.12.m2.1.1.3.3">𝜃</ci></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="algorithm1.12.12.m2.1c">\mathcal{T}\sim\ell_{\theta}</annotation></semantics></math>; Process added sequences with algorithm A 
</div>
<div id="algorithm1.18.20" class="ltx_listingline">  <span class="ltx_rule" style="width:1px;height:100%;background:black;display:inline-block;"> </span>     <span class="ltx_rule" style="width:1px;height:100%;background:black;display:inline-block;"> </span>   

</div>
<div id="algorithm1.13.13" class="ltx_listingline">  <span class="ltx_rule" style="width:1px;height:100%;background:black;display:inline-block;"> </span>     <span class="ltx_rule" style="width:1px;height:100%;background:black;display:inline-block;"> </span>   Remove oldest model sequences from <math id="algorithm1.13.13.m1.1" class="ltx_Math" alttext="\mathcal{B}" display="inline"><semantics id="algorithm1.13.13.m1.1a"><mi class="ltx_font_mathcaligraphic" id="algorithm1.13.13.m1.1.1" xref="algorithm1.13.13.m1.1.1.cmml">ℬ</mi><annotation-xml encoding="MathML-Content" id="algorithm1.13.13.m1.1b"><ci id="algorithm1.13.13.m1.1.1.cmml" xref="algorithm1.13.13.m1.1.1">ℬ</ci></annotation-xml><annotation encoding="application/x-tex" id="algorithm1.13.13.m1.1c">\mathcal{B}</annotation></semantics></math>

</div>
<div id="algorithm1.18.21" class="ltx_listingline">  <span class="ltx_rule" style="width:1px;height:100%;background:black;display:inline-block;"> </span>    end if
</div>
<div id="algorithm1.15.15" class="ltx_listingline">  <span class="ltx_rule" style="width:1px;height:100%;background:black;display:inline-block;"> </span>   Sample dataset trajectories <math id="algorithm1.14.14.m1.1" class="ltx_Math" alttext="\mathcal{T}_{\text{data}}\sim\mathcal{D}" display="inline"><semantics id="algorithm1.14.14.m1.1a"><mrow id="algorithm1.14.14.m1.1.1" xref="algorithm1.14.14.m1.1.1.cmml"><msub id="algorithm1.14.14.m1.1.1.2" xref="algorithm1.14.14.m1.1.1.2.cmml"><mi class="ltx_font_mathcaligraphic" id="algorithm1.14.14.m1.1.1.2.2" xref="algorithm1.14.14.m1.1.1.2.2.cmml">𝒯</mi><mtext id="algorithm1.14.14.m1.1.1.2.3" xref="algorithm1.14.14.m1.1.1.2.3a.cmml">data</mtext></msub><mo id="algorithm1.14.14.m1.1.1.1" xref="algorithm1.14.14.m1.1.1.1.cmml">∼</mo><mi class="ltx_font_mathcaligraphic" id="algorithm1.14.14.m1.1.1.3" xref="algorithm1.14.14.m1.1.1.3.cmml">𝒟</mi></mrow><annotation-xml encoding="MathML-Content" id="algorithm1.14.14.m1.1b"><apply id="algorithm1.14.14.m1.1.1.cmml" xref="algorithm1.14.14.m1.1.1"><csymbol cd="latexml" id="algorithm1.14.14.m1.1.1.1.cmml" xref="algorithm1.14.14.m1.1.1.1">similar-to</csymbol><apply id="algorithm1.14.14.m1.1.1.2.cmml" xref="algorithm1.14.14.m1.1.1.2"><csymbol cd="ambiguous" id="algorithm1.14.14.m1.1.1.2.1.cmml" xref="algorithm1.14.14.m1.1.1.2">subscript</csymbol><ci id="algorithm1.14.14.m1.1.1.2.2.cmml" xref="algorithm1.14.14.m1.1.1.2.2">𝒯</ci><ci id="algorithm1.14.14.m1.1.1.2.3a.cmml" xref="algorithm1.14.14.m1.1.1.2.3"><mtext mathsize="70%" id="algorithm1.14.14.m1.1.1.2.3.cmml" xref="algorithm1.14.14.m1.1.1.2.3">data</mtext></ci></apply><ci id="algorithm1.14.14.m1.1.1.3.cmml" xref="algorithm1.14.14.m1.1.1.3">𝒟</ci></apply></annotation-xml><annotation encoding="application/x-tex" id="algorithm1.14.14.m1.1c">\mathcal{T}_{\text{data}}\sim\mathcal{D}</annotation></semantics></math> and model trajectories <math id="algorithm1.15.15.m2.1" class="ltx_Math" alttext="\mathcal{T}_{\text{model}}\sim\mathcal{B}" display="inline"><semantics id="algorithm1.15.15.m2.1a"><mrow id="algorithm1.15.15.m2.1.1" xref="algorithm1.15.15.m2.1.1.cmml"><msub id="algorithm1.15.15.m2.1.1.2" xref="algorithm1.15.15.m2.1.1.2.cmml"><mi class="ltx_font_mathcaligraphic" id="algorithm1.15.15.m2.1.1.2.2" xref="algorithm1.15.15.m2.1.1.2.2.cmml">𝒯</mi><mtext id="algorithm1.15.15.m2.1.1.2.3" xref="algorithm1.15.15.m2.1.1.2.3a.cmml">model</mtext></msub><mo id="algorithm1.15.15.m2.1.1.1" xref="algorithm1.15.15.m2.1.1.1.cmml">∼</mo><mi class="ltx_font_mathcaligraphic" id="algorithm1.15.15.m2.1.1.3" xref="algorithm1.15.15.m2.1.1.3.cmml">ℬ</mi></mrow><annotation-xml encoding="MathML-Content" id="algorithm1.15.15.m2.1b"><apply id="algorithm1.15.15.m2.1.1.cmml" xref="algorithm1.15.15.m2.1.1"><csymbol cd="latexml" id="algorithm1.15.15.m2.1.1.1.cmml" xref="algorithm1.15.15.m2.1.1.1">similar-to</csymbol><apply id="algorithm1.15.15.m2.1.1.2.cmml" xref="algorithm1.15.15.m2.1.1.2"><csymbol cd="ambiguous" id="algorithm1.15.15.m2.1.1.2.1.cmml" xref="algorithm1.15.15.m2.1.1.2">subscript</csymbol><ci id="algorithm1.15.15.m2.1.1.2.2.cmml" xref="algorithm1.15.15.m2.1.1.2.2">𝒯</ci><ci id="algorithm1.15.15.m2.1.1.2.3a.cmml" xref="algorithm1.15.15.m2.1.1.2.3"><mtext mathsize="70%" id="algorithm1.15.15.m2.1.1.2.3.cmml" xref="algorithm1.15.15.m2.1.1.2.3">model</mtext></ci></apply><ci id="algorithm1.15.15.m2.1.1.3.cmml" xref="algorithm1.15.15.m2.1.1.3">ℬ</ci></apply></annotation-xml><annotation encoding="application/x-tex" id="algorithm1.15.15.m2.1c">\mathcal{T}_{\text{model}}\sim\mathcal{B}</annotation></semantics></math>
</div>
<div id="algorithm1.18.22" class="ltx_listingline">  <span class="ltx_rule" style="width:1px;height:100%;background:black;display:inline-block;"> </span>   

</div>
<div id="algorithm1.18.18" class="ltx_listingline">  <span class="ltx_rule" style="width:1px;height:100%;background:black;display:inline-block;"> </span>   Compute <math id="algorithm1.16.16.m1.5" class="ltx_Math" alttext="g=\nabla_{\theta}{\hat{\cal J}}(\ell_{\theta},\alpha,\gamma,\mathcal{T}_{\text{data}},\mathcal{T}_{\text{model}})" display="inline"><semantics id="algorithm1.16.16.m1.5a"><mrow id="algorithm1.16.16.m1.5.5" xref="algorithm1.16.16.m1.5.5.cmml"><mi id="algorithm1.16.16.m1.5.5.5" xref="algorithm1.16.16.m1.5.5.5.cmml">g</mi><mo id="algorithm1.16.16.m1.5.5.4" xref="algorithm1.16.16.m1.5.5.4.cmml">=</mo><mrow id="algorithm1.16.16.m1.5.5.3" xref="algorithm1.16.16.m1.5.5.3.cmml"><mrow id="algorithm1.16.16.m1.5.5.3.5" xref="algorithm1.16.16.m1.5.5.3.5.cmml"><msub id="algorithm1.16.16.m1.5.5.3.5.1" xref="algorithm1.16.16.m1.5.5.3.5.1.cmml"><mo rspace="0.167em" id="algorithm1.16.16.m1.5.5.3.5.1.2" xref="algorithm1.16.16.m1.5.5.3.5.1.2.cmml">∇</mo><mi id="algorithm1.16.16.m1.5.5.3.5.1.3" xref="algorithm1.16.16.m1.5.5.3.5.1.3.cmml">θ</mi></msub><mover accent="true" id="algorithm1.16.16.m1.5.5.3.5.2" xref="algorithm1.16.16.m1.5.5.3.5.2.cmml"><mi class="ltx_font_mathcaligraphic" id="algorithm1.16.16.m1.5.5.3.5.2.2" xref="algorithm1.16.16.m1.5.5.3.5.2.2.cmml">𝒥</mi><mo id="algorithm1.16.16.m1.5.5.3.5.2.1" xref="algorithm1.16.16.m1.5.5.3.5.2.1.cmml">^</mo></mover></mrow><mo lspace="0em" rspace="0em" id="algorithm1.16.16.m1.5.5.3.4" xref="algorithm1.16.16.m1.5.5.3.4.cmml">​</mo><mrow id="algorithm1.16.16.m1.5.5.3.3.3" xref="algorithm1.16.16.m1.5.5.3.3.4.cmml"><mo stretchy="false" id="algorithm1.16.16.m1.5.5.3.3.3.4" xref="algorithm1.16.16.m1.5.5.3.3.4.cmml">(</mo><msub id="algorithm1.16.16.m1.3.3.1.1.1.1" xref="algorithm1.16.16.m1.3.3.1.1.1.1.cmml"><mi mathvariant="normal" id="algorithm1.16.16.m1.3.3.1.1.1.1.2" xref="algorithm1.16.16.m1.3.3.1.1.1.1.2.cmml">ℓ</mi><mi id="algorithm1.16.16.m1.3.3.1.1.1.1.3" xref="algorithm1.16.16.m1.3.3.1.1.1.1.3.cmml">θ</mi></msub><mo id="algorithm1.16.16.m1.5.5.3.3.3.5" xref="algorithm1.16.16.m1.5.5.3.3.4.cmml">,</mo><mi id="algorithm1.16.16.m1.1.1" xref="algorithm1.16.16.m1.1.1.cmml">α</mi><mo id="algorithm1.16.16.m1.5.5.3.3.3.6" xref="algorithm1.16.16.m1.5.5.3.3.4.cmml">,</mo><mi id="algorithm1.16.16.m1.2.2" xref="algorithm1.16.16.m1.2.2.cmml">γ</mi><mo id="algorithm1.16.16.m1.5.5.3.3.3.7" xref="algorithm1.16.16.m1.5.5.3.3.4.cmml">,</mo><msub id="algorithm1.16.16.m1.4.4.2.2.2.2" xref="algorithm1.16.16.m1.4.4.2.2.2.2.cmml"><mi class="ltx_font_mathcaligraphic" id="algorithm1.16.16.m1.4.4.2.2.2.2.2" xref="algorithm1.16.16.m1.4.4.2.2.2.2.2.cmml">𝒯</mi><mtext id="algorithm1.16.16.m1.4.4.2.2.2.2.3" xref="algorithm1.16.16.m1.4.4.2.2.2.2.3a.cmml">data</mtext></msub><mo id="algorithm1.16.16.m1.5.5.3.3.3.8" xref="algorithm1.16.16.m1.5.5.3.3.4.cmml">,</mo><msub id="algorithm1.16.16.m1.5.5.3.3.3.3" xref="algorithm1.16.16.m1.5.5.3.3.3.3.cmml"><mi class="ltx_font_mathcaligraphic" id="algorithm1.16.16.m1.5.5.3.3.3.3.2" xref="algorithm1.16.16.m1.5.5.3.3.3.3.2.cmml">𝒯</mi><mtext id="algorithm1.16.16.m1.5.5.3.3.3.3.3" xref="algorithm1.16.16.m1.5.5.3.3.3.3.3a.cmml">model</mtext></msub><mo stretchy="false" id="algorithm1.16.16.m1.5.5.3.3.3.9" xref="algorithm1.16.16.m1.5.5.3.3.4.cmml">)</mo></mrow></mrow></mrow><annotation-xml encoding="MathML-Content" id="algorithm1.16.16.m1.5b"><apply id="algorithm1.16.16.m1.5.5.cmml" xref="algorithm1.16.16.m1.5.5"><eq id="algorithm1.16.16.m1.5.5.4.cmml" xref="algorithm1.16.16.m1.5.5.4"></eq><ci id="algorithm1.16.16.m1.5.5.5.cmml" xref="algorithm1.16.16.m1.5.5.5">𝑔</ci><apply id="algorithm1.16.16.m1.5.5.3.cmml" xref="algorithm1.16.16.m1.5.5.3"><times id="algorithm1.16.16.m1.5.5.3.4.cmml" xref="algorithm1.16.16.m1.5.5.3.4"></times><apply id="algorithm1.16.16.m1.5.5.3.5.cmml" xref="algorithm1.16.16.m1.5.5.3.5"><apply id="algorithm1.16.16.m1.5.5.3.5.1.cmml" xref="algorithm1.16.16.m1.5.5.3.5.1"><csymbol cd="ambiguous" id="algorithm1.16.16.m1.5.5.3.5.1.1.cmml" xref="algorithm1.16.16.m1.5.5.3.5.1">subscript</csymbol><ci id="algorithm1.16.16.m1.5.5.3.5.1.2.cmml" xref="algorithm1.16.16.m1.5.5.3.5.1.2">∇</ci><ci id="algorithm1.16.16.m1.5.5.3.5.1.3.cmml" xref="algorithm1.16.16.m1.5.5.3.5.1.3">𝜃</ci></apply><apply id="algorithm1.16.16.m1.5.5.3.5.2.cmml" xref="algorithm1.16.16.m1.5.5.3.5.2"><ci id="algorithm1.16.16.m1.5.5.3.5.2.1.cmml" xref="algorithm1.16.16.m1.5.5.3.5.2.1">^</ci><ci id="algorithm1.16.16.m1.5.5.3.5.2.2.cmml" xref="algorithm1.16.16.m1.5.5.3.5.2.2">𝒥</ci></apply></apply><vector id="algorithm1.16.16.m1.5.5.3.3.4.cmml" xref="algorithm1.16.16.m1.5.5.3.3.3"><apply id="algorithm1.16.16.m1.3.3.1.1.1.1.cmml" xref="algorithm1.16.16.m1.3.3.1.1.1.1"><csymbol cd="ambiguous" id="algorithm1.16.16.m1.3.3.1.1.1.1.1.cmml" xref="algorithm1.16.16.m1.3.3.1.1.1.1">subscript</csymbol><ci id="algorithm1.16.16.m1.3.3.1.1.1.1.2.cmml" xref="algorithm1.16.16.m1.3.3.1.1.1.1.2">ℓ</ci><ci id="algorithm1.16.16.m1.3.3.1.1.1.1.3.cmml" xref="algorithm1.16.16.m1.3.3.1.1.1.1.3">𝜃</ci></apply><ci id="algorithm1.16.16.m1.1.1.cmml" xref="algorithm1.16.16.m1.1.1">𝛼</ci><ci id="algorithm1.16.16.m1.2.2.cmml" xref="algorithm1.16.16.m1.2.2">𝛾</ci><apply id="algorithm1.16.16.m1.4.4.2.2.2.2.cmml" xref="algorithm1.16.16.m1.4.4.2.2.2.2"><csymbol cd="ambiguous" id="algorithm1.16.16.m1.4.4.2.2.2.2.1.cmml" xref="algorithm1.16.16.m1.4.4.2.2.2.2">subscript</csymbol><ci id="algorithm1.16.16.m1.4.4.2.2.2.2.2.cmml" xref="algorithm1.16.16.m1.4.4.2.2.2.2.2">𝒯</ci><ci id="algorithm1.16.16.m1.4.4.2.2.2.2.3a.cmml" xref="algorithm1.16.16.m1.4.4.2.2.2.2.3"><mtext mathsize="70%" id="algorithm1.16.16.m1.4.4.2.2.2.2.3.cmml" xref="algorithm1.16.16.m1.4.4.2.2.2.2.3">data</mtext></ci></apply><apply id="algorithm1.16.16.m1.5.5.3.3.3.3.cmml" xref="algorithm1.16.16.m1.5.5.3.3.3.3"><csymbol cd="ambiguous" id="algorithm1.16.16.m1.5.5.3.3.3.3.1.cmml" xref="algorithm1.16.16.m1.5.5.3.3.3.3">subscript</csymbol><ci id="algorithm1.16.16.m1.5.5.3.3.3.3.2.cmml" xref="algorithm1.16.16.m1.5.5.3.3.3.3.2">𝒯</ci><ci id="algorithm1.16.16.m1.5.5.3.3.3.3.3a.cmml" xref="algorithm1.16.16.m1.5.5.3.3.3.3.3"><mtext mathsize="70%" id="algorithm1.16.16.m1.5.5.3.3.3.3.3.cmml" xref="algorithm1.16.16.m1.5.5.3.3.3.3.3">model</mtext></ci></apply></vector></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="algorithm1.16.16.m1.5c">g=\nabla_{\theta}{\hat{\cal J}}(\ell_{\theta},\alpha,\gamma,\mathcal{T}_{\text{data}},\mathcal{T}_{\text{model}})</annotation></semantics></math> and update <math id="algorithm1.17.17.m2.1" class="ltx_Math" alttext="\theta" display="inline"><semantics id="algorithm1.17.17.m2.1a"><mi id="algorithm1.17.17.m2.1.1" xref="algorithm1.17.17.m2.1.1.cmml">θ</mi><annotation-xml encoding="MathML-Content" id="algorithm1.17.17.m2.1b"><ci id="algorithm1.17.17.m2.1.1.cmml" xref="algorithm1.17.17.m2.1.1">𝜃</ci></annotation-xml><annotation encoding="application/x-tex" id="algorithm1.17.17.m2.1c">\theta</annotation></semantics></math> via <span id="algorithm1.18.18.1" class="ltx_text ltx_font_typewriter">step</span> using gradient <math id="algorithm1.18.18.m3.1" class="ltx_Math" alttext="g" display="inline"><semantics id="algorithm1.18.18.m3.1a"><mi id="algorithm1.18.18.m3.1.1" xref="algorithm1.18.18.m3.1.1.cmml">g</mi><annotation-xml encoding="MathML-Content" id="algorithm1.18.18.m3.1b"><ci id="algorithm1.18.18.m3.1.1.cmml" xref="algorithm1.18.18.m3.1.1">𝑔</ci></annotation-xml><annotation encoding="application/x-tex" id="algorithm1.18.18.m3.1c">g</annotation></semantics></math>
</div>
<div id="algorithm1.18.23" class="ltx_listingline">  <span class="ltx_rule" style="width:1px;height:100%;background:black;display:inline-block;"> </span>   

</div>
<div id="algorithm1.18.24" class="ltx_listingline"> end for
</div>
<div id="algorithm1.18.25" class="ltx_listingline">
</div>
</div>
<figcaption class="ltx_caption"><span class="ltx_tag ltx_tag_float"><span id="algorithm1.20.1.1" class="ltx_text ltx_font_bold">Algorithm 1</span> </span>Training an autoregressive model against a SequenceMatch objective</figcaption>
</figure>
</section>
</section>
<section id="S5" class="ltx_section">
<h2 class="ltx_title ltx_title_section">
<span class="ltx_tag ltx_tag_section">5 </span>Related Work</h2>

<section id="S5.SS0.SSS0.Px1" class="ltx_paragraph">
<h5 class="ltx_title ltx_title_paragraph">Text Degeneration in Large Language Models
<br class="ltx_break">
</h5>

<div id="S5.SS0.SSS0.Px1.p1" class="ltx_para">
<p id="S5.SS0.SSS0.Px1.p1.1" class="ltx_p">In natural language processing (NLP) the phenomenon of <em id="S5.SS0.SSS0.Px1.p1.1.1" class="ltx_emph ltx_font_italic">text degeneration</em> can occur, when a language model produces repetitive or nonsensical sequences <cite class="ltx_cite ltx_citemacro_citep">[<a href="#bib.bib15" title="" class="ltx_ref">15</a>]</cite>.
Many explanations have been proposed to explain this phenomenon <cite class="ltx_cite ltx_citemacro_citep">[<a href="#bib.bib10" title="" class="ltx_ref">10</a>, <a href="#bib.bib37" title="" class="ltx_ref">37</a>]</cite>; a leading theory is that the large vocabulary size induces the model to over-estimate the probability of out-of-distribution (OOD) tokens.
Once these tokens are sampled, the model’s context is now out-of-distribution.</p>
</div>
<div id="S5.SS0.SSS0.Px1.p2" class="ltx_para">
<p id="S5.SS0.SSS0.Px1.p2.4" class="ltx_p">Measures to mitigate this problem include top-<math id="S5.SS0.SSS0.Px1.p2.1.m1.1" class="ltx_Math" alttext="k" display="inline"><semantics id="S5.SS0.SSS0.Px1.p2.1.m1.1a"><mi id="S5.SS0.SSS0.Px1.p2.1.m1.1.1" xref="S5.SS0.SSS0.Px1.p2.1.m1.1.1.cmml">k</mi><annotation-xml encoding="MathML-Content" id="S5.SS0.SSS0.Px1.p2.1.m1.1b"><ci id="S5.SS0.SSS0.Px1.p2.1.m1.1.1.cmml" xref="S5.SS0.SSS0.Px1.p2.1.m1.1.1">𝑘</ci></annotation-xml><annotation encoding="application/x-tex" id="S5.SS0.SSS0.Px1.p2.1.m1.1c">k</annotation></semantics></math> sampling <cite class="ltx_cite ltx_citemacro_citep">[<a href="#bib.bib9" title="" class="ltx_ref">9</a>]</cite>, restricting generations to the <math id="S5.SS0.SSS0.Px1.p2.2.m2.1" class="ltx_Math" alttext="k" display="inline"><semantics id="S5.SS0.SSS0.Px1.p2.2.m2.1a"><mi id="S5.SS0.SSS0.Px1.p2.2.m2.1.1" xref="S5.SS0.SSS0.Px1.p2.2.m2.1.1.cmml">k</mi><annotation-xml encoding="MathML-Content" id="S5.SS0.SSS0.Px1.p2.2.m2.1b"><ci id="S5.SS0.SSS0.Px1.p2.2.m2.1.1.cmml" xref="S5.SS0.SSS0.Px1.p2.2.m2.1.1">𝑘</ci></annotation-xml><annotation encoding="application/x-tex" id="S5.SS0.SSS0.Px1.p2.2.m2.1c">k</annotation></semantics></math> most likely tokens, and top-<math id="S5.SS0.SSS0.Px1.p2.3.m3.1" class="ltx_Math" alttext="p" display="inline"><semantics id="S5.SS0.SSS0.Px1.p2.3.m3.1a"><mi id="S5.SS0.SSS0.Px1.p2.3.m3.1.1" xref="S5.SS0.SSS0.Px1.p2.3.m3.1.1.cmml">p</mi><annotation-xml encoding="MathML-Content" id="S5.SS0.SSS0.Px1.p2.3.m3.1b"><ci id="S5.SS0.SSS0.Px1.p2.3.m3.1.1.cmml" xref="S5.SS0.SSS0.Px1.p2.3.m3.1.1">𝑝</ci></annotation-xml><annotation encoding="application/x-tex" id="S5.SS0.SSS0.Px1.p2.3.m3.1c">p</annotation></semantics></math> sampling <cite class="ltx_cite ltx_citemacro_citep">[<a href="#bib.bib15" title="" class="ltx_ref">15</a>]</cite>, an adaptive variant of top-<math id="S5.SS0.SSS0.Px1.p2.4.m4.1" class="ltx_Math" alttext="k" display="inline"><semantics id="S5.SS0.SSS0.Px1.p2.4.m4.1a"><mi id="S5.SS0.SSS0.Px1.p2.4.m4.1.1" xref="S5.SS0.SSS0.Px1.p2.4.m4.1.1.cmml">k</mi><annotation-xml encoding="MathML-Content" id="S5.SS0.SSS0.Px1.p2.4.m4.1b"><ci id="S5.SS0.SSS0.Px1.p2.4.m4.1.1.cmml" xref="S5.SS0.SSS0.Px1.p2.4.m4.1.1">𝑘</ci></annotation-xml><annotation encoding="application/x-tex" id="S5.SS0.SSS0.Px1.p2.4.m4.1c">k</annotation></semantics></math> sampling.
In addition, several alternative training measures have been proposed to reduce the probability of the model producing OOD tokens.
Unlikelihood training <cite class="ltx_cite ltx_citemacro_citep">[<a href="#bib.bib37" title="" class="ltx_ref">37</a>]</cite> is discussed in detail in the appendix, while contrastive methods have also been proposed <cite class="ltx_cite ltx_citemacro_citep">[<a href="#bib.bib17" title="" class="ltx_ref">17</a>]</cite>, which force the representations of repetitive text to be far from the representations of correct text.</p>
</div>
</section>
<section id="S5.SS0.SSS0.Px2" class="ltx_paragraph">
<h5 class="ltx_title ltx_title_paragraph">Matching Divergences in Imitation Learning
<br class="ltx_break">
</h5>

<div id="S5.SS0.SSS0.Px2.p1" class="ltx_para">
<p id="S5.SS0.SSS0.Px2.p1.1" class="ltx_p">In the imitation learning<cite class="ltx_cite ltx_citemacro_citep">[<a href="#bib.bib23" title="" class="ltx_ref">23</a>]</cite> subfield of RL, the objective is to learn a policy giving a distribution over actions in each state, such that the distribution over trajectories is close to distribution of a set of provided expert trajectories.
A simple approach is behavioural cloning <cite class="ltx_cite ltx_citemacro_citep">[<a href="#bib.bib8" title="" class="ltx_ref">8</a>]</cite>, which maximizes the likelihood of the expert’s chosen actions, on average over the states that the expert encounters.
However, it has been shown <cite class="ltx_cite ltx_citemacro_citep">[<a href="#bib.bib27" title="" class="ltx_ref">27</a>]</cite> that this simple behaviour cloning approach results in a <em id="S5.SS0.SSS0.Px2.p1.1.1" class="ltx_emph ltx_font_italic">compounding error</em> problem, where the further the trained model gets from the typical expert states, the worse the model performs, incurring increasing error.
<cite class="ltx_cite ltx_citemacro_citet">Ho and Ermon [<a href="#bib.bib14" title="" class="ltx_ref">14</a>]</cite> show that minimizing the occupancy divergence between the expert and a learned policy could be written as a two-variable saddle-point optimization problem.
This more sophisticated method is able to take the dynamics of the problem into account, learning a policy which can return to the typical expert states if it erroneously leaves them.
In <cite class="ltx_cite ltx_citemacro_citet">Garg et al. [<a href="#bib.bib11" title="" class="ltx_ref">11</a>]</cite>, this was further developed via a change of variables to only require a non-adversarial optimization over one variable.
We can view our approach as a specialization of the IQ-Learn algorithm in <cite class="ltx_cite ltx_citemacro_citet">Garg et al. [<a href="#bib.bib11" title="" class="ltx_ref">11</a>]</cite> to autoregressive sequence models.</p>
</div>
</section>
</section>
<section id="S6" class="ltx_section">
<h2 class="ltx_title ltx_title_section">
<span class="ltx_tag ltx_tag_section">6 </span>Experiments</h2>

<figure id="S6.F3" class="ltx_figure"><img src="/html/2306.05426/assets/x3.png" id="S6.F3.g1" class="ltx_graphics ltx_centering ltx_img_landscape" width="438" height="146" alt="Refer to caption">
<figcaption class="ltx_caption ltx_centering"><span class="ltx_tag ltx_tag_figure">Figure 3: </span>MAUVE score when fine-tuning GPT2 of various sizes on the openwebtext dataset with context length 512. Higher is better. Full and LM Head refer to which parts of the pretrained model are trained. We see that SequenceMatch outperforms behavioral cloning and MLE. The fully trained models achieve much higher MAUVE scores than the variant only training the head.</figcaption>
</figure>
<div id="S6.p1" class="ltx_para">
<p id="S6.p1.1" class="ltx_p">We experimentally verify that SequenceMatch can lead to better generation of sequences compared to the typical maximum-likelihood objective, when evaluated on a language modelling task <cite class="ltx_cite ltx_citemacro_cite">[<a href="#bib.bib5" title="" class="ltx_ref">5</a>, <a href="#bib.bib7" title="" class="ltx_ref">7</a>]</cite>. Many more experimental details, code and additional analyses are provided in the supplementary material.</p>
</div>
<section id="S6.SS0.SSS0.Px1" class="ltx_paragraph">
<h5 class="ltx_title ltx_title_paragraph">Experimental Setup
<br class="ltx_break">
</h5>

<div id="S6.SS0.SSS0.Px1.p1" class="ltx_para">
<p id="S6.SS0.SSS0.Px1.p1.7" class="ltx_p">We use the GPT-2 <cite class="ltx_cite ltx_citemacro_cite">[<a href="#bib.bib25" title="" class="ltx_ref">25</a>]</cite> causally-masked transformer architecture through Huggingface <cite class="ltx_cite ltx_citemacro_citep">[<a href="#bib.bib38" title="" class="ltx_ref">38</a>]</cite> and Flax/Jax <cite class="ltx_cite ltx_citemacro_citep">[<a href="#bib.bib13" title="" class="ltx_ref">13</a>, <a href="#bib.bib6" title="" class="ltx_ref">6</a>]</cite>. We finetune on sequences from the openwebtext dataset<span id="footnote3" class="ltx_note ltx_role_footnote"><sup class="ltx_note_mark">3</sup><span class="ltx_note_outer"><span class="ltx_note_content"><sup class="ltx_note_mark">3</sup><span class="ltx_tag ltx_tag_note">3</span>https://github.com/jcpeterson/openwebtext</span></span></span>, an open-sourced dataset similar to the original GPT-2 training set. To ensure the data was well-specified under our data generating process, we subsampled the dataset to remove sequences that did not terminate before the end of the context window (512 for experiments in figure <a href="#S6.F3" title="Figure 3 ‣ 6 Experiments ‣ SequenceMatch: Imitation Learning for Autoregressive Sequence Modelling with Backtracking" class="ltx_ref"><span class="ltx_text ltx_ref_tag">3</span></a> and 1024 for results in table <a href="#S6.T1" title="Table 1 ‣ Results ‣ 6 Experiments ‣ SequenceMatch: Imitation Learning for Autoregressive Sequence Modelling with Backtracking" class="ltx_ref"><span class="ltx_text ltx_ref_tag">1</span></a>), and padded sequences that terminated before the context length. We consider two training regimes: <span id="S6.SS0.SSS0.Px1.p1.7.1" class="ltx_text ltx_font_typewriter">Full</span>, where all model parameters are trained, and <span id="S6.SS0.SSS0.Px1.p1.7.2" class="ltx_text ltx_font_typewriter">LM Head</span>, where the model parameters are frozen and the final linear layer is trained. In both cases we add an additional head depending on the positional encodings to the model which generates an offset to the logits, allowing a position-dependent offset to be learned.
We compare a SequenceMatch-trained model against two baselines: <span id="S6.SS0.SSS0.Px1.p1.7.3" class="ltx_text ltx_font_typewriter">MLE</span> is a model trained against the typical MLE objective. <span id="S6.SS0.SSS0.Px1.p1.7.4" class="ltx_text ltx_font_typewriter">Behavioral Cloning</span> is a model trained with injected noise and <span id="S6.SS0.SSS0.Px1.p1.7.5" class="ltx_text ltx_font_typewriter">&lt;backspace&gt;</span> labels, but the MLE objective. Due to computational constraints we were unable to train on multiple seeds to obtain error bars. We train for 50,000 gradient steps with the AdamW optimizer <cite class="ltx_cite ltx_citemacro_citep">[<a href="#bib.bib21" title="" class="ltx_ref">21</a>]</cite>, taking hyperparameters from the nanoGPT implementation<span id="footnote4" class="ltx_note ltx_role_footnote"><sup class="ltx_note_mark">4</sup><span class="ltx_note_outer"><span class="ltx_note_content"><sup class="ltx_note_mark">4</sup><span class="ltx_tag ltx_tag_note">4</span>https://github.com/karpathy/nanoGPT</span></span></span>. We set <math id="S6.SS0.SSS0.Px1.p1.1.m1.1" class="ltx_Math" alttext="\alpha=0.01" display="inline"><semantics id="S6.SS0.SSS0.Px1.p1.1.m1.1a"><mrow id="S6.SS0.SSS0.Px1.p1.1.m1.1.1" xref="S6.SS0.SSS0.Px1.p1.1.m1.1.1.cmml"><mi id="S6.SS0.SSS0.Px1.p1.1.m1.1.1.2" xref="S6.SS0.SSS0.Px1.p1.1.m1.1.1.2.cmml">α</mi><mo id="S6.SS0.SSS0.Px1.p1.1.m1.1.1.1" xref="S6.SS0.SSS0.Px1.p1.1.m1.1.1.1.cmml">=</mo><mn id="S6.SS0.SSS0.Px1.p1.1.m1.1.1.3" xref="S6.SS0.SSS0.Px1.p1.1.m1.1.1.3.cmml">0.01</mn></mrow><annotation-xml encoding="MathML-Content" id="S6.SS0.SSS0.Px1.p1.1.m1.1b"><apply id="S6.SS0.SSS0.Px1.p1.1.m1.1.1.cmml" xref="S6.SS0.SSS0.Px1.p1.1.m1.1.1"><eq id="S6.SS0.SSS0.Px1.p1.1.m1.1.1.1.cmml" xref="S6.SS0.SSS0.Px1.p1.1.m1.1.1.1"></eq><ci id="S6.SS0.SSS0.Px1.p1.1.m1.1.1.2.cmml" xref="S6.SS0.SSS0.Px1.p1.1.m1.1.1.2">𝛼</ci><cn type="float" id="S6.SS0.SSS0.Px1.p1.1.m1.1.1.3.cmml" xref="S6.SS0.SSS0.Px1.p1.1.m1.1.1.3">0.01</cn></apply></annotation-xml><annotation encoding="application/x-tex" id="S6.SS0.SSS0.Px1.p1.1.m1.1c">\alpha=0.01</annotation></semantics></math>, <math id="S6.SS0.SSS0.Px1.p1.2.m2.1" class="ltx_Math" alttext="\eta=0.001" display="inline"><semantics id="S6.SS0.SSS0.Px1.p1.2.m2.1a"><mrow id="S6.SS0.SSS0.Px1.p1.2.m2.1.1" xref="S6.SS0.SSS0.Px1.p1.2.m2.1.1.cmml"><mi id="S6.SS0.SSS0.Px1.p1.2.m2.1.1.2" xref="S6.SS0.SSS0.Px1.p1.2.m2.1.1.2.cmml">η</mi><mo id="S6.SS0.SSS0.Px1.p1.2.m2.1.1.1" xref="S6.SS0.SSS0.Px1.p1.2.m2.1.1.1.cmml">=</mo><mn id="S6.SS0.SSS0.Px1.p1.2.m2.1.1.3" xref="S6.SS0.SSS0.Px1.p1.2.m2.1.1.3.cmml">0.001</mn></mrow><annotation-xml encoding="MathML-Content" id="S6.SS0.SSS0.Px1.p1.2.m2.1b"><apply id="S6.SS0.SSS0.Px1.p1.2.m2.1.1.cmml" xref="S6.SS0.SSS0.Px1.p1.2.m2.1.1"><eq id="S6.SS0.SSS0.Px1.p1.2.m2.1.1.1.cmml" xref="S6.SS0.SSS0.Px1.p1.2.m2.1.1.1"></eq><ci id="S6.SS0.SSS0.Px1.p1.2.m2.1.1.2.cmml" xref="S6.SS0.SSS0.Px1.p1.2.m2.1.1.2">𝜂</ci><cn type="float" id="S6.SS0.SSS0.Px1.p1.2.m2.1.1.3.cmml" xref="S6.SS0.SSS0.Px1.p1.2.m2.1.1.3">0.001</cn></apply></annotation-xml><annotation encoding="application/x-tex" id="S6.SS0.SSS0.Px1.p1.2.m2.1c">\eta=0.001</annotation></semantics></math> and <math id="S6.SS0.SSS0.Px1.p1.3.m3.1" class="ltx_Math" alttext="\gamma=N/(N+1)" display="inline"><semantics id="S6.SS0.SSS0.Px1.p1.3.m3.1a"><mrow id="S6.SS0.SSS0.Px1.p1.3.m3.1.1" xref="S6.SS0.SSS0.Px1.p1.3.m3.1.1.cmml"><mi id="S6.SS0.SSS0.Px1.p1.3.m3.1.1.3" xref="S6.SS0.SSS0.Px1.p1.3.m3.1.1.3.cmml">γ</mi><mo id="S6.SS0.SSS0.Px1.p1.3.m3.1.1.2" xref="S6.SS0.SSS0.Px1.p1.3.m3.1.1.2.cmml">=</mo><mrow id="S6.SS0.SSS0.Px1.p1.3.m3.1.1.1" xref="S6.SS0.SSS0.Px1.p1.3.m3.1.1.1.cmml"><mi id="S6.SS0.SSS0.Px1.p1.3.m3.1.1.1.3" xref="S6.SS0.SSS0.Px1.p1.3.m3.1.1.1.3.cmml">N</mi><mo id="S6.SS0.SSS0.Px1.p1.3.m3.1.1.1.2" xref="S6.SS0.SSS0.Px1.p1.3.m3.1.1.1.2.cmml">/</mo><mrow id="S6.SS0.SSS0.Px1.p1.3.m3.1.1.1.1.1" xref="S6.SS0.SSS0.Px1.p1.3.m3.1.1.1.1.1.1.cmml"><mo stretchy="false" id="S6.SS0.SSS0.Px1.p1.3.m3.1.1.1.1.1.2" xref="S6.SS0.SSS0.Px1.p1.3.m3.1.1.1.1.1.1.cmml">(</mo><mrow id="S6.SS0.SSS0.Px1.p1.3.m3.1.1.1.1.1.1" xref="S6.SS0.SSS0.Px1.p1.3.m3.1.1.1.1.1.1.cmml"><mi id="S6.SS0.SSS0.Px1.p1.3.m3.1.1.1.1.1.1.2" xref="S6.SS0.SSS0.Px1.p1.3.m3.1.1.1.1.1.1.2.cmml">N</mi><mo id="S6.SS0.SSS0.Px1.p1.3.m3.1.1.1.1.1.1.1" xref="S6.SS0.SSS0.Px1.p1.3.m3.1.1.1.1.1.1.1.cmml">+</mo><mn id="S6.SS0.SSS0.Px1.p1.3.m3.1.1.1.1.1.1.3" xref="S6.SS0.SSS0.Px1.p1.3.m3.1.1.1.1.1.1.3.cmml">1</mn></mrow><mo stretchy="false" id="S6.SS0.SSS0.Px1.p1.3.m3.1.1.1.1.1.3" xref="S6.SS0.SSS0.Px1.p1.3.m3.1.1.1.1.1.1.cmml">)</mo></mrow></mrow></mrow><annotation-xml encoding="MathML-Content" id="S6.SS0.SSS0.Px1.p1.3.m3.1b"><apply id="S6.SS0.SSS0.Px1.p1.3.m3.1.1.cmml" xref="S6.SS0.SSS0.Px1.p1.3.m3.1.1"><eq id="S6.SS0.SSS0.Px1.p1.3.m3.1.1.2.cmml" xref="S6.SS0.SSS0.Px1.p1.3.m3.1.1.2"></eq><ci id="S6.SS0.SSS0.Px1.p1.3.m3.1.1.3.cmml" xref="S6.SS0.SSS0.Px1.p1.3.m3.1.1.3">𝛾</ci><apply id="S6.SS0.SSS0.Px1.p1.3.m3.1.1.1.cmml" xref="S6.SS0.SSS0.Px1.p1.3.m3.1.1.1"><divide id="S6.SS0.SSS0.Px1.p1.3.m3.1.1.1.2.cmml" xref="S6.SS0.SSS0.Px1.p1.3.m3.1.1.1.2"></divide><ci id="S6.SS0.SSS0.Px1.p1.3.m3.1.1.1.3.cmml" xref="S6.SS0.SSS0.Px1.p1.3.m3.1.1.1.3">𝑁</ci><apply id="S6.SS0.SSS0.Px1.p1.3.m3.1.1.1.1.1.1.cmml" xref="S6.SS0.SSS0.Px1.p1.3.m3.1.1.1.1.1"><plus id="S6.SS0.SSS0.Px1.p1.3.m3.1.1.1.1.1.1.1.cmml" xref="S6.SS0.SSS0.Px1.p1.3.m3.1.1.1.1.1.1.1"></plus><ci id="S6.SS0.SSS0.Px1.p1.3.m3.1.1.1.1.1.1.2.cmml" xref="S6.SS0.SSS0.Px1.p1.3.m3.1.1.1.1.1.1.2">𝑁</ci><cn type="integer" id="S6.SS0.SSS0.Px1.p1.3.m3.1.1.1.1.1.1.3.cmml" xref="S6.SS0.SSS0.Px1.p1.3.m3.1.1.1.1.1.1.3">1</cn></apply></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="S6.SS0.SSS0.Px1.p1.3.m3.1c">\gamma=N/(N+1)</annotation></semantics></math> for a length-<math id="S6.SS0.SSS0.Px1.p1.4.m4.1" class="ltx_Math" alttext="N" display="inline"><semantics id="S6.SS0.SSS0.Px1.p1.4.m4.1a"><mi id="S6.SS0.SSS0.Px1.p1.4.m4.1.1" xref="S6.SS0.SSS0.Px1.p1.4.m4.1.1.cmml">N</mi><annotation-xml encoding="MathML-Content" id="S6.SS0.SSS0.Px1.p1.4.m4.1b"><ci id="S6.SS0.SSS0.Px1.p1.4.m4.1.1.cmml" xref="S6.SS0.SSS0.Px1.p1.4.m4.1.1">𝑁</ci></annotation-xml><annotation encoding="application/x-tex" id="S6.SS0.SSS0.Px1.p1.4.m4.1c">N</annotation></semantics></math> context window (i.e. 0.998, 0.999 respectively). Our metric for quality of generations is the MAUVE score <cite class="ltx_cite ltx_citemacro_citep">[<a href="#bib.bib24" title="" class="ltx_ref">24</a>]</cite>, a non-parametric method for evaluating the quality of a generative model. The MAUVE score is formed by taking a low-dimensional PCA of an embedding of the generated sequences (here, a GPT2-XL encoder). The score is a mixture of forward and reverse KLs between the data and model-generated sequences, between zero and one (higher is better). We also report a diversity metric <cite class="ltx_cite ltx_citemacro_citep">[<a href="#bib.bib17" title="" class="ltx_ref">17</a>]</cite>, given by <math id="S6.SS0.SSS0.Px1.p1.5.m5.1" class="ltx_Math" alttext="\prod_{n=2}^{4}\left(1.0-\frac{\text{ rep }-\mathrm{n}}{100}\right)" display="inline"><semantics id="S6.SS0.SSS0.Px1.p1.5.m5.1a"><mrow id="S6.SS0.SSS0.Px1.p1.5.m5.1.1" xref="S6.SS0.SSS0.Px1.p1.5.m5.1.1.cmml"><msubsup id="S6.SS0.SSS0.Px1.p1.5.m5.1.1.2" xref="S6.SS0.SSS0.Px1.p1.5.m5.1.1.2.cmml"><mo id="S6.SS0.SSS0.Px1.p1.5.m5.1.1.2.2.2" xref="S6.SS0.SSS0.Px1.p1.5.m5.1.1.2.2.2.cmml">∏</mo><mrow id="S6.SS0.SSS0.Px1.p1.5.m5.1.1.2.2.3" xref="S6.SS0.SSS0.Px1.p1.5.m5.1.1.2.2.3.cmml"><mi id="S6.SS0.SSS0.Px1.p1.5.m5.1.1.2.2.3.2" xref="S6.SS0.SSS0.Px1.p1.5.m5.1.1.2.2.3.2.cmml">n</mi><mo id="S6.SS0.SSS0.Px1.p1.5.m5.1.1.2.2.3.1" xref="S6.SS0.SSS0.Px1.p1.5.m5.1.1.2.2.3.1.cmml">=</mo><mn id="S6.SS0.SSS0.Px1.p1.5.m5.1.1.2.2.3.3" xref="S6.SS0.SSS0.Px1.p1.5.m5.1.1.2.2.3.3.cmml">2</mn></mrow><mn id="S6.SS0.SSS0.Px1.p1.5.m5.1.1.2.3" xref="S6.SS0.SSS0.Px1.p1.5.m5.1.1.2.3.cmml">4</mn></msubsup><mrow id="S6.SS0.SSS0.Px1.p1.5.m5.1.1.1.1" xref="S6.SS0.SSS0.Px1.p1.5.m5.1.1.1.1.1.cmml"><mo lspace="0em" id="S6.SS0.SSS0.Px1.p1.5.m5.1.1.1.1.2" xref="S6.SS0.SSS0.Px1.p1.5.m5.1.1.1.1.1.cmml">(</mo><mrow id="S6.SS0.SSS0.Px1.p1.5.m5.1.1.1.1.1" xref="S6.SS0.SSS0.Px1.p1.5.m5.1.1.1.1.1.cmml"><mn id="S6.SS0.SSS0.Px1.p1.5.m5.1.1.1.1.1.2" xref="S6.SS0.SSS0.Px1.p1.5.m5.1.1.1.1.1.2.cmml">1.0</mn><mo id="S6.SS0.SSS0.Px1.p1.5.m5.1.1.1.1.1.1" xref="S6.SS0.SSS0.Px1.p1.5.m5.1.1.1.1.1.1.cmml">−</mo><mfrac id="S6.SS0.SSS0.Px1.p1.5.m5.1.1.1.1.1.3" xref="S6.SS0.SSS0.Px1.p1.5.m5.1.1.1.1.1.3.cmml"><mrow id="S6.SS0.SSS0.Px1.p1.5.m5.1.1.1.1.1.3.2" xref="S6.SS0.SSS0.Px1.p1.5.m5.1.1.1.1.1.3.2.cmml"><mtext id="S6.SS0.SSS0.Px1.p1.5.m5.1.1.1.1.1.3.2.2" xref="S6.SS0.SSS0.Px1.p1.5.m5.1.1.1.1.1.3.2.2a.cmml"> rep </mtext><mo id="S6.SS0.SSS0.Px1.p1.5.m5.1.1.1.1.1.3.2.1" xref="S6.SS0.SSS0.Px1.p1.5.m5.1.1.1.1.1.3.2.1.cmml">−</mo><mi mathvariant="normal" id="S6.SS0.SSS0.Px1.p1.5.m5.1.1.1.1.1.3.2.3" xref="S6.SS0.SSS0.Px1.p1.5.m5.1.1.1.1.1.3.2.3.cmml">n</mi></mrow><mn id="S6.SS0.SSS0.Px1.p1.5.m5.1.1.1.1.1.3.3" xref="S6.SS0.SSS0.Px1.p1.5.m5.1.1.1.1.1.3.3.cmml">100</mn></mfrac></mrow><mo id="S6.SS0.SSS0.Px1.p1.5.m5.1.1.1.1.3" xref="S6.SS0.SSS0.Px1.p1.5.m5.1.1.1.1.1.cmml">)</mo></mrow></mrow><annotation-xml encoding="MathML-Content" id="S6.SS0.SSS0.Px1.p1.5.m5.1b"><apply id="S6.SS0.SSS0.Px1.p1.5.m5.1.1.cmml" xref="S6.SS0.SSS0.Px1.p1.5.m5.1.1"><apply id="S6.SS0.SSS0.Px1.p1.5.m5.1.1.2.cmml" xref="S6.SS0.SSS0.Px1.p1.5.m5.1.1.2"><csymbol cd="ambiguous" id="S6.SS0.SSS0.Px1.p1.5.m5.1.1.2.1.cmml" xref="S6.SS0.SSS0.Px1.p1.5.m5.1.1.2">superscript</csymbol><apply id="S6.SS0.SSS0.Px1.p1.5.m5.1.1.2.2.cmml" xref="S6.SS0.SSS0.Px1.p1.5.m5.1.1.2"><csymbol cd="ambiguous" id="S6.SS0.SSS0.Px1.p1.5.m5.1.1.2.2.1.cmml" xref="S6.SS0.SSS0.Px1.p1.5.m5.1.1.2">subscript</csymbol><csymbol cd="latexml" id="S6.SS0.SSS0.Px1.p1.5.m5.1.1.2.2.2.cmml" xref="S6.SS0.SSS0.Px1.p1.5.m5.1.1.2.2.2">product</csymbol><apply id="S6.SS0.SSS0.Px1.p1.5.m5.1.1.2.2.3.cmml" xref="S6.SS0.SSS0.Px1.p1.5.m5.1.1.2.2.3"><eq id="S6.SS0.SSS0.Px1.p1.5.m5.1.1.2.2.3.1.cmml" xref="S6.SS0.SSS0.Px1.p1.5.m5.1.1.2.2.3.1"></eq><ci id="S6.SS0.SSS0.Px1.p1.5.m5.1.1.2.2.3.2.cmml" xref="S6.SS0.SSS0.Px1.p1.5.m5.1.1.2.2.3.2">𝑛</ci><cn type="integer" id="S6.SS0.SSS0.Px1.p1.5.m5.1.1.2.2.3.3.cmml" xref="S6.SS0.SSS0.Px1.p1.5.m5.1.1.2.2.3.3">2</cn></apply></apply><cn type="integer" id="S6.SS0.SSS0.Px1.p1.5.m5.1.1.2.3.cmml" xref="S6.SS0.SSS0.Px1.p1.5.m5.1.1.2.3">4</cn></apply><apply id="S6.SS0.SSS0.Px1.p1.5.m5.1.1.1.1.1.cmml" xref="S6.SS0.SSS0.Px1.p1.5.m5.1.1.1.1"><minus id="S6.SS0.SSS0.Px1.p1.5.m5.1.1.1.1.1.1.cmml" xref="S6.SS0.SSS0.Px1.p1.5.m5.1.1.1.1.1.1"></minus><cn type="float" id="S6.SS0.SSS0.Px1.p1.5.m5.1.1.1.1.1.2.cmml" xref="S6.SS0.SSS0.Px1.p1.5.m5.1.1.1.1.1.2">1.0</cn><apply id="S6.SS0.SSS0.Px1.p1.5.m5.1.1.1.1.1.3.cmml" xref="S6.SS0.SSS0.Px1.p1.5.m5.1.1.1.1.1.3"><divide id="S6.SS0.SSS0.Px1.p1.5.m5.1.1.1.1.1.3.1.cmml" xref="S6.SS0.SSS0.Px1.p1.5.m5.1.1.1.1.1.3"></divide><apply id="S6.SS0.SSS0.Px1.p1.5.m5.1.1.1.1.1.3.2.cmml" xref="S6.SS0.SSS0.Px1.p1.5.m5.1.1.1.1.1.3.2"><minus id="S6.SS0.SSS0.Px1.p1.5.m5.1.1.1.1.1.3.2.1.cmml" xref="S6.SS0.SSS0.Px1.p1.5.m5.1.1.1.1.1.3.2.1"></minus><ci id="S6.SS0.SSS0.Px1.p1.5.m5.1.1.1.1.1.3.2.2a.cmml" xref="S6.SS0.SSS0.Px1.p1.5.m5.1.1.1.1.1.3.2.2"><mtext mathsize="70%" id="S6.SS0.SSS0.Px1.p1.5.m5.1.1.1.1.1.3.2.2.cmml" xref="S6.SS0.SSS0.Px1.p1.5.m5.1.1.1.1.1.3.2.2"> rep </mtext></ci><ci id="S6.SS0.SSS0.Px1.p1.5.m5.1.1.1.1.1.3.2.3.cmml" xref="S6.SS0.SSS0.Px1.p1.5.m5.1.1.1.1.1.3.2.3">n</ci></apply><cn type="integer" id="S6.SS0.SSS0.Px1.p1.5.m5.1.1.1.1.1.3.3.cmml" xref="S6.SS0.SSS0.Px1.p1.5.m5.1.1.1.1.1.3.3">100</cn></apply></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="S6.SS0.SSS0.Px1.p1.5.m5.1c">\prod_{n=2}^{4}\left(1.0-\frac{\text{ rep }-\mathrm{n}}{100}\right)</annotation></semantics></math>, where <math id="S6.SS0.SSS0.Px1.p1.6.m6.5" class="ltx_Math" alttext="\text{rep-n}=100\times\left[1.0-\frac{\mid\text{ unique }\text{ n-grams }(\hat{\boldsymbol{x}})\mid}{\mid\operatorname{total}\text{ n-grams }(\hat{\boldsymbol{x}})\mid}\right]" display="inline"><semantics id="S6.SS0.SSS0.Px1.p1.6.m6.5a"><mrow id="S6.SS0.SSS0.Px1.p1.6.m6.5.5" xref="S6.SS0.SSS0.Px1.p1.6.m6.5.5.cmml"><mtext id="S6.SS0.SSS0.Px1.p1.6.m6.5.5.3" xref="S6.SS0.SSS0.Px1.p1.6.m6.5.5.3a.cmml">rep-n</mtext><mo id="S6.SS0.SSS0.Px1.p1.6.m6.5.5.2" xref="S6.SS0.SSS0.Px1.p1.6.m6.5.5.2.cmml">=</mo><mrow id="S6.SS0.SSS0.Px1.p1.6.m6.5.5.1" xref="S6.SS0.SSS0.Px1.p1.6.m6.5.5.1.cmml"><mn id="S6.SS0.SSS0.Px1.p1.6.m6.5.5.1.3" xref="S6.SS0.SSS0.Px1.p1.6.m6.5.5.1.3.cmml">100</mn><mo lspace="0.222em" rspace="0.222em" id="S6.SS0.SSS0.Px1.p1.6.m6.5.5.1.2" xref="S6.SS0.SSS0.Px1.p1.6.m6.5.5.1.2.cmml">×</mo><mrow id="S6.SS0.SSS0.Px1.p1.6.m6.5.5.1.1.1" xref="S6.SS0.SSS0.Px1.p1.6.m6.5.5.1.1.2.cmml"><mo id="S6.SS0.SSS0.Px1.p1.6.m6.5.5.1.1.1.2" xref="S6.SS0.SSS0.Px1.p1.6.m6.5.5.1.1.2.1.cmml">[</mo><mrow id="S6.SS0.SSS0.Px1.p1.6.m6.5.5.1.1.1.1" xref="S6.SS0.SSS0.Px1.p1.6.m6.5.5.1.1.1.1.cmml"><mn id="S6.SS0.SSS0.Px1.p1.6.m6.5.5.1.1.1.1.2" xref="S6.SS0.SSS0.Px1.p1.6.m6.5.5.1.1.1.1.2.cmml">1.0</mn><mo id="S6.SS0.SSS0.Px1.p1.6.m6.5.5.1.1.1.1.1" xref="S6.SS0.SSS0.Px1.p1.6.m6.5.5.1.1.1.1.1.cmml">−</mo><mfrac id="S6.SS0.SSS0.Px1.p1.6.m6.4.4" xref="S6.SS0.SSS0.Px1.p1.6.m6.4.4.cmml"><mrow id="S6.SS0.SSS0.Px1.p1.6.m6.2.2.2.2" xref="S6.SS0.SSS0.Px1.p1.6.m6.2.2.2.3.cmml"><mo fence="true" rspace="0em" id="S6.SS0.SSS0.Px1.p1.6.m6.2.2.2.2.2" xref="S6.SS0.SSS0.Px1.p1.6.m6.2.2.2.3.1.cmml">∣</mo><mrow id="S6.SS0.SSS0.Px1.p1.6.m6.2.2.2.2.1" xref="S6.SS0.SSS0.Px1.p1.6.m6.2.2.2.2.1.cmml"><mrow id="S6.SS0.SSS0.Px1.p1.6.m6.2.2.2.2.1.2" xref="S6.SS0.SSS0.Px1.p1.6.m6.2.2.2.2.1.2c.cmml"><mtext id="S6.SS0.SSS0.Px1.p1.6.m6.2.2.2.2.1.2a" xref="S6.SS0.SSS0.Px1.p1.6.m6.2.2.2.2.1.2c.cmml"> unique </mtext><mtext id="S6.SS0.SSS0.Px1.p1.6.m6.2.2.2.2.1.2b" xref="S6.SS0.SSS0.Px1.p1.6.m6.2.2.2.2.1.2c.cmml"> n-grams </mtext></mrow><mo lspace="0em" rspace="0em" id="S6.SS0.SSS0.Px1.p1.6.m6.2.2.2.2.1.1" xref="S6.SS0.SSS0.Px1.p1.6.m6.2.2.2.2.1.1.cmml">​</mo><mrow id="S6.SS0.SSS0.Px1.p1.6.m6.2.2.2.2.1.3.2" xref="S6.SS0.SSS0.Px1.p1.6.m6.1.1.1.1.cmml"><mo stretchy="false" id="S6.SS0.SSS0.Px1.p1.6.m6.2.2.2.2.1.3.2.1" xref="S6.SS0.SSS0.Px1.p1.6.m6.1.1.1.1.cmml">(</mo><mover accent="true" id="S6.SS0.SSS0.Px1.p1.6.m6.1.1.1.1" xref="S6.SS0.SSS0.Px1.p1.6.m6.1.1.1.1.cmml"><mi id="S6.SS0.SSS0.Px1.p1.6.m6.1.1.1.1.2" xref="S6.SS0.SSS0.Px1.p1.6.m6.1.1.1.1.2.cmml">𝒙</mi><mo id="S6.SS0.SSS0.Px1.p1.6.m6.1.1.1.1.1" xref="S6.SS0.SSS0.Px1.p1.6.m6.1.1.1.1.1.cmml">^</mo></mover><mo stretchy="false" id="S6.SS0.SSS0.Px1.p1.6.m6.2.2.2.2.1.3.2.2" xref="S6.SS0.SSS0.Px1.p1.6.m6.1.1.1.1.cmml">)</mo></mrow></mrow><mo fence="true" lspace="0em" id="S6.SS0.SSS0.Px1.p1.6.m6.2.2.2.2.3" xref="S6.SS0.SSS0.Px1.p1.6.m6.2.2.2.3.1.cmml">∣</mo></mrow><mrow id="S6.SS0.SSS0.Px1.p1.6.m6.4.4.4.2" xref="S6.SS0.SSS0.Px1.p1.6.m6.4.4.4.3.cmml"><mo fence="true" rspace="0em" id="S6.SS0.SSS0.Px1.p1.6.m6.4.4.4.2.2" xref="S6.SS0.SSS0.Px1.p1.6.m6.4.4.4.3.1.cmml">∣</mo><mrow id="S6.SS0.SSS0.Px1.p1.6.m6.4.4.4.2.1" xref="S6.SS0.SSS0.Px1.p1.6.m6.4.4.4.2.1.cmml"><mrow id="S6.SS0.SSS0.Px1.p1.6.m6.4.4.4.2.1.2" xref="S6.SS0.SSS0.Px1.p1.6.m6.4.4.4.2.1.2.cmml"><mi id="S6.SS0.SSS0.Px1.p1.6.m6.4.4.4.2.1.2.1" xref="S6.SS0.SSS0.Px1.p1.6.m6.4.4.4.2.1.2.1.cmml">total</mi><mo lspace="0.167em" id="S6.SS0.SSS0.Px1.p1.6.m6.4.4.4.2.1.2a" xref="S6.SS0.SSS0.Px1.p1.6.m6.4.4.4.2.1.2.cmml">⁡</mo><mtext id="S6.SS0.SSS0.Px1.p1.6.m6.4.4.4.2.1.2.2" xref="S6.SS0.SSS0.Px1.p1.6.m6.4.4.4.2.1.2.2a.cmml"> n-grams </mtext></mrow><mo lspace="0em" rspace="0em" id="S6.SS0.SSS0.Px1.p1.6.m6.4.4.4.2.1.1" xref="S6.SS0.SSS0.Px1.p1.6.m6.4.4.4.2.1.1.cmml">​</mo><mrow id="S6.SS0.SSS0.Px1.p1.6.m6.4.4.4.2.1.3.2" xref="S6.SS0.SSS0.Px1.p1.6.m6.3.3.3.1.cmml"><mo stretchy="false" id="S6.SS0.SSS0.Px1.p1.6.m6.4.4.4.2.1.3.2.1" xref="S6.SS0.SSS0.Px1.p1.6.m6.3.3.3.1.cmml">(</mo><mover accent="true" id="S6.SS0.SSS0.Px1.p1.6.m6.3.3.3.1" xref="S6.SS0.SSS0.Px1.p1.6.m6.3.3.3.1.cmml"><mi id="S6.SS0.SSS0.Px1.p1.6.m6.3.3.3.1.2" xref="S6.SS0.SSS0.Px1.p1.6.m6.3.3.3.1.2.cmml">𝒙</mi><mo id="S6.SS0.SSS0.Px1.p1.6.m6.3.3.3.1.1" xref="S6.SS0.SSS0.Px1.p1.6.m6.3.3.3.1.1.cmml">^</mo></mover><mo stretchy="false" id="S6.SS0.SSS0.Px1.p1.6.m6.4.4.4.2.1.3.2.2" xref="S6.SS0.SSS0.Px1.p1.6.m6.3.3.3.1.cmml">)</mo></mrow></mrow><mo fence="true" lspace="0em" id="S6.SS0.SSS0.Px1.p1.6.m6.4.4.4.2.3" xref="S6.SS0.SSS0.Px1.p1.6.m6.4.4.4.3.1.cmml">∣</mo></mrow></mfrac></mrow><mo id="S6.SS0.SSS0.Px1.p1.6.m6.5.5.1.1.1.3" xref="S6.SS0.SSS0.Px1.p1.6.m6.5.5.1.1.2.1.cmml">]</mo></mrow></mrow></mrow><annotation-xml encoding="MathML-Content" id="S6.SS0.SSS0.Px1.p1.6.m6.5b"><apply id="S6.SS0.SSS0.Px1.p1.6.m6.5.5.cmml" xref="S6.SS0.SSS0.Px1.p1.6.m6.5.5"><eq id="S6.SS0.SSS0.Px1.p1.6.m6.5.5.2.cmml" xref="S6.SS0.SSS0.Px1.p1.6.m6.5.5.2"></eq><ci id="S6.SS0.SSS0.Px1.p1.6.m6.5.5.3a.cmml" xref="S6.SS0.SSS0.Px1.p1.6.m6.5.5.3"><mtext id="S6.SS0.SSS0.Px1.p1.6.m6.5.5.3.cmml" xref="S6.SS0.SSS0.Px1.p1.6.m6.5.5.3">rep-n</mtext></ci><apply id="S6.SS0.SSS0.Px1.p1.6.m6.5.5.1.cmml" xref="S6.SS0.SSS0.Px1.p1.6.m6.5.5.1"><times id="S6.SS0.SSS0.Px1.p1.6.m6.5.5.1.2.cmml" xref="S6.SS0.SSS0.Px1.p1.6.m6.5.5.1.2"></times><cn type="integer" id="S6.SS0.SSS0.Px1.p1.6.m6.5.5.1.3.cmml" xref="S6.SS0.SSS0.Px1.p1.6.m6.5.5.1.3">100</cn><apply id="S6.SS0.SSS0.Px1.p1.6.m6.5.5.1.1.2.cmml" xref="S6.SS0.SSS0.Px1.p1.6.m6.5.5.1.1.1"><csymbol cd="latexml" id="S6.SS0.SSS0.Px1.p1.6.m6.5.5.1.1.2.1.cmml" xref="S6.SS0.SSS0.Px1.p1.6.m6.5.5.1.1.1.2">delimited-[]</csymbol><apply id="S6.SS0.SSS0.Px1.p1.6.m6.5.5.1.1.1.1.cmml" xref="S6.SS0.SSS0.Px1.p1.6.m6.5.5.1.1.1.1"><minus id="S6.SS0.SSS0.Px1.p1.6.m6.5.5.1.1.1.1.1.cmml" xref="S6.SS0.SSS0.Px1.p1.6.m6.5.5.1.1.1.1.1"></minus><cn type="float" id="S6.SS0.SSS0.Px1.p1.6.m6.5.5.1.1.1.1.2.cmml" xref="S6.SS0.SSS0.Px1.p1.6.m6.5.5.1.1.1.1.2">1.0</cn><apply id="S6.SS0.SSS0.Px1.p1.6.m6.4.4.cmml" xref="S6.SS0.SSS0.Px1.p1.6.m6.4.4"><divide id="S6.SS0.SSS0.Px1.p1.6.m6.4.4.5.cmml" xref="S6.SS0.SSS0.Px1.p1.6.m6.4.4"></divide><apply id="S6.SS0.SSS0.Px1.p1.6.m6.2.2.2.3.cmml" xref="S6.SS0.SSS0.Px1.p1.6.m6.2.2.2.2"><csymbol cd="latexml" id="S6.SS0.SSS0.Px1.p1.6.m6.2.2.2.3.1.cmml" xref="S6.SS0.SSS0.Px1.p1.6.m6.2.2.2.2.2">delimited-∣∣</csymbol><apply id="S6.SS0.SSS0.Px1.p1.6.m6.2.2.2.2.1.cmml" xref="S6.SS0.SSS0.Px1.p1.6.m6.2.2.2.2.1"><times id="S6.SS0.SSS0.Px1.p1.6.m6.2.2.2.2.1.1.cmml" xref="S6.SS0.SSS0.Px1.p1.6.m6.2.2.2.2.1.1"></times><ci id="S6.SS0.SSS0.Px1.p1.6.m6.2.2.2.2.1.2c.cmml" xref="S6.SS0.SSS0.Px1.p1.6.m6.2.2.2.2.1.2"><mrow id="S6.SS0.SSS0.Px1.p1.6.m6.2.2.2.2.1.2.cmml" xref="S6.SS0.SSS0.Px1.p1.6.m6.2.2.2.2.1.2"><mtext mathsize="70%" id="S6.SS0.SSS0.Px1.p1.6.m6.2.2.2.2.1.2a.cmml" xref="S6.SS0.SSS0.Px1.p1.6.m6.2.2.2.2.1.2"> unique </mtext><mtext mathsize="70%" id="S6.SS0.SSS0.Px1.p1.6.m6.2.2.2.2.1.2b.cmml" xref="S6.SS0.SSS0.Px1.p1.6.m6.2.2.2.2.1.2"> n-grams </mtext></mrow></ci><apply id="S6.SS0.SSS0.Px1.p1.6.m6.1.1.1.1.cmml" xref="S6.SS0.SSS0.Px1.p1.6.m6.2.2.2.2.1.3.2"><ci id="S6.SS0.SSS0.Px1.p1.6.m6.1.1.1.1.1.cmml" xref="S6.SS0.SSS0.Px1.p1.6.m6.1.1.1.1.1">^</ci><ci id="S6.SS0.SSS0.Px1.p1.6.m6.1.1.1.1.2.cmml" xref="S6.SS0.SSS0.Px1.p1.6.m6.1.1.1.1.2">𝒙</ci></apply></apply></apply><apply id="S6.SS0.SSS0.Px1.p1.6.m6.4.4.4.3.cmml" xref="S6.SS0.SSS0.Px1.p1.6.m6.4.4.4.2"><csymbol cd="latexml" id="S6.SS0.SSS0.Px1.p1.6.m6.4.4.4.3.1.cmml" xref="S6.SS0.SSS0.Px1.p1.6.m6.4.4.4.2.2">delimited-∣∣</csymbol><apply id="S6.SS0.SSS0.Px1.p1.6.m6.4.4.4.2.1.cmml" xref="S6.SS0.SSS0.Px1.p1.6.m6.4.4.4.2.1"><times id="S6.SS0.SSS0.Px1.p1.6.m6.4.4.4.2.1.1.cmml" xref="S6.SS0.SSS0.Px1.p1.6.m6.4.4.4.2.1.1"></times><apply id="S6.SS0.SSS0.Px1.p1.6.m6.4.4.4.2.1.2.cmml" xref="S6.SS0.SSS0.Px1.p1.6.m6.4.4.4.2.1.2"><ci id="S6.SS0.SSS0.Px1.p1.6.m6.4.4.4.2.1.2.1.cmml" xref="S6.SS0.SSS0.Px1.p1.6.m6.4.4.4.2.1.2.1">total</ci><ci id="S6.SS0.SSS0.Px1.p1.6.m6.4.4.4.2.1.2.2a.cmml" xref="S6.SS0.SSS0.Px1.p1.6.m6.4.4.4.2.1.2.2"><mtext mathsize="70%" id="S6.SS0.SSS0.Px1.p1.6.m6.4.4.4.2.1.2.2.cmml" xref="S6.SS0.SSS0.Px1.p1.6.m6.4.4.4.2.1.2.2"> n-grams </mtext></ci></apply><apply id="S6.SS0.SSS0.Px1.p1.6.m6.3.3.3.1.cmml" xref="S6.SS0.SSS0.Px1.p1.6.m6.4.4.4.2.1.3.2"><ci id="S6.SS0.SSS0.Px1.p1.6.m6.3.3.3.1.1.cmml" xref="S6.SS0.SSS0.Px1.p1.6.m6.3.3.3.1.1">^</ci><ci id="S6.SS0.SSS0.Px1.p1.6.m6.3.3.3.1.2.cmml" xref="S6.SS0.SSS0.Px1.p1.6.m6.3.3.3.1.2">𝒙</ci></apply></apply></apply></apply></apply></apply></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="S6.SS0.SSS0.Px1.p1.6.m6.5c">\text{rep-n}=100\times\left[1.0-\frac{\mid\text{ unique }\text{ n-grams }(\hat{\boldsymbol{x}})\mid}{\mid\operatorname{total}\text{ n-grams }(\hat{\boldsymbol{x}})\mid}\right]</annotation></semantics></math> for a continuation <math id="S6.SS0.SSS0.Px1.p1.7.m7.1" class="ltx_Math" alttext="\hat{\boldsymbol{x}}" display="inline"><semantics id="S6.SS0.SSS0.Px1.p1.7.m7.1a"><mover accent="true" id="S6.SS0.SSS0.Px1.p1.7.m7.1.1" xref="S6.SS0.SSS0.Px1.p1.7.m7.1.1.cmml"><mi id="S6.SS0.SSS0.Px1.p1.7.m7.1.1.2" xref="S6.SS0.SSS0.Px1.p1.7.m7.1.1.2.cmml">𝒙</mi><mo id="S6.SS0.SSS0.Px1.p1.7.m7.1.1.1" xref="S6.SS0.SSS0.Px1.p1.7.m7.1.1.1.cmml">^</mo></mover><annotation-xml encoding="MathML-Content" id="S6.SS0.SSS0.Px1.p1.7.m7.1b"><apply id="S6.SS0.SSS0.Px1.p1.7.m7.1.1.cmml" xref="S6.SS0.SSS0.Px1.p1.7.m7.1.1"><ci id="S6.SS0.SSS0.Px1.p1.7.m7.1.1.1.cmml" xref="S6.SS0.SSS0.Px1.p1.7.m7.1.1.1">^</ci><ci id="S6.SS0.SSS0.Px1.p1.7.m7.1.1.2.cmml" xref="S6.SS0.SSS0.Px1.p1.7.m7.1.1.2">𝒙</ci></apply></annotation-xml><annotation encoding="application/x-tex" id="S6.SS0.SSS0.Px1.p1.7.m7.1c">\hat{\boldsymbol{x}}</annotation></semantics></math>.</p>
</div>
</section>
<section id="S6.SS0.SSS0.Px2" class="ltx_paragraph">
<h5 class="ltx_title ltx_title_paragraph">Results
<br class="ltx_break">
</h5>

<div id="S6.SS0.SSS0.Px2.p1" class="ltx_para">
<p id="S6.SS0.SSS0.Px2.p1.1" class="ltx_p">The results are shown in figure <a href="#S6.F3" title="Figure 3 ‣ 6 Experiments ‣ SequenceMatch: Imitation Learning for Autoregressive Sequence Modelling with Backtracking" class="ltx_ref"><span class="ltx_text ltx_ref_tag">3</span></a> and table <a href="#S6.T1" title="Table 1 ‣ Results ‣ 6 Experiments ‣ SequenceMatch: Imitation Learning for Autoregressive Sequence Modelling with Backtracking" class="ltx_ref"><span class="ltx_text ltx_ref_tag">1</span></a>. We observe that, as measured by the MAUVE score, the SequenceMatch-trained models generate text that is closer to the dataset. The SequenceMatch-trained models also outperform MLE and BC on the diversity metric (shown in the appendix). Furthermore, the samples from the SequenceMatch-trained model appear more fluent (random samples and additional statistics are shown in the appendix). In table <a href="#S6.T1" title="Table 1 ‣ Results ‣ 6 Experiments ‣ SequenceMatch: Imitation Learning for Autoregressive Sequence Modelling with Backtracking" class="ltx_ref"><span class="ltx_text ltx_ref_tag">1</span></a>, we show the result of training a GPT2-small model on the full 1024 context length case. We observe that the SequenceMatch-trained model is outperformed on the perplexity metric by the BC and MLE-trained methods. This is expected, as the training objective for BC and MLE is exactly equal to the perplexity. However, on the measures of generation quality (MAUVE score and diversity), the SM-trained model far outperforms the baselines.</p>
</div>
<figure id="S6.T1" class="ltx_table">
<table id="S6.T1.4" class="ltx_tabular ltx_centering ltx_align_middle">
<tr id="S6.T1.3.3" class="ltx_tr">
<td id="S6.T1.3.3.4" class="ltx_td"></td>
<td id="S6.T1.1.1.1" class="ltx_td ltx_align_left">Mauve Score (<math id="S6.T1.1.1.1.m1.1" class="ltx_Math" alttext="\boldsymbol{\uparrow}" display="inline"><semantics id="S6.T1.1.1.1.m1.1a"><mo class="ltx_mathvariant_bold" mathvariant="bold" stretchy="false" id="S6.T1.1.1.1.m1.1.1" xref="S6.T1.1.1.1.m1.1.1.cmml">↑</mo><annotation-xml encoding="MathML-Content" id="S6.T1.1.1.1.m1.1b"><ci id="S6.T1.1.1.1.m1.1.1.cmml" xref="S6.T1.1.1.1.m1.1.1">bold-↑</ci></annotation-xml><annotation encoding="application/x-tex" id="S6.T1.1.1.1.m1.1c">\boldsymbol{\uparrow}</annotation></semantics></math>)</td>
<td id="S6.T1.2.2.2" class="ltx_td ltx_align_left">Perplexity (<math id="S6.T1.2.2.2.m1.1" class="ltx_Math" alttext="\boldsymbol{\downarrow}" display="inline"><semantics id="S6.T1.2.2.2.m1.1a"><mo class="ltx_mathvariant_bold" mathvariant="bold" stretchy="false" id="S6.T1.2.2.2.m1.1.1" xref="S6.T1.2.2.2.m1.1.1.cmml">↓</mo><annotation-xml encoding="MathML-Content" id="S6.T1.2.2.2.m1.1b"><ci id="S6.T1.2.2.2.m1.1.1.cmml" xref="S6.T1.2.2.2.m1.1.1">bold-↓</ci></annotation-xml><annotation encoding="application/x-tex" id="S6.T1.2.2.2.m1.1c">\boldsymbol{\downarrow}</annotation></semantics></math>)</td>
<td id="S6.T1.3.3.3" class="ltx_td ltx_align_left">Diversity (<math id="S6.T1.3.3.3.m1.1" class="ltx_Math" alttext="\boldsymbol{\uparrow}" display="inline"><semantics id="S6.T1.3.3.3.m1.1a"><mo class="ltx_mathvariant_bold" mathvariant="bold" stretchy="false" id="S6.T1.3.3.3.m1.1.1" xref="S6.T1.3.3.3.m1.1.1.cmml">↑</mo><annotation-xml encoding="MathML-Content" id="S6.T1.3.3.3.m1.1b"><ci id="S6.T1.3.3.3.m1.1.1.cmml" xref="S6.T1.3.3.3.m1.1.1">bold-↑</ci></annotation-xml><annotation encoding="application/x-tex" id="S6.T1.3.3.3.m1.1c">\boldsymbol{\uparrow}</annotation></semantics></math>)</td>
<td id="S6.T1.3.3.5" class="ltx_td"></td>
</tr>
<tr id="S6.T1.4.4" class="ltx_tr">
<td id="S6.T1.4.4.1" class="ltx_td ltx_align_left">SM-<math id="S6.T1.4.4.1.m1.1" class="ltx_Math" alttext="\chi^{2}" display="inline"><semantics id="S6.T1.4.4.1.m1.1a"><msup id="S6.T1.4.4.1.m1.1.1" xref="S6.T1.4.4.1.m1.1.1.cmml"><mi id="S6.T1.4.4.1.m1.1.1.2" xref="S6.T1.4.4.1.m1.1.1.2.cmml">χ</mi><mn id="S6.T1.4.4.1.m1.1.1.3" xref="S6.T1.4.4.1.m1.1.1.3.cmml">2</mn></msup><annotation-xml encoding="MathML-Content" id="S6.T1.4.4.1.m1.1b"><apply id="S6.T1.4.4.1.m1.1.1.cmml" xref="S6.T1.4.4.1.m1.1.1"><csymbol cd="ambiguous" id="S6.T1.4.4.1.m1.1.1.1.cmml" xref="S6.T1.4.4.1.m1.1.1">superscript</csymbol><ci id="S6.T1.4.4.1.m1.1.1.2.cmml" xref="S6.T1.4.4.1.m1.1.1.2">𝜒</ci><cn type="integer" id="S6.T1.4.4.1.m1.1.1.3.cmml" xref="S6.T1.4.4.1.m1.1.1.3">2</cn></apply></annotation-xml><annotation encoding="application/x-tex" id="S6.T1.4.4.1.m1.1c">\chi^{2}</annotation></semantics></math>
</td>
<td id="S6.T1.4.4.2" class="ltx_td ltx_align_left ltx_border_t"><span id="S6.T1.4.4.2.1" class="ltx_text ltx_font_bold">0.97</span></td>
<td id="S6.T1.4.4.3" class="ltx_td ltx_align_left ltx_border_t">4.69</td>
<td id="S6.T1.4.4.4" class="ltx_td ltx_align_left ltx_border_t"><span id="S6.T1.4.4.4.1" class="ltx_text ltx_font_bold">0.58</span></td>
<td id="S6.T1.4.4.5" class="ltx_td"></td>
</tr>
<tr id="S6.T1.4.5" class="ltx_tr">
<td id="S6.T1.4.5.1" class="ltx_td ltx_align_left">BC</td>
<td id="S6.T1.4.5.2" class="ltx_td ltx_align_left">0.55</td>
<td id="S6.T1.4.5.3" class="ltx_td ltx_align_left">4.52</td>
<td id="S6.T1.4.5.4" class="ltx_td ltx_align_left">0.44</td>
<td id="S6.T1.4.5.5" class="ltx_td"></td>
</tr>
<tr id="S6.T1.4.6" class="ltx_tr">
<td id="S6.T1.4.6.1" class="ltx_td ltx_align_left">MLE</td>
<td id="S6.T1.4.6.2" class="ltx_td ltx_align_left">0.51</td>
<td id="S6.T1.4.6.3" class="ltx_td ltx_align_left"><span id="S6.T1.4.6.3.1" class="ltx_text ltx_font_bold">4.51</span></td>
<td id="S6.T1.4.6.4" class="ltx_td ltx_align_left">0.55</td>
<td id="S6.T1.4.6.5" class="ltx_td"></td>
</tr>
</table>
<figcaption class="ltx_caption ltx_centering"><span class="ltx_tag ltx_tag_table">Table 1: </span>A GPT-2-small model finetuned against different losses, with context length 1024. The maximum-likelihood methods (BC and MLE) achieve good perplexity, which measures the probability of the next token being chosen correctly. However, they do much worse on the mauve score and diversity, measuring quality of the generated text when sampled autoregressively.</figcaption>
</figure>
</section>
<section id="S6.SS1" class="ltx_subsection">
<h3 class="ltx_title ltx_title_subsection">
<span class="ltx_tag ltx_tag_subsection">6.1 </span>Limitations and Conclusion</h3>

<div id="S6.SS1.p1" class="ltx_para">
<p id="S6.SS1.p1.1" class="ltx_p">We address the compounding error problem in autoregressive sequence generation by formulating the problem in the imitation learning (IL) framework, deriving a general non-adversarial objective for minimizing divergences between occupancy measures induced by a learned model and the data distribution. We develop a novel masking scheme allowing training of a transformer-based autoregressive model with a <span id="S6.SS1.p1.1.1" class="ltx_text ltx_font_typewriter">&lt;backspace&gt;</span> action with small overhead vs MLE, further reducing compounding error by facilitating backtracking. Empirically, the SequenceMatch objective leads to improvements over MLE at text generation. The main limitation with our method is the requirement to generate samples autoregressively while training, which can be expensive for long contexts. We give an empirical examination of this training overhead in the appendix. A secondary limitation is a more complex loss and requirement to process sequences to mask backspaces during training. Future work can investigate the effect of training larger models against SequenceMatch objectives, as well as how the qualities of generations change with choice of divergence.</p>
</div>
<div class="ltx_pagination ltx_role_newpage"></div>
</section>
</section>
<section id="bib" class="ltx_bibliography">
<h2 class="ltx_title ltx_title_bibliography">References</h2>

<ul class="ltx_biblist">
<li id="bib.bib1" class="ltx_bibitem">
<span class="ltx_tag ltx_role_refnum ltx_tag_bibitem">Al-Hafez et al. [2023]</span>
<span class="ltx_bibblock">
Firas Al-Hafez, Davide Tateo, Oleg Arenz, Guoping Zhao, and Jan Peters.

</span>
<span class="ltx_bibblock">LS-IQ: Implicit reward regularization for inverse
reinforcement learning.

</span>
<span class="ltx_bibblock">In <em id="bib.bib1.1.1" class="ltx_emph ltx_font_italic">The Eleventh International Conference on Learning
Representations</em>, 2023.

</span>
</li>
<li id="bib.bib2" class="ltx_bibitem">
<span class="ltx_tag ltx_role_refnum ltx_tag_bibitem">Arjovsky et al. [2017]</span>
<span class="ltx_bibblock">
Martin Arjovsky, Soumith Chintala, and Léon Bottou.

</span>
<span class="ltx_bibblock">Wasserstein generative adversarial networks.

</span>
<span class="ltx_bibblock">In <em id="bib.bib2.1.1" class="ltx_emph ltx_font_italic">International Conference on Machine Learning</em>, pages
214–223. PMLR, 2017.

</span>
</li>
<li id="bib.bib3" class="ltx_bibitem">
<span class="ltx_tag ltx_role_refnum ltx_tag_bibitem">Arora et al. [2022]</span>
<span class="ltx_bibblock">
Kushal Arora, Layla El Asri, Hareesh Bahuleyan, and Jackie Chi Kit Cheung.

</span>
<span class="ltx_bibblock">Why Exposure Bias Matters: An Imitation Learning Perspective
of Error Accumulation in Language Generation.

</span>
<span class="ltx_bibblock">In <em id="bib.bib3.1.1" class="ltx_emph ltx_font_italic">Findings of the Association for Computational
Linguistics: ACL 2022</em>, pages 700–710, 2022.

</span>
</li>
<li id="bib.bib4" class="ltx_bibitem">
<span class="ltx_tag ltx_role_refnum ltx_tag_bibitem">Barde et al. [2020]</span>
<span class="ltx_bibblock">
Paul Barde, Julien Roy, Wonseok Jeon, Joelle Pineau, Chris Pal, and Derek
Nowrouzezahrai.

</span>
<span class="ltx_bibblock">Adversarial soft advantage fitting: Imitation learning without
policy optimization.

</span>
<span class="ltx_bibblock">In <em id="bib.bib4.1.1" class="ltx_emph ltx_font_italic">Advances in Neural Information Processing Systems</em>,
volume 33, pages 12334–12344, 2020.

</span>
</li>
<li id="bib.bib5" class="ltx_bibitem">
<span class="ltx_tag ltx_role_refnum ltx_tag_bibitem">Bommasani et al. [2021]</span>
<span class="ltx_bibblock">
Rishi Bommasani, Drew A Hudson, Ehsan Adeli, Russ Altman, Simran Arora, Sydney
von Arx, Michael S Bernstein, Jeannette Bohg, Antoine Bosselut, Emma
Brunskill, et al.

</span>
<span class="ltx_bibblock">On the opportunities and risks of foundation models.

</span>
<span class="ltx_bibblock"><em id="bib.bib5.1.1" class="ltx_emph ltx_font_italic">arXiv preprint arXiv:2108.07258</em>, 2021.

</span>
</li>
<li id="bib.bib6" class="ltx_bibitem">
<span class="ltx_tag ltx_role_refnum ltx_tag_bibitem">Bradbury et al. [2020]</span>
<span class="ltx_bibblock">
James Bradbury, Roy Frostig, Peter Hawkins, Matthew James Johnson, Chris Leary,
Dougal Maclaurin, and Skye Wanderman-Milne.

</span>
<span class="ltx_bibblock">JAX: Composable transformations of Python+NumPy
programs<span id="bib.bib6.1.1" class="ltx_text ltx_phantom"><span style="visibility:hidden">{</span></span>}, 2020.

</span>
</li>
<li id="bib.bib7" class="ltx_bibitem">
<span class="ltx_tag ltx_role_refnum ltx_tag_bibitem">Brown et al. [2020]</span>
<span class="ltx_bibblock">
Tom B. Brown, Benjamin Mann, Nick Ryder, Melanie Subbiah, Jared Kaplan,
Prafulla Dhariwal, Arvind Neelakantan, Pranav Shyam, Girish Sastry, Amanda
Askell, Sandhini Agarwal, Ariel Herbert-Voss, Gretchen Krueger, Tom
Henighan, Rewon Child, Aditya Ramesh, Daniel M. Ziegler, Jeffrey Wu, Clemens
Winter, Christopher Hesse, Mark Chen, Eric Sigler, Mateusz Litwin, Scott
Gray, Benjamin Chess, Jack Clark, Christopher Berner, Sam McCandlish, Alec
Radford, Ilya Sutskever, and Dario Amodei.

</span>
<span class="ltx_bibblock">Language Models are Few-Shot Learners.

</span>
<span class="ltx_bibblock"><em id="bib.bib7.1.1" class="ltx_emph ltx_font_italic">arXiv:2005.14165 [cs]</em>, July 2020.

</span>
</li>
<li id="bib.bib8" class="ltx_bibitem">
<span class="ltx_tag ltx_role_refnum ltx_tag_bibitem">Esmaili et al. [1995]</span>
<span class="ltx_bibblock">
Nasser Esmaili, Claude Sammut, and GM Shirazi.

</span>
<span class="ltx_bibblock">Behavioural cloning in control of a dynamic system.

</span>
<span class="ltx_bibblock">In <em id="bib.bib8.1.1" class="ltx_emph ltx_font_italic">1995 IEEE International Conference on Systems, Man and
Cybernetics. Intelligent Systems for the 21st Century</em>, volume 3, pages
2904–2909. IEEE, 1995.

</span>
</li>
<li id="bib.bib9" class="ltx_bibitem">
<span class="ltx_tag ltx_role_refnum ltx_tag_bibitem">Fan et al. [2018]</span>
<span class="ltx_bibblock">
Angela Fan, Mike Lewis, and Yann Dauphin.

</span>
<span class="ltx_bibblock">Hierarchical neural story generation.

</span>
<span class="ltx_bibblock">In <em id="bib.bib9.1.1" class="ltx_emph ltx_font_italic">Proceedings of the 56th Annual Meeting of the Association
for Computational Linguistics (Volume 1: Long Papers)</em>, pages 889–898,
2018.

</span>
</li>
<li id="bib.bib10" class="ltx_bibitem">
<span class="ltx_tag ltx_role_refnum ltx_tag_bibitem">Fu et al. [2021]</span>
<span class="ltx_bibblock">
Zihao Fu, Wai Lam, Anthony Man-Cho So, and Bei Shi.

</span>
<span class="ltx_bibblock">A theoretical analysis of the repetition problem in text generation.

</span>
<span class="ltx_bibblock">In <em id="bib.bib10.1.1" class="ltx_emph ltx_font_italic">Proceedings of the AAAI Conference on Artificial
Intelligence</em>, volume 35, pages 12848–12856, 2021.

</span>
</li>
<li id="bib.bib11" class="ltx_bibitem">
<span class="ltx_tag ltx_role_refnum ltx_tag_bibitem">Garg et al. [2021]</span>
<span class="ltx_bibblock">
Divyansh Garg, Shuvam Chakraborty, Chris Cundy, Jiaming Song, and Stefano
Ermon.

</span>
<span class="ltx_bibblock">IQ-Learn: Inverse soft-Q learning for imitation.

</span>
<span class="ltx_bibblock">In <em id="bib.bib11.1.1" class="ltx_emph ltx_font_italic">NeurIPS</em>, 2021.

</span>
</li>
<li id="bib.bib12" class="ltx_bibitem">
<span class="ltx_tag ltx_role_refnum ltx_tag_bibitem">Goodfellow et al. [2014]</span>
<span class="ltx_bibblock">
Ian Goodfellow, Jean Pouget-Abadie, Mehdi Mirza, Bing Xu, David
Warde-Farley, Sherjil Ozair, Aaron Courville, and Yoshua Bengio.

</span>
<span class="ltx_bibblock">Generative adversarial networks.

</span>
<span class="ltx_bibblock"><em id="bib.bib12.1.1" class="ltx_emph ltx_font_italic">Neural Information Processing Systems (NeurIPS)</em>, 2014.

</span>
</li>
<li id="bib.bib13" class="ltx_bibitem">
<span class="ltx_tag ltx_role_refnum ltx_tag_bibitem">Heek et al. [2020]</span>
<span class="ltx_bibblock">
Jonathan Heek, Anselm Levskaya, Avital Oliver, Marvin Ritter, Bertrand
Rondepierre, Andreas Steiner, and Marc van Zee.

</span>
<span class="ltx_bibblock">Flax: A neural network library and ecosystem for JAX, 2020.

</span>
</li>
<li id="bib.bib14" class="ltx_bibitem">
<span class="ltx_tag ltx_role_refnum ltx_tag_bibitem">Ho and Ermon [2016]</span>
<span class="ltx_bibblock">
Jonathan Ho and Stefano Ermon.

</span>
<span class="ltx_bibblock">Generative adversarial imitation learning.

</span>
<span class="ltx_bibblock"><em id="bib.bib14.1.1" class="ltx_emph ltx_font_italic">Advances in neural information processing systems</em>, 29, 2016.

</span>
</li>
<li id="bib.bib15" class="ltx_bibitem">
<span class="ltx_tag ltx_role_refnum ltx_tag_bibitem">Holtzman et al. [2019]</span>
<span class="ltx_bibblock">
Ari Holtzman, Jan Buys, Li Du, Maxwell Forbes, and Yejin Choi.

</span>
<span class="ltx_bibblock">The curious case of neural text degeneration.

</span>
<span class="ltx_bibblock">In <em id="bib.bib15.1.1" class="ltx_emph ltx_font_italic">International Conference on Learning Representations</em>, 2019.

</span>
</li>
<li id="bib.bib16" class="ltx_bibitem">
<span class="ltx_tag ltx_role_refnum ltx_tag_bibitem">Jabbar et al. [2020]</span>
<span class="ltx_bibblock">
Abdul Jabbar, Xi Li, and Bourahla Omar.

</span>
<span class="ltx_bibblock">A Survey on Generative Adversarial Networks: Variants,
Applications, and Training.

</span>
<span class="ltx_bibblock"><em id="bib.bib16.1.1" class="ltx_emph ltx_font_italic">arXiv:2006.05132 [cs]</em>, June 2020.

</span>
</li>
<li id="bib.bib17" class="ltx_bibitem">
<span class="ltx_tag ltx_role_refnum ltx_tag_bibitem">Jiang et al. [2022]</span>
<span class="ltx_bibblock">
Shaojie Jiang, Ruqing Zhang, Svitlana Vakulenko, and Maarten de Rijke.

</span>
<span class="ltx_bibblock">A simple contrastive learning objective for alleviating neural text
degeneration.

</span>
<span class="ltx_bibblock"><em id="bib.bib17.1.1" class="ltx_emph ltx_font_italic">arXiv preprint arXiv:2205.02517</em>, 2022.

</span>
</li>
<li id="bib.bib18" class="ltx_bibitem">
<span class="ltx_tag ltx_role_refnum ltx_tag_bibitem">Kostrikov et al. [2019]</span>
<span class="ltx_bibblock">
Ilya Kostrikov, Ofir Nachum, and Jonathan Tompson.

</span>
<span class="ltx_bibblock">Imitation learning via off-policy distribution matching.

</span>
<span class="ltx_bibblock">In <em id="bib.bib18.1.1" class="ltx_emph ltx_font_italic">International Conference on Learning Representations</em>, 2019.

</span>
</li>
<li id="bib.bib19" class="ltx_bibitem">
<span class="ltx_tag ltx_role_refnum ltx_tag_bibitem">Kwon et al. [2021]</span>
<span class="ltx_bibblock">
Dohyun Kwon, Yeoneung Kim, Guido Montúfar, and Insoon Yang.

</span>
<span class="ltx_bibblock">Training Wasserstein GANs without gradient penalties.

</span>
<span class="ltx_bibblock"><em id="bib.bib19.1.1" class="ltx_emph ltx_font_italic">arXiv:2110.14150 [cs, math]</em>, October 2021.

</span>
</li>
<li id="bib.bib20" class="ltx_bibitem">
<span class="ltx_tag ltx_role_refnum ltx_tag_bibitem">LeCun et al. [2006]</span>
<span class="ltx_bibblock">
Yann LeCun, Sumit Chopra, Raia Hadsell, Marc’Aurelio Ranzato, and Fu Jie Huang.

</span>
<span class="ltx_bibblock">A Tutorial on Energy-Based Learning, 2006.

</span>
</li>
<li id="bib.bib21" class="ltx_bibitem">
<span class="ltx_tag ltx_role_refnum ltx_tag_bibitem">Loshchilov and Hutter [2019]</span>
<span class="ltx_bibblock">
Ilya Loshchilov and Frank Hutter.

</span>
<span class="ltx_bibblock">Decoupled weight decay regularization.

</span>
<span class="ltx_bibblock">In <em id="bib.bib21.1.1" class="ltx_emph ltx_font_italic">International Conference on Learning Representations</em>, 2019.

</span>
</li>
<li id="bib.bib22" class="ltx_bibitem">
<span class="ltx_tag ltx_role_refnum ltx_tag_bibitem">Mnih et al. [2013]</span>
<span class="ltx_bibblock">
Volodymyr Mnih, Koray Kavukcuoglu, David Silver, Alex Graves, Ioannis
Antonoglou, Daan Wierstra, and Martin Riedmiller.

</span>
<span class="ltx_bibblock">Playing Atari with Deep Reinforcement Learning, 2013.

</span>
</li>
<li id="bib.bib23" class="ltx_bibitem">
<span class="ltx_tag ltx_role_refnum ltx_tag_bibitem">Ng and Russell [2000]</span>
<span class="ltx_bibblock">
Andrew Y Ng and Stuart Russell.

</span>
<span class="ltx_bibblock">Algorithms for inverse reinforcement learning.

</span>
<span class="ltx_bibblock">In <em id="bib.bib23.1.1" class="ltx_emph ltx_font_italic">In Proc. 17th International Conf. on Machine Learning</em>.
Citeseer, 2000.

</span>
</li>
<li id="bib.bib24" class="ltx_bibitem">
<span class="ltx_tag ltx_role_refnum ltx_tag_bibitem">Pillutla et al. [2022]</span>
<span class="ltx_bibblock">
Krishna Pillutla, Lang Liu, John Thickstun, Sean Welleck, Swabha Swayamdipta,
Rowan Zellers, Sewoong Oh, Yejin Choi, and Zaid Harchaoui.

</span>
<span class="ltx_bibblock">MAUVE scores for generative models: Theory and practice.

</span>
<span class="ltx_bibblock"><em id="bib.bib24.1.1" class="ltx_emph ltx_font_italic">arXiv preprint arXiv:2212.14578</em>, 2022.

</span>
</li>
<li id="bib.bib25" class="ltx_bibitem">
<span class="ltx_tag ltx_role_refnum ltx_tag_bibitem">Radford et al. [2018]</span>
<span class="ltx_bibblock">
Alec Radford, Jeffrey Wu, Rewon Child, David Luan, Dario Amodei, and Ilya
Sutskever.

</span>
<span class="ltx_bibblock">Language models are unsupervised multitask learners, 2018.

</span>
</li>
<li id="bib.bib26" class="ltx_bibitem">
<span class="ltx_tag ltx_role_refnum ltx_tag_bibitem">Rizzolo and Su [2007]</span>
<span class="ltx_bibblock">
Douglas Rizzolo and Francis Edward Su.

</span>
<span class="ltx_bibblock">A fixed point theorem for the infinite-dimensional simplex.

</span>
<span class="ltx_bibblock"><em id="bib.bib26.1.1" class="ltx_emph ltx_font_italic">Journal of mathematical analysis and applications</em>,
332(2):1063–1070, 2007.

</span>
</li>
<li id="bib.bib27" class="ltx_bibitem">
<span class="ltx_tag ltx_role_refnum ltx_tag_bibitem">Ross et al. [2011]</span>
<span class="ltx_bibblock">
Stéphane Ross, Geoffrey Gordon, and Drew Bagnell.

</span>
<span class="ltx_bibblock">A reduction of imitation learning and structured prediction to
no-regret online learning.

</span>
<span class="ltx_bibblock">In <em id="bib.bib27.1.1" class="ltx_emph ltx_font_italic">AISTATS</em>, pages 627–635, 2011.

</span>
</li>
<li id="bib.bib28" class="ltx_bibitem">
<span class="ltx_tag ltx_role_refnum ltx_tag_bibitem">Shi et al. [2018]</span>
<span class="ltx_bibblock">
Zhan Shi, Xinchi Chen, Xipeng Qiu, and Xuanjing Huang.

</span>
<span class="ltx_bibblock">Toward Diverse Text Generation with Inverse Reinforcement
Learning.

</span>
<span class="ltx_bibblock"><em id="bib.bib28.1.1" class="ltx_emph ltx_font_italic">arXiv:1804.11258 [cs, stat]</em>, June 2018.

</span>
</li>
<li id="bib.bib29" class="ltx_bibitem">
<span class="ltx_tag ltx_role_refnum ltx_tag_bibitem">Sion [1958]</span>
<span class="ltx_bibblock">
Maurice Sion.

</span>
<span class="ltx_bibblock">On general minimax theorems.

</span>
<span class="ltx_bibblock"><em id="bib.bib29.1.1" class="ltx_emph ltx_font_italic">Pacific Journal of Mathematics</em>, 8(4):171–176, 1958.

</span>
</li>
<li id="bib.bib30" class="ltx_bibitem">
<span class="ltx_tag ltx_role_refnum ltx_tag_bibitem">Song and Ermon [2019]</span>
<span class="ltx_bibblock">
Yang Song and Stefano Ermon.

</span>
<span class="ltx_bibblock">Generative modeling by estimating gradients of the data distribution.

</span>
<span class="ltx_bibblock">In <em id="bib.bib30.1.1" class="ltx_emph ltx_font_italic">Advances in Neural Information Processing Systems</em>,
volume 32, 2019.

</span>
</li>
<li id="bib.bib31" class="ltx_bibitem">
<span class="ltx_tag ltx_role_refnum ltx_tag_bibitem">Song et al. [2021]</span>
<span class="ltx_bibblock">
Yang Song, Jascha Sohl-Dickstein, Diederik P. Kingma, Abhishek Kumar, Stefano
Ermon, and Ben Poole.

</span>
<span class="ltx_bibblock">Score-Based Generative Modeling through Stochastic Differential
Equations.

</span>
<span class="ltx_bibblock"><em id="bib.bib31.1.1" class="ltx_emph ltx_font_italic">arXiv:2011.13456 [cs, stat]</em>, February 2021.

</span>
</li>
<li id="bib.bib32" class="ltx_bibitem">
<span class="ltx_tag ltx_role_refnum ltx_tag_bibitem">Swamy et al. [2021]</span>
<span class="ltx_bibblock">
Gokul Swamy, Sanjiban Choudhury, Zhiwei Steven Wu, and J. Andrew Bagnell.

</span>
<span class="ltx_bibblock">Of Moments and Matching: Trade-offs and Treatments in
Imitation Learning.

</span>
<span class="ltx_bibblock"><em id="bib.bib32.1.1" class="ltx_emph ltx_font_italic">arXiv:2103.03236 [cs, stat]</em>, March 2021.

</span>
</li>
<li id="bib.bib33" class="ltx_bibitem">
<span class="ltx_tag ltx_role_refnum ltx_tag_bibitem">Syed et al. [2008]</span>
<span class="ltx_bibblock">
Umar Syed, Michael Bowling, and Robert E Schapire.

</span>
<span class="ltx_bibblock">Apprenticeship learning using linear programming.

</span>
<span class="ltx_bibblock">In <em id="bib.bib33.1.1" class="ltx_emph ltx_font_italic">Proceedings of the 25th International Conference on
Machine Learning</em>, pages 1032–1039, 2008.

</span>
</li>
<li id="bib.bib34" class="ltx_bibitem">
<span class="ltx_tag ltx_role_refnum ltx_tag_bibitem">Tang [2020]</span>
<span class="ltx_bibblock">
Shichang Tang.

</span>
<span class="ltx_bibblock">Lessons Learned from the Training of GANs on Artificial
Datasets.

</span>
<span class="ltx_bibblock"><em id="bib.bib34.1.1" class="ltx_emph ltx_font_italic">arXiv:2007.06418 [cs, stat]</em>, July 2020.

</span>
</li>
<li id="bib.bib35" class="ltx_bibitem">
<span class="ltx_tag ltx_role_refnum ltx_tag_bibitem">Vaswani et al. [2017]</span>
<span class="ltx_bibblock">
Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones,
Aidan N Gomez, Lukasz Kaiser, and Illia Polosukhin.

</span>
<span class="ltx_bibblock">Attention is all you need.

</span>
<span class="ltx_bibblock">In <em id="bib.bib35.1.1" class="ltx_emph ltx_font_italic">Advances in Neural Information Processing Systems</em>,
volume 30, 2017.

</span>
</li>
<li id="bib.bib36" class="ltx_bibitem">
<span class="ltx_tag ltx_role_refnum ltx_tag_bibitem">Weissenborn et al. [2020]</span>
<span class="ltx_bibblock">
Dirk Weissenborn, Oscar Täckström, and Jakob Uszkoreit.

</span>
<span class="ltx_bibblock">Scaling autoregressive video models.

</span>
<span class="ltx_bibblock">In <em id="bib.bib36.1.1" class="ltx_emph ltx_font_italic">International Conference on Learning Representations</em>, 2020.

</span>
</li>
<li id="bib.bib37" class="ltx_bibitem">
<span class="ltx_tag ltx_role_refnum ltx_tag_bibitem">Welleck et al. [2019]</span>
<span class="ltx_bibblock">
Sean Welleck, Ilia Kulikov, Stephen Roller, Emily Dinan, Kyunghyun Cho, and
Jason Weston.

</span>
<span class="ltx_bibblock">Neural text generation with unlikelihood training.

</span>
<span class="ltx_bibblock">In <em id="bib.bib37.1.1" class="ltx_emph ltx_font_italic">International Conference on Learning Representations</em>, 2019.

</span>
</li>
<li id="bib.bib38" class="ltx_bibitem">
<span class="ltx_tag ltx_role_refnum ltx_tag_bibitem">Wolf et al. [2019]</span>
<span class="ltx_bibblock">
Thomas Wolf, Lysandre Debut, Victor Sanh, Julien Chaumond, Clement Delangue,
Anthony Moi, Pierric Cistac, Tim Rault, Rémi Louf, Morgan Funtowicz,
et al.

</span>
<span class="ltx_bibblock">Huggingface’s transformers: State-of-the-art natural language
processing.

</span>
<span class="ltx_bibblock"><em id="bib.bib38.1.1" class="ltx_emph ltx_font_italic">arXiv preprint arXiv:1910.03771</em>, 2019.

</span>
</li>
</ul>
</section>
<div class="ltx_pagination ltx_role_newpage"></div>
<section id="A1" class="ltx_appendix">
<h2 class="ltx_title ltx_title_appendix">
<span class="ltx_tag ltx_tag_appendix">Appendix A </span>Algorithm A</h2>

<figure id="algorithm2" class="ltx_float ltx_algorithm">
<div id="algorithm2.29" class="ltx_listing ltx_lst_numbers_left ltx_listing">
<div id="algorithm2.1.1" class="ltx_listingline">




<span id="algorithm2.1.1.1" class="ltx_text ltx_font_bold">Input :</span> Sequence of action inputs <math id="algorithm2.1.1.m1.1" class="ltx_Math" alttext="a_{1:L}" display="inline"><semantics id="algorithm2.1.1.m1.1a"><msub id="algorithm2.1.1.m1.1.1" xref="algorithm2.1.1.m1.1.1.cmml"><mi id="algorithm2.1.1.m1.1.1.2" xref="algorithm2.1.1.m1.1.1.2.cmml">a</mi><mrow id="algorithm2.1.1.m1.1.1.3" xref="algorithm2.1.1.m1.1.1.3.cmml"><mn id="algorithm2.1.1.m1.1.1.3.2" xref="algorithm2.1.1.m1.1.1.3.2.cmml">1</mn><mo lspace="0.278em" rspace="0.278em" id="algorithm2.1.1.m1.1.1.3.1" xref="algorithm2.1.1.m1.1.1.3.1.cmml">:</mo><mi id="algorithm2.1.1.m1.1.1.3.3" xref="algorithm2.1.1.m1.1.1.3.3.cmml">L</mi></mrow></msub><annotation-xml encoding="MathML-Content" id="algorithm2.1.1.m1.1b"><apply id="algorithm2.1.1.m1.1.1.cmml" xref="algorithm2.1.1.m1.1.1"><csymbol cd="ambiguous" id="algorithm2.1.1.m1.1.1.1.cmml" xref="algorithm2.1.1.m1.1.1">subscript</csymbol><ci id="algorithm2.1.1.m1.1.1.2.cmml" xref="algorithm2.1.1.m1.1.1.2">𝑎</ci><apply id="algorithm2.1.1.m1.1.1.3.cmml" xref="algorithm2.1.1.m1.1.1.3"><ci id="algorithm2.1.1.m1.1.1.3.1.cmml" xref="algorithm2.1.1.m1.1.1.3.1">:</ci><cn type="integer" id="algorithm2.1.1.m1.1.1.3.2.cmml" xref="algorithm2.1.1.m1.1.1.3.2">1</cn><ci id="algorithm2.1.1.m1.1.1.3.3.cmml" xref="algorithm2.1.1.m1.1.1.3.3">𝐿</ci></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="algorithm2.1.1.m1.1c">a_{1:L}</annotation></semantics></math>
</div>
<div id="algorithm2.2.2" class="ltx_listingline">
<span id="algorithm2.2.2.1" class="ltx_text ltx_font_bold">output :</span> Sequence of labels, inputs, masks, position ids <math id="algorithm2.2.2.m1.7" class="ltx_Math" alttext="y\in|V|^{L},x\in|V|^{L},m\in\{0,1\}^{L\times L},p\in[L]^{L}" display="inline"><semantics id="algorithm2.2.2.m1.7a"><mrow id="algorithm2.2.2.m1.7.7.2" xref="algorithm2.2.2.m1.7.7.3.cmml"><mrow id="algorithm2.2.2.m1.6.6.1.1" xref="algorithm2.2.2.m1.6.6.1.1.cmml"><mi id="algorithm2.2.2.m1.6.6.1.1.2" xref="algorithm2.2.2.m1.6.6.1.1.2.cmml">y</mi><mo id="algorithm2.2.2.m1.6.6.1.1.1" xref="algorithm2.2.2.m1.6.6.1.1.1.cmml">∈</mo><msup id="algorithm2.2.2.m1.6.6.1.1.3" xref="algorithm2.2.2.m1.6.6.1.1.3.cmml"><mrow id="algorithm2.2.2.m1.6.6.1.1.3.2.2" xref="algorithm2.2.2.m1.6.6.1.1.3.2.1.cmml"><mo stretchy="false" id="algorithm2.2.2.m1.6.6.1.1.3.2.2.1" xref="algorithm2.2.2.m1.6.6.1.1.3.2.1.1.cmml">|</mo><mi id="algorithm2.2.2.m1.1.1" xref="algorithm2.2.2.m1.1.1.cmml">V</mi><mo stretchy="false" id="algorithm2.2.2.m1.6.6.1.1.3.2.2.2" xref="algorithm2.2.2.m1.6.6.1.1.3.2.1.1.cmml">|</mo></mrow><mi id="algorithm2.2.2.m1.6.6.1.1.3.3" xref="algorithm2.2.2.m1.6.6.1.1.3.3.cmml">L</mi></msup></mrow><mo id="algorithm2.2.2.m1.7.7.2.3" xref="algorithm2.2.2.m1.7.7.3a.cmml">,</mo><mrow id="algorithm2.2.2.m1.7.7.2.2.2" xref="algorithm2.2.2.m1.7.7.2.2.3.cmml"><mrow id="algorithm2.2.2.m1.7.7.2.2.1.1" xref="algorithm2.2.2.m1.7.7.2.2.1.1.cmml"><mi id="algorithm2.2.2.m1.7.7.2.2.1.1.2" xref="algorithm2.2.2.m1.7.7.2.2.1.1.2.cmml">x</mi><mo id="algorithm2.2.2.m1.7.7.2.2.1.1.1" xref="algorithm2.2.2.m1.7.7.2.2.1.1.1.cmml">∈</mo><msup id="algorithm2.2.2.m1.7.7.2.2.1.1.3" xref="algorithm2.2.2.m1.7.7.2.2.1.1.3.cmml"><mrow id="algorithm2.2.2.m1.7.7.2.2.1.1.3.2.2" xref="algorithm2.2.2.m1.7.7.2.2.1.1.3.2.1.cmml"><mo stretchy="false" id="algorithm2.2.2.m1.7.7.2.2.1.1.3.2.2.1" xref="algorithm2.2.2.m1.7.7.2.2.1.1.3.2.1.1.cmml">|</mo><mi id="algorithm2.2.2.m1.2.2" xref="algorithm2.2.2.m1.2.2.cmml">V</mi><mo stretchy="false" id="algorithm2.2.2.m1.7.7.2.2.1.1.3.2.2.2" xref="algorithm2.2.2.m1.7.7.2.2.1.1.3.2.1.1.cmml">|</mo></mrow><mi id="algorithm2.2.2.m1.7.7.2.2.1.1.3.3" xref="algorithm2.2.2.m1.7.7.2.2.1.1.3.3.cmml">L</mi></msup></mrow><mo id="algorithm2.2.2.m1.7.7.2.2.2.3" xref="algorithm2.2.2.m1.7.7.2.2.3a.cmml">,</mo><mrow id="algorithm2.2.2.m1.7.7.2.2.2.2.2" xref="algorithm2.2.2.m1.7.7.2.2.2.2.3.cmml"><mrow id="algorithm2.2.2.m1.7.7.2.2.2.2.1.1" xref="algorithm2.2.2.m1.7.7.2.2.2.2.1.1.cmml"><mi id="algorithm2.2.2.m1.7.7.2.2.2.2.1.1.2" xref="algorithm2.2.2.m1.7.7.2.2.2.2.1.1.2.cmml">m</mi><mo id="algorithm2.2.2.m1.7.7.2.2.2.2.1.1.1" xref="algorithm2.2.2.m1.7.7.2.2.2.2.1.1.1.cmml">∈</mo><msup id="algorithm2.2.2.m1.7.7.2.2.2.2.1.1.3" xref="algorithm2.2.2.m1.7.7.2.2.2.2.1.1.3.cmml"><mrow id="algorithm2.2.2.m1.7.7.2.2.2.2.1.1.3.2.2" xref="algorithm2.2.2.m1.7.7.2.2.2.2.1.1.3.2.1.cmml"><mo stretchy="false" id="algorithm2.2.2.m1.7.7.2.2.2.2.1.1.3.2.2.1" xref="algorithm2.2.2.m1.7.7.2.2.2.2.1.1.3.2.1.cmml">{</mo><mn id="algorithm2.2.2.m1.3.3" xref="algorithm2.2.2.m1.3.3.cmml">0</mn><mo id="algorithm2.2.2.m1.7.7.2.2.2.2.1.1.3.2.2.2" xref="algorithm2.2.2.m1.7.7.2.2.2.2.1.1.3.2.1.cmml">,</mo><mn id="algorithm2.2.2.m1.4.4" xref="algorithm2.2.2.m1.4.4.cmml">1</mn><mo stretchy="false" id="algorithm2.2.2.m1.7.7.2.2.2.2.1.1.3.2.2.3" xref="algorithm2.2.2.m1.7.7.2.2.2.2.1.1.3.2.1.cmml">}</mo></mrow><mrow id="algorithm2.2.2.m1.7.7.2.2.2.2.1.1.3.3" xref="algorithm2.2.2.m1.7.7.2.2.2.2.1.1.3.3.cmml"><mi id="algorithm2.2.2.m1.7.7.2.2.2.2.1.1.3.3.2" xref="algorithm2.2.2.m1.7.7.2.2.2.2.1.1.3.3.2.cmml">L</mi><mo lspace="0.222em" rspace="0.222em" id="algorithm2.2.2.m1.7.7.2.2.2.2.1.1.3.3.1" xref="algorithm2.2.2.m1.7.7.2.2.2.2.1.1.3.3.1.cmml">×</mo><mi id="algorithm2.2.2.m1.7.7.2.2.2.2.1.1.3.3.3" xref="algorithm2.2.2.m1.7.7.2.2.2.2.1.1.3.3.3.cmml">L</mi></mrow></msup></mrow><mo id="algorithm2.2.2.m1.7.7.2.2.2.2.2.3" xref="algorithm2.2.2.m1.7.7.2.2.2.2.3a.cmml">,</mo><mrow id="algorithm2.2.2.m1.7.7.2.2.2.2.2.2" xref="algorithm2.2.2.m1.7.7.2.2.2.2.2.2.cmml"><mi id="algorithm2.2.2.m1.7.7.2.2.2.2.2.2.2" xref="algorithm2.2.2.m1.7.7.2.2.2.2.2.2.2.cmml">p</mi><mo id="algorithm2.2.2.m1.7.7.2.2.2.2.2.2.1" xref="algorithm2.2.2.m1.7.7.2.2.2.2.2.2.1.cmml">∈</mo><msup id="algorithm2.2.2.m1.7.7.2.2.2.2.2.2.3" xref="algorithm2.2.2.m1.7.7.2.2.2.2.2.2.3.cmml"><mrow id="algorithm2.2.2.m1.7.7.2.2.2.2.2.2.3.2.2" xref="algorithm2.2.2.m1.7.7.2.2.2.2.2.2.3.2.1.cmml"><mo stretchy="false" id="algorithm2.2.2.m1.7.7.2.2.2.2.2.2.3.2.2.1" xref="algorithm2.2.2.m1.7.7.2.2.2.2.2.2.3.2.1.1.cmml">[</mo><mi id="algorithm2.2.2.m1.5.5" xref="algorithm2.2.2.m1.5.5.cmml">L</mi><mo stretchy="false" id="algorithm2.2.2.m1.7.7.2.2.2.2.2.2.3.2.2.2" xref="algorithm2.2.2.m1.7.7.2.2.2.2.2.2.3.2.1.1.cmml">]</mo></mrow><mi id="algorithm2.2.2.m1.7.7.2.2.2.2.2.2.3.3" xref="algorithm2.2.2.m1.7.7.2.2.2.2.2.2.3.3.cmml">L</mi></msup></mrow></mrow></mrow></mrow><annotation-xml encoding="MathML-Content" id="algorithm2.2.2.m1.7b"><apply id="algorithm2.2.2.m1.7.7.3.cmml" xref="algorithm2.2.2.m1.7.7.2"><csymbol cd="ambiguous" id="algorithm2.2.2.m1.7.7.3a.cmml" xref="algorithm2.2.2.m1.7.7.2.3">formulae-sequence</csymbol><apply id="algorithm2.2.2.m1.6.6.1.1.cmml" xref="algorithm2.2.2.m1.6.6.1.1"><in id="algorithm2.2.2.m1.6.6.1.1.1.cmml" xref="algorithm2.2.2.m1.6.6.1.1.1"></in><ci id="algorithm2.2.2.m1.6.6.1.1.2.cmml" xref="algorithm2.2.2.m1.6.6.1.1.2">𝑦</ci><apply id="algorithm2.2.2.m1.6.6.1.1.3.cmml" xref="algorithm2.2.2.m1.6.6.1.1.3"><csymbol cd="ambiguous" id="algorithm2.2.2.m1.6.6.1.1.3.1.cmml" xref="algorithm2.2.2.m1.6.6.1.1.3">superscript</csymbol><apply id="algorithm2.2.2.m1.6.6.1.1.3.2.1.cmml" xref="algorithm2.2.2.m1.6.6.1.1.3.2.2"><abs id="algorithm2.2.2.m1.6.6.1.1.3.2.1.1.cmml" xref="algorithm2.2.2.m1.6.6.1.1.3.2.2.1"></abs><ci id="algorithm2.2.2.m1.1.1.cmml" xref="algorithm2.2.2.m1.1.1">𝑉</ci></apply><ci id="algorithm2.2.2.m1.6.6.1.1.3.3.cmml" xref="algorithm2.2.2.m1.6.6.1.1.3.3">𝐿</ci></apply></apply><apply id="algorithm2.2.2.m1.7.7.2.2.3.cmml" xref="algorithm2.2.2.m1.7.7.2.2.2"><csymbol cd="ambiguous" id="algorithm2.2.2.m1.7.7.2.2.3a.cmml" xref="algorithm2.2.2.m1.7.7.2.2.2.3">formulae-sequence</csymbol><apply id="algorithm2.2.2.m1.7.7.2.2.1.1.cmml" xref="algorithm2.2.2.m1.7.7.2.2.1.1"><in id="algorithm2.2.2.m1.7.7.2.2.1.1.1.cmml" xref="algorithm2.2.2.m1.7.7.2.2.1.1.1"></in><ci id="algorithm2.2.2.m1.7.7.2.2.1.1.2.cmml" xref="algorithm2.2.2.m1.7.7.2.2.1.1.2">𝑥</ci><apply id="algorithm2.2.2.m1.7.7.2.2.1.1.3.cmml" xref="algorithm2.2.2.m1.7.7.2.2.1.1.3"><csymbol cd="ambiguous" id="algorithm2.2.2.m1.7.7.2.2.1.1.3.1.cmml" xref="algorithm2.2.2.m1.7.7.2.2.1.1.3">superscript</csymbol><apply id="algorithm2.2.2.m1.7.7.2.2.1.1.3.2.1.cmml" xref="algorithm2.2.2.m1.7.7.2.2.1.1.3.2.2"><abs id="algorithm2.2.2.m1.7.7.2.2.1.1.3.2.1.1.cmml" xref="algorithm2.2.2.m1.7.7.2.2.1.1.3.2.2.1"></abs><ci id="algorithm2.2.2.m1.2.2.cmml" xref="algorithm2.2.2.m1.2.2">𝑉</ci></apply><ci id="algorithm2.2.2.m1.7.7.2.2.1.1.3.3.cmml" xref="algorithm2.2.2.m1.7.7.2.2.1.1.3.3">𝐿</ci></apply></apply><apply id="algorithm2.2.2.m1.7.7.2.2.2.2.3.cmml" xref="algorithm2.2.2.m1.7.7.2.2.2.2.2"><csymbol cd="ambiguous" id="algorithm2.2.2.m1.7.7.2.2.2.2.3a.cmml" xref="algorithm2.2.2.m1.7.7.2.2.2.2.2.3">formulae-sequence</csymbol><apply id="algorithm2.2.2.m1.7.7.2.2.2.2.1.1.cmml" xref="algorithm2.2.2.m1.7.7.2.2.2.2.1.1"><in id="algorithm2.2.2.m1.7.7.2.2.2.2.1.1.1.cmml" xref="algorithm2.2.2.m1.7.7.2.2.2.2.1.1.1"></in><ci id="algorithm2.2.2.m1.7.7.2.2.2.2.1.1.2.cmml" xref="algorithm2.2.2.m1.7.7.2.2.2.2.1.1.2">𝑚</ci><apply id="algorithm2.2.2.m1.7.7.2.2.2.2.1.1.3.cmml" xref="algorithm2.2.2.m1.7.7.2.2.2.2.1.1.3"><csymbol cd="ambiguous" id="algorithm2.2.2.m1.7.7.2.2.2.2.1.1.3.1.cmml" xref="algorithm2.2.2.m1.7.7.2.2.2.2.1.1.3">superscript</csymbol><set id="algorithm2.2.2.m1.7.7.2.2.2.2.1.1.3.2.1.cmml" xref="algorithm2.2.2.m1.7.7.2.2.2.2.1.1.3.2.2"><cn type="integer" id="algorithm2.2.2.m1.3.3.cmml" xref="algorithm2.2.2.m1.3.3">0</cn><cn type="integer" id="algorithm2.2.2.m1.4.4.cmml" xref="algorithm2.2.2.m1.4.4">1</cn></set><apply id="algorithm2.2.2.m1.7.7.2.2.2.2.1.1.3.3.cmml" xref="algorithm2.2.2.m1.7.7.2.2.2.2.1.1.3.3"><times id="algorithm2.2.2.m1.7.7.2.2.2.2.1.1.3.3.1.cmml" xref="algorithm2.2.2.m1.7.7.2.2.2.2.1.1.3.3.1"></times><ci id="algorithm2.2.2.m1.7.7.2.2.2.2.1.1.3.3.2.cmml" xref="algorithm2.2.2.m1.7.7.2.2.2.2.1.1.3.3.2">𝐿</ci><ci id="algorithm2.2.2.m1.7.7.2.2.2.2.1.1.3.3.3.cmml" xref="algorithm2.2.2.m1.7.7.2.2.2.2.1.1.3.3.3">𝐿</ci></apply></apply></apply><apply id="algorithm2.2.2.m1.7.7.2.2.2.2.2.2.cmml" xref="algorithm2.2.2.m1.7.7.2.2.2.2.2.2"><in id="algorithm2.2.2.m1.7.7.2.2.2.2.2.2.1.cmml" xref="algorithm2.2.2.m1.7.7.2.2.2.2.2.2.1"></in><ci id="algorithm2.2.2.m1.7.7.2.2.2.2.2.2.2.cmml" xref="algorithm2.2.2.m1.7.7.2.2.2.2.2.2.2">𝑝</ci><apply id="algorithm2.2.2.m1.7.7.2.2.2.2.2.2.3.cmml" xref="algorithm2.2.2.m1.7.7.2.2.2.2.2.2.3"><csymbol cd="ambiguous" id="algorithm2.2.2.m1.7.7.2.2.2.2.2.2.3.1.cmml" xref="algorithm2.2.2.m1.7.7.2.2.2.2.2.2.3">superscript</csymbol><apply id="algorithm2.2.2.m1.7.7.2.2.2.2.2.2.3.2.1.cmml" xref="algorithm2.2.2.m1.7.7.2.2.2.2.2.2.3.2.2"><csymbol cd="latexml" id="algorithm2.2.2.m1.7.7.2.2.2.2.2.2.3.2.1.1.cmml" xref="algorithm2.2.2.m1.7.7.2.2.2.2.2.2.3.2.2.1">delimited-[]</csymbol><ci id="algorithm2.2.2.m1.5.5.cmml" xref="algorithm2.2.2.m1.5.5">𝐿</ci></apply><ci id="algorithm2.2.2.m1.7.7.2.2.2.2.2.2.3.3.cmml" xref="algorithm2.2.2.m1.7.7.2.2.2.2.2.2.3.3">𝐿</ci></apply></apply></apply></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="algorithm2.2.2.m1.7c">y\in|V|^{L},x\in|V|^{L},m\in\{0,1\}^{L\times L},p\in[L]^{L}</annotation></semantics></math>
</div>
<div id="algorithm2.3.3" class="ltx_listingline">
Initialize <math id="algorithm2.3.3.m1.3" class="ltx_Math" alttext="y,m,p" display="inline"><semantics id="algorithm2.3.3.m1.3a"><mrow id="algorithm2.3.3.m1.3.4.2" xref="algorithm2.3.3.m1.3.4.1.cmml"><mi id="algorithm2.3.3.m1.1.1" xref="algorithm2.3.3.m1.1.1.cmml">y</mi><mo id="algorithm2.3.3.m1.3.4.2.1" xref="algorithm2.3.3.m1.3.4.1.cmml">,</mo><mi id="algorithm2.3.3.m1.2.2" xref="algorithm2.3.3.m1.2.2.cmml">m</mi><mo id="algorithm2.3.3.m1.3.4.2.2" xref="algorithm2.3.3.m1.3.4.1.cmml">,</mo><mi id="algorithm2.3.3.m1.3.3" xref="algorithm2.3.3.m1.3.3.cmml">p</mi></mrow><annotation-xml encoding="MathML-Content" id="algorithm2.3.3.m1.3b"><list id="algorithm2.3.3.m1.3.4.1.cmml" xref="algorithm2.3.3.m1.3.4.2"><ci id="algorithm2.3.3.m1.1.1.cmml" xref="algorithm2.3.3.m1.1.1">𝑦</ci><ci id="algorithm2.3.3.m1.2.2.cmml" xref="algorithm2.3.3.m1.2.2">𝑚</ci><ci id="algorithm2.3.3.m1.3.3.cmml" xref="algorithm2.3.3.m1.3.3">𝑝</ci></list></annotation-xml><annotation encoding="application/x-tex" id="algorithm2.3.3.m1.3c">y,m,p</annotation></semantics></math> to zero. 
</div>
<div id="algorithm2.5.5" class="ltx_listingline">
Initialize <math id="algorithm2.4.4.m1.1" class="ltx_Math" alttext="x" display="inline"><semantics id="algorithm2.4.4.m1.1a"><mi id="algorithm2.4.4.m1.1.1" xref="algorithm2.4.4.m1.1.1.cmml">x</mi><annotation-xml encoding="MathML-Content" id="algorithm2.4.4.m1.1b"><ci id="algorithm2.4.4.m1.1.1.cmml" xref="algorithm2.4.4.m1.1.1">𝑥</ci></annotation-xml><annotation encoding="application/x-tex" id="algorithm2.4.4.m1.1c">x</annotation></semantics></math> to <math id="algorithm2.5.5.m2.1" class="ltx_Math" alttext="a" display="inline"><semantics id="algorithm2.5.5.m2.1a"><mi id="algorithm2.5.5.m2.1.1" xref="algorithm2.5.5.m2.1.1.cmml">a</mi><annotation-xml encoding="MathML-Content" id="algorithm2.5.5.m2.1b"><ci id="algorithm2.5.5.m2.1.1.cmml" xref="algorithm2.5.5.m2.1.1">𝑎</ci></annotation-xml><annotation encoding="application/x-tex" id="algorithm2.5.5.m2.1c">a</annotation></semantics></math>. 
</div>
<div id="algorithm2.6.6" class="ltx_listingline">
Initialize <math id="algorithm2.6.6.m1.1" class="ltx_Math" alttext="c=0" display="inline"><semantics id="algorithm2.6.6.m1.1a"><mrow id="algorithm2.6.6.m1.1.1" xref="algorithm2.6.6.m1.1.1.cmml"><mi id="algorithm2.6.6.m1.1.1.2" xref="algorithm2.6.6.m1.1.1.2.cmml">c</mi><mo id="algorithm2.6.6.m1.1.1.1" xref="algorithm2.6.6.m1.1.1.1.cmml">=</mo><mn id="algorithm2.6.6.m1.1.1.3" xref="algorithm2.6.6.m1.1.1.3.cmml">0</mn></mrow><annotation-xml encoding="MathML-Content" id="algorithm2.6.6.m1.1b"><apply id="algorithm2.6.6.m1.1.1.cmml" xref="algorithm2.6.6.m1.1.1"><eq id="algorithm2.6.6.m1.1.1.1.cmml" xref="algorithm2.6.6.m1.1.1.1"></eq><ci id="algorithm2.6.6.m1.1.1.2.cmml" xref="algorithm2.6.6.m1.1.1.2">𝑐</ci><cn type="integer" id="algorithm2.6.6.m1.1.1.3.cmml" xref="algorithm2.6.6.m1.1.1.3">0</cn></apply></annotation-xml><annotation encoding="application/x-tex" id="algorithm2.6.6.m1.1c">c=0</annotation></semantics></math> 
</div>
<div id="algorithm2.29.30" class="ltx_listingline">  <span id="algorithm2.29.30.1" class="ltx_text ltx_font_typewriter">// </span><span id="algorithm2.29.30.2" class="ltx_text ltx_font_typewriter">Copy Pointer</span>
</div>
<div id="algorithm2.7.7" class="ltx_listingline">
Initialize <math id="algorithm2.7.7.m1.1" class="ltx_Math" alttext="d=0" display="inline"><semantics id="algorithm2.7.7.m1.1a"><mrow id="algorithm2.7.7.m1.1.1" xref="algorithm2.7.7.m1.1.1.cmml"><mi id="algorithm2.7.7.m1.1.1.2" xref="algorithm2.7.7.m1.1.1.2.cmml">d</mi><mo id="algorithm2.7.7.m1.1.1.1" xref="algorithm2.7.7.m1.1.1.1.cmml">=</mo><mn id="algorithm2.7.7.m1.1.1.3" xref="algorithm2.7.7.m1.1.1.3.cmml">0</mn></mrow><annotation-xml encoding="MathML-Content" id="algorithm2.7.7.m1.1b"><apply id="algorithm2.7.7.m1.1.1.cmml" xref="algorithm2.7.7.m1.1.1"><eq id="algorithm2.7.7.m1.1.1.1.cmml" xref="algorithm2.7.7.m1.1.1.1"></eq><ci id="algorithm2.7.7.m1.1.1.2.cmml" xref="algorithm2.7.7.m1.1.1.2">𝑑</ci><cn type="integer" id="algorithm2.7.7.m1.1.1.3.cmml" xref="algorithm2.7.7.m1.1.1.3">0</cn></apply></annotation-xml><annotation encoding="application/x-tex" id="algorithm2.7.7.m1.1c">d=0</annotation></semantics></math> 
</div>
<div id="algorithm2.29.31" class="ltx_listingline">  <span id="algorithm2.29.31.1" class="ltx_text ltx_font_typewriter">// </span><span id="algorithm2.29.31.2" class="ltx_text ltx_font_typewriter">Deletion Pointer</span>
</div>
<div id="algorithm2.8.8" class="ltx_listingline">
<span id="algorithm2.8.8.2" class="ltx_text ltx_font_bold">for</span> <em id="algorithm2.8.8.1" class="ltx_emph ltx_font_italic"><math id="algorithm2.8.8.1.m1.2" class="ltx_Math" alttext="i=0,\ldots L" display="inline"><semantics id="algorithm2.8.8.1.m1.2a"><mrow id="algorithm2.8.8.1.m1.2.2" xref="algorithm2.8.8.1.m1.2.2.cmml"><mi id="algorithm2.8.8.1.m1.2.2.3" xref="algorithm2.8.8.1.m1.2.2.3.cmml">i</mi><mo id="algorithm2.8.8.1.m1.2.2.2" xref="algorithm2.8.8.1.m1.2.2.2.cmml">=</mo><mrow id="algorithm2.8.8.1.m1.2.2.1.1" xref="algorithm2.8.8.1.m1.2.2.1.2.cmml"><mn id="algorithm2.8.8.1.m1.1.1" xref="algorithm2.8.8.1.m1.1.1.cmml">0</mn><mo id="algorithm2.8.8.1.m1.2.2.1.1.2" xref="algorithm2.8.8.1.m1.2.2.1.2.cmml">,</mo><mrow id="algorithm2.8.8.1.m1.2.2.1.1.1" xref="algorithm2.8.8.1.m1.2.2.1.1.1.cmml"><mi mathvariant="normal" id="algorithm2.8.8.1.m1.2.2.1.1.1.2" xref="algorithm2.8.8.1.m1.2.2.1.1.1.2.cmml">…</mi><mo lspace="0em" rspace="0em" id="algorithm2.8.8.1.m1.2.2.1.1.1.1" xref="algorithm2.8.8.1.m1.2.2.1.1.1.1.cmml">​</mo><mi id="algorithm2.8.8.1.m1.2.2.1.1.1.3" xref="algorithm2.8.8.1.m1.2.2.1.1.1.3.cmml">L</mi></mrow></mrow></mrow><annotation-xml encoding="MathML-Content" id="algorithm2.8.8.1.m1.2b"><apply id="algorithm2.8.8.1.m1.2.2.cmml" xref="algorithm2.8.8.1.m1.2.2"><eq id="algorithm2.8.8.1.m1.2.2.2.cmml" xref="algorithm2.8.8.1.m1.2.2.2"></eq><ci id="algorithm2.8.8.1.m1.2.2.3.cmml" xref="algorithm2.8.8.1.m1.2.2.3">𝑖</ci><list id="algorithm2.8.8.1.m1.2.2.1.2.cmml" xref="algorithm2.8.8.1.m1.2.2.1.1"><cn type="integer" id="algorithm2.8.8.1.m1.1.1.cmml" xref="algorithm2.8.8.1.m1.1.1">0</cn><apply id="algorithm2.8.8.1.m1.2.2.1.1.1.cmml" xref="algorithm2.8.8.1.m1.2.2.1.1.1"><times id="algorithm2.8.8.1.m1.2.2.1.1.1.1.cmml" xref="algorithm2.8.8.1.m1.2.2.1.1.1.1"></times><ci id="algorithm2.8.8.1.m1.2.2.1.1.1.2.cmml" xref="algorithm2.8.8.1.m1.2.2.1.1.1.2">…</ci><ci id="algorithm2.8.8.1.m1.2.2.1.1.1.3.cmml" xref="algorithm2.8.8.1.m1.2.2.1.1.1.3">𝐿</ci></apply></list></apply></annotation-xml><annotation encoding="application/x-tex" id="algorithm2.8.8.1.m1.2c">i=0,\ldots L</annotation></semantics></math></em> <span id="algorithm2.8.8.3" class="ltx_text ltx_font_bold">do</span> 
</div>
<div id="algorithm2.9.9" class="ltx_listingline">  <span class="ltx_rule" style="width:1px;height:100%;background:black;display:inline-block;"> </span>   
<math id="algorithm2.9.9.m1.4" class="ltx_Math" alttext="m[i]\leftarrow m[\max{(i-1,0)}]" display="inline"><semantics id="algorithm2.9.9.m1.4a"><mrow id="algorithm2.9.9.m1.4.4" xref="algorithm2.9.9.m1.4.4.cmml"><mrow id="algorithm2.9.9.m1.4.4.3" xref="algorithm2.9.9.m1.4.4.3.cmml"><mi id="algorithm2.9.9.m1.4.4.3.2" xref="algorithm2.9.9.m1.4.4.3.2.cmml">m</mi><mo lspace="0em" rspace="0em" id="algorithm2.9.9.m1.4.4.3.1" xref="algorithm2.9.9.m1.4.4.3.1.cmml">​</mo><mrow id="algorithm2.9.9.m1.4.4.3.3.2" xref="algorithm2.9.9.m1.4.4.3.3.1.cmml"><mo stretchy="false" id="algorithm2.9.9.m1.4.4.3.3.2.1" xref="algorithm2.9.9.m1.4.4.3.3.1.1.cmml">[</mo><mi id="algorithm2.9.9.m1.1.1" xref="algorithm2.9.9.m1.1.1.cmml">i</mi><mo stretchy="false" id="algorithm2.9.9.m1.4.4.3.3.2.2" xref="algorithm2.9.9.m1.4.4.3.3.1.1.cmml">]</mo></mrow></mrow><mo stretchy="false" id="algorithm2.9.9.m1.4.4.2" xref="algorithm2.9.9.m1.4.4.2.cmml">←</mo><mrow id="algorithm2.9.9.m1.4.4.1" xref="algorithm2.9.9.m1.4.4.1.cmml"><mi id="algorithm2.9.9.m1.4.4.1.3" xref="algorithm2.9.9.m1.4.4.1.3.cmml">m</mi><mo lspace="0em" rspace="0em" id="algorithm2.9.9.m1.4.4.1.2" xref="algorithm2.9.9.m1.4.4.1.2.cmml">​</mo><mrow id="algorithm2.9.9.m1.4.4.1.1.1" xref="algorithm2.9.9.m1.4.4.1.1.2.cmml"><mo stretchy="false" id="algorithm2.9.9.m1.4.4.1.1.1.2" xref="algorithm2.9.9.m1.4.4.1.1.2.1.cmml">[</mo><mrow id="algorithm2.9.9.m1.4.4.1.1.1.1.1" xref="algorithm2.9.9.m1.4.4.1.1.1.1.2.cmml"><mi id="algorithm2.9.9.m1.2.2" xref="algorithm2.9.9.m1.2.2.cmml">max</mi><mo id="algorithm2.9.9.m1.4.4.1.1.1.1.1a" xref="algorithm2.9.9.m1.4.4.1.1.1.1.2.cmml">⁡</mo><mrow id="algorithm2.9.9.m1.4.4.1.1.1.1.1.1" xref="algorithm2.9.9.m1.4.4.1.1.1.1.2.cmml"><mo stretchy="false" id="algorithm2.9.9.m1.4.4.1.1.1.1.1.1.2" xref="algorithm2.9.9.m1.4.4.1.1.1.1.2.cmml">(</mo><mrow id="algorithm2.9.9.m1.4.4.1.1.1.1.1.1.1" xref="algorithm2.9.9.m1.4.4.1.1.1.1.1.1.1.cmml"><mi id="algorithm2.9.9.m1.4.4.1.1.1.1.1.1.1.2" xref="algorithm2.9.9.m1.4.4.1.1.1.1.1.1.1.2.cmml">i</mi><mo id="algorithm2.9.9.m1.4.4.1.1.1.1.1.1.1.1" xref="algorithm2.9.9.m1.4.4.1.1.1.1.1.1.1.1.cmml">−</mo><mn id="algorithm2.9.9.m1.4.4.1.1.1.1.1.1.1.3" xref="algorithm2.9.9.m1.4.4.1.1.1.1.1.1.1.3.cmml">1</mn></mrow><mo id="algorithm2.9.9.m1.4.4.1.1.1.1.1.1.3" xref="algorithm2.9.9.m1.4.4.1.1.1.1.2.cmml">,</mo><mn id="algorithm2.9.9.m1.3.3" xref="algorithm2.9.9.m1.3.3.cmml">0</mn><mo stretchy="false" id="algorithm2.9.9.m1.4.4.1.1.1.1.1.1.4" xref="algorithm2.9.9.m1.4.4.1.1.1.1.2.cmml">)</mo></mrow></mrow><mo stretchy="false" id="algorithm2.9.9.m1.4.4.1.1.1.3" xref="algorithm2.9.9.m1.4.4.1.1.2.1.cmml">]</mo></mrow></mrow></mrow><annotation-xml encoding="MathML-Content" id="algorithm2.9.9.m1.4b"><apply id="algorithm2.9.9.m1.4.4.cmml" xref="algorithm2.9.9.m1.4.4"><ci id="algorithm2.9.9.m1.4.4.2.cmml" xref="algorithm2.9.9.m1.4.4.2">←</ci><apply id="algorithm2.9.9.m1.4.4.3.cmml" xref="algorithm2.9.9.m1.4.4.3"><times id="algorithm2.9.9.m1.4.4.3.1.cmml" xref="algorithm2.9.9.m1.4.4.3.1"></times><ci id="algorithm2.9.9.m1.4.4.3.2.cmml" xref="algorithm2.9.9.m1.4.4.3.2">𝑚</ci><apply id="algorithm2.9.9.m1.4.4.3.3.1.cmml" xref="algorithm2.9.9.m1.4.4.3.3.2"><csymbol cd="latexml" id="algorithm2.9.9.m1.4.4.3.3.1.1.cmml" xref="algorithm2.9.9.m1.4.4.3.3.2.1">delimited-[]</csymbol><ci id="algorithm2.9.9.m1.1.1.cmml" xref="algorithm2.9.9.m1.1.1">𝑖</ci></apply></apply><apply id="algorithm2.9.9.m1.4.4.1.cmml" xref="algorithm2.9.9.m1.4.4.1"><times id="algorithm2.9.9.m1.4.4.1.2.cmml" xref="algorithm2.9.9.m1.4.4.1.2"></times><ci id="algorithm2.9.9.m1.4.4.1.3.cmml" xref="algorithm2.9.9.m1.4.4.1.3">𝑚</ci><apply id="algorithm2.9.9.m1.4.4.1.1.2.cmml" xref="algorithm2.9.9.m1.4.4.1.1.1"><csymbol cd="latexml" id="algorithm2.9.9.m1.4.4.1.1.2.1.cmml" xref="algorithm2.9.9.m1.4.4.1.1.1.2">delimited-[]</csymbol><apply id="algorithm2.9.9.m1.4.4.1.1.1.1.2.cmml" xref="algorithm2.9.9.m1.4.4.1.1.1.1.1"><max id="algorithm2.9.9.m1.2.2.cmml" xref="algorithm2.9.9.m1.2.2"></max><apply id="algorithm2.9.9.m1.4.4.1.1.1.1.1.1.1.cmml" xref="algorithm2.9.9.m1.4.4.1.1.1.1.1.1.1"><minus id="algorithm2.9.9.m1.4.4.1.1.1.1.1.1.1.1.cmml" xref="algorithm2.9.9.m1.4.4.1.1.1.1.1.1.1.1"></minus><ci id="algorithm2.9.9.m1.4.4.1.1.1.1.1.1.1.2.cmml" xref="algorithm2.9.9.m1.4.4.1.1.1.1.1.1.1.2">𝑖</ci><cn type="integer" id="algorithm2.9.9.m1.4.4.1.1.1.1.1.1.1.3.cmml" xref="algorithm2.9.9.m1.4.4.1.1.1.1.1.1.1.3">1</cn></apply><cn type="integer" id="algorithm2.9.9.m1.3.3.cmml" xref="algorithm2.9.9.m1.3.3">0</cn></apply></apply></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="algorithm2.9.9.m1.4c">m[i]\leftarrow m[\max{(i-1,0)}]</annotation></semantics></math> 
</div>
<div id="algorithm2.10.10" class="ltx_listingline">  <span class="ltx_rule" style="width:1px;height:100%;background:black;display:inline-block;"> </span>   
<span id="algorithm2.10.10.2" class="ltx_text ltx_font_bold">if</span> <em id="algorithm2.10.10.1" class="ltx_emph ltx_font_italic"><math id="algorithm2.10.10.1.m1.1" class="ltx_Math" alttext="a[i]=" display="inline"><semantics id="algorithm2.10.10.1.m1.1a"><mrow id="algorithm2.10.10.1.m1.1.2" xref="algorithm2.10.10.1.m1.1.2.cmml"><mrow id="algorithm2.10.10.1.m1.1.2.2" xref="algorithm2.10.10.1.m1.1.2.2.cmml"><mi id="algorithm2.10.10.1.m1.1.2.2.2" xref="algorithm2.10.10.1.m1.1.2.2.2.cmml">a</mi><mo lspace="0em" rspace="0em" id="algorithm2.10.10.1.m1.1.2.2.1" xref="algorithm2.10.10.1.m1.1.2.2.1.cmml">​</mo><mrow id="algorithm2.10.10.1.m1.1.2.2.3.2" xref="algorithm2.10.10.1.m1.1.2.2.3.1.cmml"><mo stretchy="false" id="algorithm2.10.10.1.m1.1.2.2.3.2.1" xref="algorithm2.10.10.1.m1.1.2.2.3.1.1.cmml">[</mo><mi id="algorithm2.10.10.1.m1.1.1" xref="algorithm2.10.10.1.m1.1.1.cmml">i</mi><mo stretchy="false" id="algorithm2.10.10.1.m1.1.2.2.3.2.2" xref="algorithm2.10.10.1.m1.1.2.2.3.1.1.cmml">]</mo></mrow></mrow><mo id="algorithm2.10.10.1.m1.1.2.1" xref="algorithm2.10.10.1.m1.1.2.1.cmml">=</mo><mi id="algorithm2.10.10.1.m1.1.2.3" xref="algorithm2.10.10.1.m1.1.2.3.cmml"></mi></mrow><annotation-xml encoding="MathML-Content" id="algorithm2.10.10.1.m1.1b"><apply id="algorithm2.10.10.1.m1.1.2.cmml" xref="algorithm2.10.10.1.m1.1.2"><eq id="algorithm2.10.10.1.m1.1.2.1.cmml" xref="algorithm2.10.10.1.m1.1.2.1"></eq><apply id="algorithm2.10.10.1.m1.1.2.2.cmml" xref="algorithm2.10.10.1.m1.1.2.2"><times id="algorithm2.10.10.1.m1.1.2.2.1.cmml" xref="algorithm2.10.10.1.m1.1.2.2.1"></times><ci id="algorithm2.10.10.1.m1.1.2.2.2.cmml" xref="algorithm2.10.10.1.m1.1.2.2.2">𝑎</ci><apply id="algorithm2.10.10.1.m1.1.2.2.3.1.cmml" xref="algorithm2.10.10.1.m1.1.2.2.3.2"><csymbol cd="latexml" id="algorithm2.10.10.1.m1.1.2.2.3.1.1.cmml" xref="algorithm2.10.10.1.m1.1.2.2.3.2.1">delimited-[]</csymbol><ci id="algorithm2.10.10.1.m1.1.1.cmml" xref="algorithm2.10.10.1.m1.1.1">𝑖</ci></apply></apply><csymbol cd="latexml" id="algorithm2.10.10.1.m1.1.2.3.cmml" xref="algorithm2.10.10.1.m1.1.2.3">absent</csymbol></apply></annotation-xml><annotation encoding="application/x-tex" id="algorithm2.10.10.1.m1.1c">a[i]=</annotation></semantics></math><span id="algorithm2.10.10.1.1" class="ltx_text ltx_font_typewriter">&lt;backspace&gt;</span></em> <span id="algorithm2.10.10.3" class="ltx_text ltx_font_bold">then</span> 
</div>
<div id="algorithm2.11.11" class="ltx_listingline">  <span class="ltx_rule" style="width:1px;height:100%;background:black;display:inline-block;"> </span>     <span class="ltx_rule" style="width:1px;height:100%;background:black;display:inline-block;"> </span>   
<math id="algorithm2.11.11.m1.2" class="ltx_Math" alttext="m[i,c]\leftarrow 0" display="inline"><semantics id="algorithm2.11.11.m1.2a"><mrow id="algorithm2.11.11.m1.2.3" xref="algorithm2.11.11.m1.2.3.cmml"><mrow id="algorithm2.11.11.m1.2.3.2" xref="algorithm2.11.11.m1.2.3.2.cmml"><mi id="algorithm2.11.11.m1.2.3.2.2" xref="algorithm2.11.11.m1.2.3.2.2.cmml">m</mi><mo lspace="0em" rspace="0em" id="algorithm2.11.11.m1.2.3.2.1" xref="algorithm2.11.11.m1.2.3.2.1.cmml">​</mo><mrow id="algorithm2.11.11.m1.2.3.2.3.2" xref="algorithm2.11.11.m1.2.3.2.3.1.cmml"><mo stretchy="false" id="algorithm2.11.11.m1.2.3.2.3.2.1" xref="algorithm2.11.11.m1.2.3.2.3.1.cmml">[</mo><mi id="algorithm2.11.11.m1.1.1" xref="algorithm2.11.11.m1.1.1.cmml">i</mi><mo id="algorithm2.11.11.m1.2.3.2.3.2.2" xref="algorithm2.11.11.m1.2.3.2.3.1.cmml">,</mo><mi id="algorithm2.11.11.m1.2.2" xref="algorithm2.11.11.m1.2.2.cmml">c</mi><mo stretchy="false" id="algorithm2.11.11.m1.2.3.2.3.2.3" xref="algorithm2.11.11.m1.2.3.2.3.1.cmml">]</mo></mrow></mrow><mo stretchy="false" id="algorithm2.11.11.m1.2.3.1" xref="algorithm2.11.11.m1.2.3.1.cmml">←</mo><mn id="algorithm2.11.11.m1.2.3.3" xref="algorithm2.11.11.m1.2.3.3.cmml">0</mn></mrow><annotation-xml encoding="MathML-Content" id="algorithm2.11.11.m1.2b"><apply id="algorithm2.11.11.m1.2.3.cmml" xref="algorithm2.11.11.m1.2.3"><ci id="algorithm2.11.11.m1.2.3.1.cmml" xref="algorithm2.11.11.m1.2.3.1">←</ci><apply id="algorithm2.11.11.m1.2.3.2.cmml" xref="algorithm2.11.11.m1.2.3.2"><times id="algorithm2.11.11.m1.2.3.2.1.cmml" xref="algorithm2.11.11.m1.2.3.2.1"></times><ci id="algorithm2.11.11.m1.2.3.2.2.cmml" xref="algorithm2.11.11.m1.2.3.2.2">𝑚</ci><interval closure="closed" id="algorithm2.11.11.m1.2.3.2.3.1.cmml" xref="algorithm2.11.11.m1.2.3.2.3.2"><ci id="algorithm2.11.11.m1.1.1.cmml" xref="algorithm2.11.11.m1.1.1">𝑖</ci><ci id="algorithm2.11.11.m1.2.2.cmml" xref="algorithm2.11.11.m1.2.2">𝑐</ci></interval></apply><cn type="integer" id="algorithm2.11.11.m1.2.3.3.cmml" xref="algorithm2.11.11.m1.2.3.3">0</cn></apply></annotation-xml><annotation encoding="application/x-tex" id="algorithm2.11.11.m1.2c">m[i,c]\leftarrow 0</annotation></semantics></math> 
</div>
<div id="algorithm2.12.12" class="ltx_listingline">  <span class="ltx_rule" style="width:1px;height:100%;background:black;display:inline-block;"> </span>     <span class="ltx_rule" style="width:1px;height:100%;background:black;display:inline-block;"> </span>   
<math id="algorithm2.12.12.m1.2" class="ltx_Math" alttext="m[i,d]\leftarrow 0" display="inline"><semantics id="algorithm2.12.12.m1.2a"><mrow id="algorithm2.12.12.m1.2.3" xref="algorithm2.12.12.m1.2.3.cmml"><mrow id="algorithm2.12.12.m1.2.3.2" xref="algorithm2.12.12.m1.2.3.2.cmml"><mi id="algorithm2.12.12.m1.2.3.2.2" xref="algorithm2.12.12.m1.2.3.2.2.cmml">m</mi><mo lspace="0em" rspace="0em" id="algorithm2.12.12.m1.2.3.2.1" xref="algorithm2.12.12.m1.2.3.2.1.cmml">​</mo><mrow id="algorithm2.12.12.m1.2.3.2.3.2" xref="algorithm2.12.12.m1.2.3.2.3.1.cmml"><mo stretchy="false" id="algorithm2.12.12.m1.2.3.2.3.2.1" xref="algorithm2.12.12.m1.2.3.2.3.1.cmml">[</mo><mi id="algorithm2.12.12.m1.1.1" xref="algorithm2.12.12.m1.1.1.cmml">i</mi><mo id="algorithm2.12.12.m1.2.3.2.3.2.2" xref="algorithm2.12.12.m1.2.3.2.3.1.cmml">,</mo><mi id="algorithm2.12.12.m1.2.2" xref="algorithm2.12.12.m1.2.2.cmml">d</mi><mo stretchy="false" id="algorithm2.12.12.m1.2.3.2.3.2.3" xref="algorithm2.12.12.m1.2.3.2.3.1.cmml">]</mo></mrow></mrow><mo stretchy="false" id="algorithm2.12.12.m1.2.3.1" xref="algorithm2.12.12.m1.2.3.1.cmml">←</mo><mn id="algorithm2.12.12.m1.2.3.3" xref="algorithm2.12.12.m1.2.3.3.cmml">0</mn></mrow><annotation-xml encoding="MathML-Content" id="algorithm2.12.12.m1.2b"><apply id="algorithm2.12.12.m1.2.3.cmml" xref="algorithm2.12.12.m1.2.3"><ci id="algorithm2.12.12.m1.2.3.1.cmml" xref="algorithm2.12.12.m1.2.3.1">←</ci><apply id="algorithm2.12.12.m1.2.3.2.cmml" xref="algorithm2.12.12.m1.2.3.2"><times id="algorithm2.12.12.m1.2.3.2.1.cmml" xref="algorithm2.12.12.m1.2.3.2.1"></times><ci id="algorithm2.12.12.m1.2.3.2.2.cmml" xref="algorithm2.12.12.m1.2.3.2.2">𝑚</ci><interval closure="closed" id="algorithm2.12.12.m1.2.3.2.3.1.cmml" xref="algorithm2.12.12.m1.2.3.2.3.2"><ci id="algorithm2.12.12.m1.1.1.cmml" xref="algorithm2.12.12.m1.1.1">𝑖</ci><ci id="algorithm2.12.12.m1.2.2.cmml" xref="algorithm2.12.12.m1.2.2">𝑑</ci></interval></apply><cn type="integer" id="algorithm2.12.12.m1.2.3.3.cmml" xref="algorithm2.12.12.m1.2.3.3">0</cn></apply></annotation-xml><annotation encoding="application/x-tex" id="algorithm2.12.12.m1.2c">m[i,d]\leftarrow 0</annotation></semantics></math> 
</div>
<div id="algorithm2.13.13" class="ltx_listingline">  <span class="ltx_rule" style="width:1px;height:100%;background:black;display:inline-block;"> </span>     <span class="ltx_rule" style="width:1px;height:100%;background:black;display:inline-block;"> </span>   
<math id="algorithm2.13.13.m1.2" class="ltx_Math" alttext="m[i,i]\leftarrow 1" display="inline"><semantics id="algorithm2.13.13.m1.2a"><mrow id="algorithm2.13.13.m1.2.3" xref="algorithm2.13.13.m1.2.3.cmml"><mrow id="algorithm2.13.13.m1.2.3.2" xref="algorithm2.13.13.m1.2.3.2.cmml"><mi id="algorithm2.13.13.m1.2.3.2.2" xref="algorithm2.13.13.m1.2.3.2.2.cmml">m</mi><mo lspace="0em" rspace="0em" id="algorithm2.13.13.m1.2.3.2.1" xref="algorithm2.13.13.m1.2.3.2.1.cmml">​</mo><mrow id="algorithm2.13.13.m1.2.3.2.3.2" xref="algorithm2.13.13.m1.2.3.2.3.1.cmml"><mo stretchy="false" id="algorithm2.13.13.m1.2.3.2.3.2.1" xref="algorithm2.13.13.m1.2.3.2.3.1.cmml">[</mo><mi id="algorithm2.13.13.m1.1.1" xref="algorithm2.13.13.m1.1.1.cmml">i</mi><mo id="algorithm2.13.13.m1.2.3.2.3.2.2" xref="algorithm2.13.13.m1.2.3.2.3.1.cmml">,</mo><mi id="algorithm2.13.13.m1.2.2" xref="algorithm2.13.13.m1.2.2.cmml">i</mi><mo stretchy="false" id="algorithm2.13.13.m1.2.3.2.3.2.3" xref="algorithm2.13.13.m1.2.3.2.3.1.cmml">]</mo></mrow></mrow><mo stretchy="false" id="algorithm2.13.13.m1.2.3.1" xref="algorithm2.13.13.m1.2.3.1.cmml">←</mo><mn id="algorithm2.13.13.m1.2.3.3" xref="algorithm2.13.13.m1.2.3.3.cmml">1</mn></mrow><annotation-xml encoding="MathML-Content" id="algorithm2.13.13.m1.2b"><apply id="algorithm2.13.13.m1.2.3.cmml" xref="algorithm2.13.13.m1.2.3"><ci id="algorithm2.13.13.m1.2.3.1.cmml" xref="algorithm2.13.13.m1.2.3.1">←</ci><apply id="algorithm2.13.13.m1.2.3.2.cmml" xref="algorithm2.13.13.m1.2.3.2"><times id="algorithm2.13.13.m1.2.3.2.1.cmml" xref="algorithm2.13.13.m1.2.3.2.1"></times><ci id="algorithm2.13.13.m1.2.3.2.2.cmml" xref="algorithm2.13.13.m1.2.3.2.2">𝑚</ci><interval closure="closed" id="algorithm2.13.13.m1.2.3.2.3.1.cmml" xref="algorithm2.13.13.m1.2.3.2.3.2"><ci id="algorithm2.13.13.m1.1.1.cmml" xref="algorithm2.13.13.m1.1.1">𝑖</ci><ci id="algorithm2.13.13.m1.2.2.cmml" xref="algorithm2.13.13.m1.2.2">𝑖</ci></interval></apply><cn type="integer" id="algorithm2.13.13.m1.2.3.3.cmml" xref="algorithm2.13.13.m1.2.3.3">1</cn></apply></annotation-xml><annotation encoding="application/x-tex" id="algorithm2.13.13.m1.2c">m[i,i]\leftarrow 1</annotation></semantics></math> 
</div>
<div id="algorithm2.14.14" class="ltx_listingline">  <span class="ltx_rule" style="width:1px;height:100%;background:black;display:inline-block;"> </span>     <span class="ltx_rule" style="width:1px;height:100%;background:black;display:inline-block;"> </span>   
<math id="algorithm2.14.14.m1.2" class="ltx_Math" alttext="x[i]\leftarrow x[c]" display="inline"><semantics id="algorithm2.14.14.m1.2a"><mrow id="algorithm2.14.14.m1.2.3" xref="algorithm2.14.14.m1.2.3.cmml"><mrow id="algorithm2.14.14.m1.2.3.2" xref="algorithm2.14.14.m1.2.3.2.cmml"><mi id="algorithm2.14.14.m1.2.3.2.2" xref="algorithm2.14.14.m1.2.3.2.2.cmml">x</mi><mo lspace="0em" rspace="0em" id="algorithm2.14.14.m1.2.3.2.1" xref="algorithm2.14.14.m1.2.3.2.1.cmml">​</mo><mrow id="algorithm2.14.14.m1.2.3.2.3.2" xref="algorithm2.14.14.m1.2.3.2.3.1.cmml"><mo stretchy="false" id="algorithm2.14.14.m1.2.3.2.3.2.1" xref="algorithm2.14.14.m1.2.3.2.3.1.1.cmml">[</mo><mi id="algorithm2.14.14.m1.1.1" xref="algorithm2.14.14.m1.1.1.cmml">i</mi><mo stretchy="false" id="algorithm2.14.14.m1.2.3.2.3.2.2" xref="algorithm2.14.14.m1.2.3.2.3.1.1.cmml">]</mo></mrow></mrow><mo stretchy="false" id="algorithm2.14.14.m1.2.3.1" xref="algorithm2.14.14.m1.2.3.1.cmml">←</mo><mrow id="algorithm2.14.14.m1.2.3.3" xref="algorithm2.14.14.m1.2.3.3.cmml"><mi id="algorithm2.14.14.m1.2.3.3.2" xref="algorithm2.14.14.m1.2.3.3.2.cmml">x</mi><mo lspace="0em" rspace="0em" id="algorithm2.14.14.m1.2.3.3.1" xref="algorithm2.14.14.m1.2.3.3.1.cmml">​</mo><mrow id="algorithm2.14.14.m1.2.3.3.3.2" xref="algorithm2.14.14.m1.2.3.3.3.1.cmml"><mo stretchy="false" id="algorithm2.14.14.m1.2.3.3.3.2.1" xref="algorithm2.14.14.m1.2.3.3.3.1.1.cmml">[</mo><mi id="algorithm2.14.14.m1.2.2" xref="algorithm2.14.14.m1.2.2.cmml">c</mi><mo stretchy="false" id="algorithm2.14.14.m1.2.3.3.3.2.2" xref="algorithm2.14.14.m1.2.3.3.3.1.1.cmml">]</mo></mrow></mrow></mrow><annotation-xml encoding="MathML-Content" id="algorithm2.14.14.m1.2b"><apply id="algorithm2.14.14.m1.2.3.cmml" xref="algorithm2.14.14.m1.2.3"><ci id="algorithm2.14.14.m1.2.3.1.cmml" xref="algorithm2.14.14.m1.2.3.1">←</ci><apply id="algorithm2.14.14.m1.2.3.2.cmml" xref="algorithm2.14.14.m1.2.3.2"><times id="algorithm2.14.14.m1.2.3.2.1.cmml" xref="algorithm2.14.14.m1.2.3.2.1"></times><ci id="algorithm2.14.14.m1.2.3.2.2.cmml" xref="algorithm2.14.14.m1.2.3.2.2">𝑥</ci><apply id="algorithm2.14.14.m1.2.3.2.3.1.cmml" xref="algorithm2.14.14.m1.2.3.2.3.2"><csymbol cd="latexml" id="algorithm2.14.14.m1.2.3.2.3.1.1.cmml" xref="algorithm2.14.14.m1.2.3.2.3.2.1">delimited-[]</csymbol><ci id="algorithm2.14.14.m1.1.1.cmml" xref="algorithm2.14.14.m1.1.1">𝑖</ci></apply></apply><apply id="algorithm2.14.14.m1.2.3.3.cmml" xref="algorithm2.14.14.m1.2.3.3"><times id="algorithm2.14.14.m1.2.3.3.1.cmml" xref="algorithm2.14.14.m1.2.3.3.1"></times><ci id="algorithm2.14.14.m1.2.3.3.2.cmml" xref="algorithm2.14.14.m1.2.3.3.2">𝑥</ci><apply id="algorithm2.14.14.m1.2.3.3.3.1.cmml" xref="algorithm2.14.14.m1.2.3.3.3.2"><csymbol cd="latexml" id="algorithm2.14.14.m1.2.3.3.3.1.1.cmml" xref="algorithm2.14.14.m1.2.3.3.3.2.1">delimited-[]</csymbol><ci id="algorithm2.14.14.m1.2.2.cmml" xref="algorithm2.14.14.m1.2.2">𝑐</ci></apply></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="algorithm2.14.14.m1.2c">x[i]\leftarrow x[c]</annotation></semantics></math>
</div>
<div id="algorithm2.15.15" class="ltx_listingline">  <span class="ltx_rule" style="width:1px;height:100%;background:black;display:inline-block;"> </span>     <span class="ltx_rule" style="width:1px;height:100%;background:black;display:inline-block;"> </span>   
<math id="algorithm2.15.15.m1.2" class="ltx_Math" alttext="p[i]\leftarrow p[c]" display="inline"><semantics id="algorithm2.15.15.m1.2a"><mrow id="algorithm2.15.15.m1.2.3" xref="algorithm2.15.15.m1.2.3.cmml"><mrow id="algorithm2.15.15.m1.2.3.2" xref="algorithm2.15.15.m1.2.3.2.cmml"><mi id="algorithm2.15.15.m1.2.3.2.2" xref="algorithm2.15.15.m1.2.3.2.2.cmml">p</mi><mo lspace="0em" rspace="0em" id="algorithm2.15.15.m1.2.3.2.1" xref="algorithm2.15.15.m1.2.3.2.1.cmml">​</mo><mrow id="algorithm2.15.15.m1.2.3.2.3.2" xref="algorithm2.15.15.m1.2.3.2.3.1.cmml"><mo stretchy="false" id="algorithm2.15.15.m1.2.3.2.3.2.1" xref="algorithm2.15.15.m1.2.3.2.3.1.1.cmml">[</mo><mi id="algorithm2.15.15.m1.1.1" xref="algorithm2.15.15.m1.1.1.cmml">i</mi><mo stretchy="false" id="algorithm2.15.15.m1.2.3.2.3.2.2" xref="algorithm2.15.15.m1.2.3.2.3.1.1.cmml">]</mo></mrow></mrow><mo stretchy="false" id="algorithm2.15.15.m1.2.3.1" xref="algorithm2.15.15.m1.2.3.1.cmml">←</mo><mrow id="algorithm2.15.15.m1.2.3.3" xref="algorithm2.15.15.m1.2.3.3.cmml"><mi id="algorithm2.15.15.m1.2.3.3.2" xref="algorithm2.15.15.m1.2.3.3.2.cmml">p</mi><mo lspace="0em" rspace="0em" id="algorithm2.15.15.m1.2.3.3.1" xref="algorithm2.15.15.m1.2.3.3.1.cmml">​</mo><mrow id="algorithm2.15.15.m1.2.3.3.3.2" xref="algorithm2.15.15.m1.2.3.3.3.1.cmml"><mo stretchy="false" id="algorithm2.15.15.m1.2.3.3.3.2.1" xref="algorithm2.15.15.m1.2.3.3.3.1.1.cmml">[</mo><mi id="algorithm2.15.15.m1.2.2" xref="algorithm2.15.15.m1.2.2.cmml">c</mi><mo stretchy="false" id="algorithm2.15.15.m1.2.3.3.3.2.2" xref="algorithm2.15.15.m1.2.3.3.3.1.1.cmml">]</mo></mrow></mrow></mrow><annotation-xml encoding="MathML-Content" id="algorithm2.15.15.m1.2b"><apply id="algorithm2.15.15.m1.2.3.cmml" xref="algorithm2.15.15.m1.2.3"><ci id="algorithm2.15.15.m1.2.3.1.cmml" xref="algorithm2.15.15.m1.2.3.1">←</ci><apply id="algorithm2.15.15.m1.2.3.2.cmml" xref="algorithm2.15.15.m1.2.3.2"><times id="algorithm2.15.15.m1.2.3.2.1.cmml" xref="algorithm2.15.15.m1.2.3.2.1"></times><ci id="algorithm2.15.15.m1.2.3.2.2.cmml" xref="algorithm2.15.15.m1.2.3.2.2">𝑝</ci><apply id="algorithm2.15.15.m1.2.3.2.3.1.cmml" xref="algorithm2.15.15.m1.2.3.2.3.2"><csymbol cd="latexml" id="algorithm2.15.15.m1.2.3.2.3.1.1.cmml" xref="algorithm2.15.15.m1.2.3.2.3.2.1">delimited-[]</csymbol><ci id="algorithm2.15.15.m1.1.1.cmml" xref="algorithm2.15.15.m1.1.1">𝑖</ci></apply></apply><apply id="algorithm2.15.15.m1.2.3.3.cmml" xref="algorithm2.15.15.m1.2.3.3"><times id="algorithm2.15.15.m1.2.3.3.1.cmml" xref="algorithm2.15.15.m1.2.3.3.1"></times><ci id="algorithm2.15.15.m1.2.3.3.2.cmml" xref="algorithm2.15.15.m1.2.3.3.2">𝑝</ci><apply id="algorithm2.15.15.m1.2.3.3.3.1.cmml" xref="algorithm2.15.15.m1.2.3.3.3.2"><csymbol cd="latexml" id="algorithm2.15.15.m1.2.3.3.3.1.1.cmml" xref="algorithm2.15.15.m1.2.3.3.3.2.1">delimited-[]</csymbol><ci id="algorithm2.15.15.m1.2.2.cmml" xref="algorithm2.15.15.m1.2.2">𝑐</ci></apply></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="algorithm2.15.15.m1.2c">p[i]\leftarrow p[c]</annotation></semantics></math>
</div>
<div id="algorithm2.16.16" class="ltx_listingline">  <span class="ltx_rule" style="width:1px;height:100%;background:black;display:inline-block;"> </span>     <span class="ltx_rule" style="width:1px;height:100%;background:black;display:inline-block;"> </span>   
<math id="algorithm2.16.16.m1.1" class="ltx_Math" alttext="d\leftarrow i" display="inline"><semantics id="algorithm2.16.16.m1.1a"><mrow id="algorithm2.16.16.m1.1.1" xref="algorithm2.16.16.m1.1.1.cmml"><mi id="algorithm2.16.16.m1.1.1.2" xref="algorithm2.16.16.m1.1.1.2.cmml">d</mi><mo stretchy="false" id="algorithm2.16.16.m1.1.1.1" xref="algorithm2.16.16.m1.1.1.1.cmml">←</mo><mi id="algorithm2.16.16.m1.1.1.3" xref="algorithm2.16.16.m1.1.1.3.cmml">i</mi></mrow><annotation-xml encoding="MathML-Content" id="algorithm2.16.16.m1.1b"><apply id="algorithm2.16.16.m1.1.1.cmml" xref="algorithm2.16.16.m1.1.1"><ci id="algorithm2.16.16.m1.1.1.1.cmml" xref="algorithm2.16.16.m1.1.1.1">←</ci><ci id="algorithm2.16.16.m1.1.1.2.cmml" xref="algorithm2.16.16.m1.1.1.2">𝑑</ci><ci id="algorithm2.16.16.m1.1.1.3.cmml" xref="algorithm2.16.16.m1.1.1.3">𝑖</ci></apply></annotation-xml><annotation encoding="application/x-tex" id="algorithm2.16.16.m1.1c">d\leftarrow i</annotation></semantics></math>
</div>
<div id="algorithm2.18.18" class="ltx_listingline">  <span class="ltx_rule" style="width:1px;height:100%;background:black;display:inline-block;"> </span>     <span class="ltx_rule" style="width:1px;height:100%;background:black;display:inline-block;"> </span>   
<math id="algorithm2.17.17.m1.1" class="ltx_Math" alttext="c\leftarrow" display="inline"><semantics id="algorithm2.17.17.m1.1a"><mrow id="algorithm2.17.17.m1.1.1" xref="algorithm2.17.17.m1.1.1.cmml"><mi id="algorithm2.17.17.m1.1.1.2" xref="algorithm2.17.17.m1.1.1.2.cmml">c</mi><mo stretchy="false" id="algorithm2.17.17.m1.1.1.1" xref="algorithm2.17.17.m1.1.1.1.cmml">←</mo><mi id="algorithm2.17.17.m1.1.1.3" xref="algorithm2.17.17.m1.1.1.3.cmml"></mi></mrow><annotation-xml encoding="MathML-Content" id="algorithm2.17.17.m1.1b"><apply id="algorithm2.17.17.m1.1.1.cmml" xref="algorithm2.17.17.m1.1.1"><ci id="algorithm2.17.17.m1.1.1.1.cmml" xref="algorithm2.17.17.m1.1.1.1">←</ci><ci id="algorithm2.17.17.m1.1.1.2.cmml" xref="algorithm2.17.17.m1.1.1.2">𝑐</ci><csymbol cd="latexml" id="algorithm2.17.17.m1.1.1.3.cmml" xref="algorithm2.17.17.m1.1.1.3">absent</csymbol></apply></annotation-xml><annotation encoding="application/x-tex" id="algorithm2.17.17.m1.1c">c\leftarrow</annotation></semantics></math> element of last nonzero element in <math id="algorithm2.18.18.m2.2" class="ltx_math_unparsed" alttext="m[i,0:c]" display="inline"><semantics id="algorithm2.18.18.m2.2a"><mrow id="algorithm2.18.18.m2.2b"><mi id="algorithm2.18.18.m2.2.3">m</mi><mrow id="algorithm2.18.18.m2.2.4"><mo stretchy="false" id="algorithm2.18.18.m2.2.4.1">[</mo><mi id="algorithm2.18.18.m2.1.1">i</mi><mo id="algorithm2.18.18.m2.2.4.2">,</mo><mn id="algorithm2.18.18.m2.2.2">0</mn><mo lspace="0.278em" rspace="0.278em" id="algorithm2.18.18.m2.2.4.3">:</mo><mi id="algorithm2.18.18.m2.2.4.4">c</mi><mo stretchy="false" id="algorithm2.18.18.m2.2.4.5">]</mo></mrow></mrow><annotation encoding="application/x-tex" id="algorithm2.18.18.m2.2c">m[i,0:c]</annotation></semantics></math>, else 0.

</div>
<div id="algorithm2.29.32" class="ltx_listingline">  <span class="ltx_rule" style="width:1px;height:100%;background:black;display:inline-block;"> </span>    end if
</div>
<div id="algorithm2.29.33" class="ltx_listingline">  <span class="ltx_rule" style="width:1px;height:100%;background:black;display:inline-block;"> </span>   <span id="algorithm2.29.33.1" class="ltx_text ltx_font_bold">else</span> 
</div>
<div id="algorithm2.19.19" class="ltx_listingline">  <span class="ltx_rule" style="width:1px;height:100%;background:black;display:inline-block;"> </span>     <span class="ltx_rule" style="width:1px;height:100%;background:black;display:inline-block;"> </span>   
<math id="algorithm2.19.19.m1.2" class="ltx_Math" alttext="m[i,i]\leftarrow 1" display="inline"><semantics id="algorithm2.19.19.m1.2a"><mrow id="algorithm2.19.19.m1.2.3" xref="algorithm2.19.19.m1.2.3.cmml"><mrow id="algorithm2.19.19.m1.2.3.2" xref="algorithm2.19.19.m1.2.3.2.cmml"><mi id="algorithm2.19.19.m1.2.3.2.2" xref="algorithm2.19.19.m1.2.3.2.2.cmml">m</mi><mo lspace="0em" rspace="0em" id="algorithm2.19.19.m1.2.3.2.1" xref="algorithm2.19.19.m1.2.3.2.1.cmml">​</mo><mrow id="algorithm2.19.19.m1.2.3.2.3.2" xref="algorithm2.19.19.m1.2.3.2.3.1.cmml"><mo stretchy="false" id="algorithm2.19.19.m1.2.3.2.3.2.1" xref="algorithm2.19.19.m1.2.3.2.3.1.cmml">[</mo><mi id="algorithm2.19.19.m1.1.1" xref="algorithm2.19.19.m1.1.1.cmml">i</mi><mo id="algorithm2.19.19.m1.2.3.2.3.2.2" xref="algorithm2.19.19.m1.2.3.2.3.1.cmml">,</mo><mi id="algorithm2.19.19.m1.2.2" xref="algorithm2.19.19.m1.2.2.cmml">i</mi><mo stretchy="false" id="algorithm2.19.19.m1.2.3.2.3.2.3" xref="algorithm2.19.19.m1.2.3.2.3.1.cmml">]</mo></mrow></mrow><mo stretchy="false" id="algorithm2.19.19.m1.2.3.1" xref="algorithm2.19.19.m1.2.3.1.cmml">←</mo><mn id="algorithm2.19.19.m1.2.3.3" xref="algorithm2.19.19.m1.2.3.3.cmml">1</mn></mrow><annotation-xml encoding="MathML-Content" id="algorithm2.19.19.m1.2b"><apply id="algorithm2.19.19.m1.2.3.cmml" xref="algorithm2.19.19.m1.2.3"><ci id="algorithm2.19.19.m1.2.3.1.cmml" xref="algorithm2.19.19.m1.2.3.1">←</ci><apply id="algorithm2.19.19.m1.2.3.2.cmml" xref="algorithm2.19.19.m1.2.3.2"><times id="algorithm2.19.19.m1.2.3.2.1.cmml" xref="algorithm2.19.19.m1.2.3.2.1"></times><ci id="algorithm2.19.19.m1.2.3.2.2.cmml" xref="algorithm2.19.19.m1.2.3.2.2">𝑚</ci><interval closure="closed" id="algorithm2.19.19.m1.2.3.2.3.1.cmml" xref="algorithm2.19.19.m1.2.3.2.3.2"><ci id="algorithm2.19.19.m1.1.1.cmml" xref="algorithm2.19.19.m1.1.1">𝑖</ci><ci id="algorithm2.19.19.m1.2.2.cmml" xref="algorithm2.19.19.m1.2.2">𝑖</ci></interval></apply><cn type="integer" id="algorithm2.19.19.m1.2.3.3.cmml" xref="algorithm2.19.19.m1.2.3.3">1</cn></apply></annotation-xml><annotation encoding="application/x-tex" id="algorithm2.19.19.m1.2c">m[i,i]\leftarrow 1</annotation></semantics></math>
</div>
<div id="algorithm2.20.20" class="ltx_listingline">  <span class="ltx_rule" style="width:1px;height:100%;background:black;display:inline-block;"> </span>     <span class="ltx_rule" style="width:1px;height:100%;background:black;display:inline-block;"> </span>   
<math id="algorithm2.20.20.m1.1" class="ltx_Math" alttext="d\leftarrow d+1" display="inline"><semantics id="algorithm2.20.20.m1.1a"><mrow id="algorithm2.20.20.m1.1.1" xref="algorithm2.20.20.m1.1.1.cmml"><mi id="algorithm2.20.20.m1.1.1.2" xref="algorithm2.20.20.m1.1.1.2.cmml">d</mi><mo stretchy="false" id="algorithm2.20.20.m1.1.1.1" xref="algorithm2.20.20.m1.1.1.1.cmml">←</mo><mrow id="algorithm2.20.20.m1.1.1.3" xref="algorithm2.20.20.m1.1.1.3.cmml"><mi id="algorithm2.20.20.m1.1.1.3.2" xref="algorithm2.20.20.m1.1.1.3.2.cmml">d</mi><mo id="algorithm2.20.20.m1.1.1.3.1" xref="algorithm2.20.20.m1.1.1.3.1.cmml">+</mo><mn id="algorithm2.20.20.m1.1.1.3.3" xref="algorithm2.20.20.m1.1.1.3.3.cmml">1</mn></mrow></mrow><annotation-xml encoding="MathML-Content" id="algorithm2.20.20.m1.1b"><apply id="algorithm2.20.20.m1.1.1.cmml" xref="algorithm2.20.20.m1.1.1"><ci id="algorithm2.20.20.m1.1.1.1.cmml" xref="algorithm2.20.20.m1.1.1.1">←</ci><ci id="algorithm2.20.20.m1.1.1.2.cmml" xref="algorithm2.20.20.m1.1.1.2">𝑑</ci><apply id="algorithm2.20.20.m1.1.1.3.cmml" xref="algorithm2.20.20.m1.1.1.3"><plus id="algorithm2.20.20.m1.1.1.3.1.cmml" xref="algorithm2.20.20.m1.1.1.3.1"></plus><ci id="algorithm2.20.20.m1.1.1.3.2.cmml" xref="algorithm2.20.20.m1.1.1.3.2">𝑑</ci><cn type="integer" id="algorithm2.20.20.m1.1.1.3.3.cmml" xref="algorithm2.20.20.m1.1.1.3.3">1</cn></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="algorithm2.20.20.m1.1c">d\leftarrow d+1</annotation></semantics></math>
</div>
<div id="algorithm2.22.22" class="ltx_listingline">  <span class="ltx_rule" style="width:1px;height:100%;background:black;display:inline-block;"> </span>     <span class="ltx_rule" style="width:1px;height:100%;background:black;display:inline-block;"> </span>   
<math id="algorithm2.21.21.m1.1" class="ltx_Math" alttext="c\leftarrow" display="inline"><semantics id="algorithm2.21.21.m1.1a"><mrow id="algorithm2.21.21.m1.1.1" xref="algorithm2.21.21.m1.1.1.cmml"><mi id="algorithm2.21.21.m1.1.1.2" xref="algorithm2.21.21.m1.1.1.2.cmml">c</mi><mo stretchy="false" id="algorithm2.21.21.m1.1.1.1" xref="algorithm2.21.21.m1.1.1.1.cmml">←</mo><mi id="algorithm2.21.21.m1.1.1.3" xref="algorithm2.21.21.m1.1.1.3.cmml"></mi></mrow><annotation-xml encoding="MathML-Content" id="algorithm2.21.21.m1.1b"><apply id="algorithm2.21.21.m1.1.1.cmml" xref="algorithm2.21.21.m1.1.1"><ci id="algorithm2.21.21.m1.1.1.1.cmml" xref="algorithm2.21.21.m1.1.1.1">←</ci><ci id="algorithm2.21.21.m1.1.1.2.cmml" xref="algorithm2.21.21.m1.1.1.2">𝑐</ci><csymbol cd="latexml" id="algorithm2.21.21.m1.1.1.3.cmml" xref="algorithm2.21.21.m1.1.1.3">absent</csymbol></apply></annotation-xml><annotation encoding="application/x-tex" id="algorithm2.21.21.m1.1c">c\leftarrow</annotation></semantics></math> element of first nonzero element in <math id="algorithm2.22.22.m2.1" class="ltx_math_unparsed" alttext="m[i,c+1:L]" display="inline"><semantics id="algorithm2.22.22.m2.1a"><mrow id="algorithm2.22.22.m2.1b"><mi id="algorithm2.22.22.m2.1.2">m</mi><mrow id="algorithm2.22.22.m2.1.3"><mo stretchy="false" id="algorithm2.22.22.m2.1.3.1">[</mo><mi id="algorithm2.22.22.m2.1.1">i</mi><mo id="algorithm2.22.22.m2.1.3.2">,</mo><mi id="algorithm2.22.22.m2.1.3.3">c</mi><mo id="algorithm2.22.22.m2.1.3.4">+</mo><mn id="algorithm2.22.22.m2.1.3.5">1</mn><mo lspace="0.278em" rspace="0.278em" id="algorithm2.22.22.m2.1.3.6">:</mo><mi id="algorithm2.22.22.m2.1.3.7">L</mi><mo stretchy="false" id="algorithm2.22.22.m2.1.3.8">]</mo></mrow></mrow><annotation encoding="application/x-tex" id="algorithm2.22.22.m2.1c">m[i,c+1:L]</annotation></semantics></math>, else 0. 
</div>
<div id="algorithm2.23.23" class="ltx_listingline">  <span class="ltx_rule" style="width:1px;height:100%;background:black;display:inline-block;"> </span>     <span class="ltx_rule" style="width:1px;height:100%;background:black;display:inline-block;"> </span>   
<math id="algorithm2.23.23.m1.2" class="ltx_Math" alttext="p[i]\leftarrow p[d-1]+1" display="inline"><semantics id="algorithm2.23.23.m1.2a"><mrow id="algorithm2.23.23.m1.2.2" xref="algorithm2.23.23.m1.2.2.cmml"><mrow id="algorithm2.23.23.m1.2.2.3" xref="algorithm2.23.23.m1.2.2.3.cmml"><mi id="algorithm2.23.23.m1.2.2.3.2" xref="algorithm2.23.23.m1.2.2.3.2.cmml">p</mi><mo lspace="0em" rspace="0em" id="algorithm2.23.23.m1.2.2.3.1" xref="algorithm2.23.23.m1.2.2.3.1.cmml">​</mo><mrow id="algorithm2.23.23.m1.2.2.3.3.2" xref="algorithm2.23.23.m1.2.2.3.3.1.cmml"><mo stretchy="false" id="algorithm2.23.23.m1.2.2.3.3.2.1" xref="algorithm2.23.23.m1.2.2.3.3.1.1.cmml">[</mo><mi id="algorithm2.23.23.m1.1.1" xref="algorithm2.23.23.m1.1.1.cmml">i</mi><mo stretchy="false" id="algorithm2.23.23.m1.2.2.3.3.2.2" xref="algorithm2.23.23.m1.2.2.3.3.1.1.cmml">]</mo></mrow></mrow><mo stretchy="false" id="algorithm2.23.23.m1.2.2.2" xref="algorithm2.23.23.m1.2.2.2.cmml">←</mo><mrow id="algorithm2.23.23.m1.2.2.1" xref="algorithm2.23.23.m1.2.2.1.cmml"><mrow id="algorithm2.23.23.m1.2.2.1.1" xref="algorithm2.23.23.m1.2.2.1.1.cmml"><mi id="algorithm2.23.23.m1.2.2.1.1.3" xref="algorithm2.23.23.m1.2.2.1.1.3.cmml">p</mi><mo lspace="0em" rspace="0em" id="algorithm2.23.23.m1.2.2.1.1.2" xref="algorithm2.23.23.m1.2.2.1.1.2.cmml">​</mo><mrow id="algorithm2.23.23.m1.2.2.1.1.1.1" xref="algorithm2.23.23.m1.2.2.1.1.1.2.cmml"><mo stretchy="false" id="algorithm2.23.23.m1.2.2.1.1.1.1.2" xref="algorithm2.23.23.m1.2.2.1.1.1.2.1.cmml">[</mo><mrow id="algorithm2.23.23.m1.2.2.1.1.1.1.1" xref="algorithm2.23.23.m1.2.2.1.1.1.1.1.cmml"><mi id="algorithm2.23.23.m1.2.2.1.1.1.1.1.2" xref="algorithm2.23.23.m1.2.2.1.1.1.1.1.2.cmml">d</mi><mo id="algorithm2.23.23.m1.2.2.1.1.1.1.1.1" xref="algorithm2.23.23.m1.2.2.1.1.1.1.1.1.cmml">−</mo><mn id="algorithm2.23.23.m1.2.2.1.1.1.1.1.3" xref="algorithm2.23.23.m1.2.2.1.1.1.1.1.3.cmml">1</mn></mrow><mo stretchy="false" id="algorithm2.23.23.m1.2.2.1.1.1.1.3" xref="algorithm2.23.23.m1.2.2.1.1.1.2.1.cmml">]</mo></mrow></mrow><mo id="algorithm2.23.23.m1.2.2.1.2" xref="algorithm2.23.23.m1.2.2.1.2.cmml">+</mo><mn id="algorithm2.23.23.m1.2.2.1.3" xref="algorithm2.23.23.m1.2.2.1.3.cmml">1</mn></mrow></mrow><annotation-xml encoding="MathML-Content" id="algorithm2.23.23.m1.2b"><apply id="algorithm2.23.23.m1.2.2.cmml" xref="algorithm2.23.23.m1.2.2"><ci id="algorithm2.23.23.m1.2.2.2.cmml" xref="algorithm2.23.23.m1.2.2.2">←</ci><apply id="algorithm2.23.23.m1.2.2.3.cmml" xref="algorithm2.23.23.m1.2.2.3"><times id="algorithm2.23.23.m1.2.2.3.1.cmml" xref="algorithm2.23.23.m1.2.2.3.1"></times><ci id="algorithm2.23.23.m1.2.2.3.2.cmml" xref="algorithm2.23.23.m1.2.2.3.2">𝑝</ci><apply id="algorithm2.23.23.m1.2.2.3.3.1.cmml" xref="algorithm2.23.23.m1.2.2.3.3.2"><csymbol cd="latexml" id="algorithm2.23.23.m1.2.2.3.3.1.1.cmml" xref="algorithm2.23.23.m1.2.2.3.3.2.1">delimited-[]</csymbol><ci id="algorithm2.23.23.m1.1.1.cmml" xref="algorithm2.23.23.m1.1.1">𝑖</ci></apply></apply><apply id="algorithm2.23.23.m1.2.2.1.cmml" xref="algorithm2.23.23.m1.2.2.1"><plus id="algorithm2.23.23.m1.2.2.1.2.cmml" xref="algorithm2.23.23.m1.2.2.1.2"></plus><apply id="algorithm2.23.23.m1.2.2.1.1.cmml" xref="algorithm2.23.23.m1.2.2.1.1"><times id="algorithm2.23.23.m1.2.2.1.1.2.cmml" xref="algorithm2.23.23.m1.2.2.1.1.2"></times><ci id="algorithm2.23.23.m1.2.2.1.1.3.cmml" xref="algorithm2.23.23.m1.2.2.1.1.3">𝑝</ci><apply id="algorithm2.23.23.m1.2.2.1.1.1.2.cmml" xref="algorithm2.23.23.m1.2.2.1.1.1.1"><csymbol cd="latexml" id="algorithm2.23.23.m1.2.2.1.1.1.2.1.cmml" xref="algorithm2.23.23.m1.2.2.1.1.1.1.2">delimited-[]</csymbol><apply id="algorithm2.23.23.m1.2.2.1.1.1.1.1.cmml" xref="algorithm2.23.23.m1.2.2.1.1.1.1.1"><minus id="algorithm2.23.23.m1.2.2.1.1.1.1.1.1.cmml" xref="algorithm2.23.23.m1.2.2.1.1.1.1.1.1"></minus><ci id="algorithm2.23.23.m1.2.2.1.1.1.1.1.2.cmml" xref="algorithm2.23.23.m1.2.2.1.1.1.1.1.2">𝑑</ci><cn type="integer" id="algorithm2.23.23.m1.2.2.1.1.1.1.1.3.cmml" xref="algorithm2.23.23.m1.2.2.1.1.1.1.1.3">1</cn></apply></apply></apply><cn type="integer" id="algorithm2.23.23.m1.2.2.1.3.cmml" xref="algorithm2.23.23.m1.2.2.1.3">1</cn></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="algorithm2.23.23.m1.2c">p[i]\leftarrow p[d-1]+1</annotation></semantics></math>

</div>
<div id="algorithm2.29.34" class="ltx_listingline">  <span class="ltx_rule" style="width:1px;height:100%;background:black;display:inline-block;"> </span>    end if
</div>
<div id="algorithm2.24.24" class="ltx_listingline">  <span class="ltx_rule" style="width:1px;height:100%;background:black;display:inline-block;"> </span>   <span id="algorithm2.24.24.2" class="ltx_text ltx_font_bold">if</span> <em id="algorithm2.24.24.1" class="ltx_emph ltx_font_italic"><math id="algorithm2.24.24.1.m1.1" class="ltx_Math" alttext="i=0" display="inline"><semantics id="algorithm2.24.24.1.m1.1a"><mrow id="algorithm2.24.24.1.m1.1.1" xref="algorithm2.24.24.1.m1.1.1.cmml"><mi id="algorithm2.24.24.1.m1.1.1.2" xref="algorithm2.24.24.1.m1.1.1.2.cmml">i</mi><mo id="algorithm2.24.24.1.m1.1.1.1" xref="algorithm2.24.24.1.m1.1.1.1.cmml">=</mo><mn id="algorithm2.24.24.1.m1.1.1.3" xref="algorithm2.24.24.1.m1.1.1.3.cmml">0</mn></mrow><annotation-xml encoding="MathML-Content" id="algorithm2.24.24.1.m1.1b"><apply id="algorithm2.24.24.1.m1.1.1.cmml" xref="algorithm2.24.24.1.m1.1.1"><eq id="algorithm2.24.24.1.m1.1.1.1.cmml" xref="algorithm2.24.24.1.m1.1.1.1"></eq><ci id="algorithm2.24.24.1.m1.1.1.2.cmml" xref="algorithm2.24.24.1.m1.1.1.2">𝑖</ci><cn type="integer" id="algorithm2.24.24.1.m1.1.1.3.cmml" xref="algorithm2.24.24.1.m1.1.1.3">0</cn></apply></annotation-xml><annotation encoding="application/x-tex" id="algorithm2.24.24.1.m1.1c">i=0</annotation></semantics></math></em> <span id="algorithm2.24.24.3" class="ltx_text ltx_font_bold">then</span> 
</div>
<div id="algorithm2.25.25" class="ltx_listingline">  <span class="ltx_rule" style="width:1px;height:100%;background:black;display:inline-block;"> </span>     <span class="ltx_rule" style="width:1px;height:100%;background:black;display:inline-block;"> </span>   
<math id="algorithm2.25.25.m1.1" class="ltx_Math" alttext="c\leftarrow 0" display="inline"><semantics id="algorithm2.25.25.m1.1a"><mrow id="algorithm2.25.25.m1.1.1" xref="algorithm2.25.25.m1.1.1.cmml"><mi id="algorithm2.25.25.m1.1.1.2" xref="algorithm2.25.25.m1.1.1.2.cmml">c</mi><mo stretchy="false" id="algorithm2.25.25.m1.1.1.1" xref="algorithm2.25.25.m1.1.1.1.cmml">←</mo><mn id="algorithm2.25.25.m1.1.1.3" xref="algorithm2.25.25.m1.1.1.3.cmml">0</mn></mrow><annotation-xml encoding="MathML-Content" id="algorithm2.25.25.m1.1b"><apply id="algorithm2.25.25.m1.1.1.cmml" xref="algorithm2.25.25.m1.1.1"><ci id="algorithm2.25.25.m1.1.1.1.cmml" xref="algorithm2.25.25.m1.1.1.1">←</ci><ci id="algorithm2.25.25.m1.1.1.2.cmml" xref="algorithm2.25.25.m1.1.1.2">𝑐</ci><cn type="integer" id="algorithm2.25.25.m1.1.1.3.cmml" xref="algorithm2.25.25.m1.1.1.3">0</cn></apply></annotation-xml><annotation encoding="application/x-tex" id="algorithm2.25.25.m1.1c">c\leftarrow 0</annotation></semantics></math> 
</div>
<div id="algorithm2.29.35" class="ltx_listingline">  <span class="ltx_rule" style="width:1px;height:100%;background:black;display:inline-block;"> </span>     <span class="ltx_rule" style="width:1px;height:100%;background:black;display:inline-block;"> </span>     <span id="algorithm2.29.35.1" class="ltx_text ltx_font_typewriter">// </span><span id="algorithm2.29.35.2" class="ltx_text ltx_font_typewriter">Special cases for initial steps</span>
</div>
<div id="algorithm2.26.26" class="ltx_listingline">  <span class="ltx_rule" style="width:1px;height:100%;background:black;display:inline-block;"> </span>     <span class="ltx_rule" style="width:1px;height:100%;background:black;display:inline-block;"> </span>   
<math id="algorithm2.26.26.m1.1" class="ltx_Math" alttext="d\leftarrow 0" display="inline"><semantics id="algorithm2.26.26.m1.1a"><mrow id="algorithm2.26.26.m1.1.1" xref="algorithm2.26.26.m1.1.1.cmml"><mi id="algorithm2.26.26.m1.1.1.2" xref="algorithm2.26.26.m1.1.1.2.cmml">d</mi><mo stretchy="false" id="algorithm2.26.26.m1.1.1.1" xref="algorithm2.26.26.m1.1.1.1.cmml">←</mo><mn id="algorithm2.26.26.m1.1.1.3" xref="algorithm2.26.26.m1.1.1.3.cmml">0</mn></mrow><annotation-xml encoding="MathML-Content" id="algorithm2.26.26.m1.1b"><apply id="algorithm2.26.26.m1.1.1.cmml" xref="algorithm2.26.26.m1.1.1"><ci id="algorithm2.26.26.m1.1.1.1.cmml" xref="algorithm2.26.26.m1.1.1.1">←</ci><ci id="algorithm2.26.26.m1.1.1.2.cmml" xref="algorithm2.26.26.m1.1.1.2">𝑑</ci><cn type="integer" id="algorithm2.26.26.m1.1.1.3.cmml" xref="algorithm2.26.26.m1.1.1.3">0</cn></apply></annotation-xml><annotation encoding="application/x-tex" id="algorithm2.26.26.m1.1c">d\leftarrow 0</annotation></semantics></math>
</div>
<div id="algorithm2.29.36" class="ltx_listingline">  <span class="ltx_rule" style="width:1px;height:100%;background:black;display:inline-block;"> </span>     <span class="ltx_rule" style="width:1px;height:100%;background:black;display:inline-block;"> </span>   

</div>
<div id="algorithm2.29.37" class="ltx_listingline">  <span class="ltx_rule" style="width:1px;height:100%;background:black;display:inline-block;"> </span>    end if
</div>
<div id="algorithm2.27.27" class="ltx_listingline">  <span class="ltx_rule" style="width:1px;height:100%;background:black;display:inline-block;"> </span>   <span id="algorithm2.27.27.2" class="ltx_text ltx_font_bold">if</span> <em id="algorithm2.27.27.1" class="ltx_emph ltx_font_italic"><math id="algorithm2.27.27.1.m1.1" class="ltx_Math" alttext="i=1" display="inline"><semantics id="algorithm2.27.27.1.m1.1a"><mrow id="algorithm2.27.27.1.m1.1.1" xref="algorithm2.27.27.1.m1.1.1.cmml"><mi id="algorithm2.27.27.1.m1.1.1.2" xref="algorithm2.27.27.1.m1.1.1.2.cmml">i</mi><mo id="algorithm2.27.27.1.m1.1.1.1" xref="algorithm2.27.27.1.m1.1.1.1.cmml">=</mo><mn id="algorithm2.27.27.1.m1.1.1.3" xref="algorithm2.27.27.1.m1.1.1.3.cmml">1</mn></mrow><annotation-xml encoding="MathML-Content" id="algorithm2.27.27.1.m1.1b"><apply id="algorithm2.27.27.1.m1.1.1.cmml" xref="algorithm2.27.27.1.m1.1.1"><eq id="algorithm2.27.27.1.m1.1.1.1.cmml" xref="algorithm2.27.27.1.m1.1.1.1"></eq><ci id="algorithm2.27.27.1.m1.1.1.2.cmml" xref="algorithm2.27.27.1.m1.1.1.2">𝑖</ci><cn type="integer" id="algorithm2.27.27.1.m1.1.1.3.cmml" xref="algorithm2.27.27.1.m1.1.1.3">1</cn></apply></annotation-xml><annotation encoding="application/x-tex" id="algorithm2.27.27.1.m1.1c">i=1</annotation></semantics></math></em> <span id="algorithm2.27.27.3" class="ltx_text ltx_font_bold">then</span> 
</div>
<div id="algorithm2.28.28" class="ltx_listingline">  <span class="ltx_rule" style="width:1px;height:100%;background:black;display:inline-block;"> </span>     <span class="ltx_rule" style="width:1px;height:100%;background:black;display:inline-block;"> </span>   
<math id="algorithm2.28.28.m1.1" class="ltx_Math" alttext="c\leftarrow 0" display="inline"><semantics id="algorithm2.28.28.m1.1a"><mrow id="algorithm2.28.28.m1.1.1" xref="algorithm2.28.28.m1.1.1.cmml"><mi id="algorithm2.28.28.m1.1.1.2" xref="algorithm2.28.28.m1.1.1.2.cmml">c</mi><mo stretchy="false" id="algorithm2.28.28.m1.1.1.1" xref="algorithm2.28.28.m1.1.1.1.cmml">←</mo><mn id="algorithm2.28.28.m1.1.1.3" xref="algorithm2.28.28.m1.1.1.3.cmml">0</mn></mrow><annotation-xml encoding="MathML-Content" id="algorithm2.28.28.m1.1b"><apply id="algorithm2.28.28.m1.1.1.cmml" xref="algorithm2.28.28.m1.1.1"><ci id="algorithm2.28.28.m1.1.1.1.cmml" xref="algorithm2.28.28.m1.1.1.1">←</ci><ci id="algorithm2.28.28.m1.1.1.2.cmml" xref="algorithm2.28.28.m1.1.1.2">𝑐</ci><cn type="integer" id="algorithm2.28.28.m1.1.1.3.cmml" xref="algorithm2.28.28.m1.1.1.3">0</cn></apply></annotation-xml><annotation encoding="application/x-tex" id="algorithm2.28.28.m1.1c">c\leftarrow 0</annotation></semantics></math>
</div>
<div id="algorithm2.29.29" class="ltx_listingline">  <span class="ltx_rule" style="width:1px;height:100%;background:black;display:inline-block;"> </span>     <span class="ltx_rule" style="width:1px;height:100%;background:black;display:inline-block;"> </span>   
<math id="algorithm2.29.29.m1.1" class="ltx_Math" alttext="d\leftarrow 1" display="inline"><semantics id="algorithm2.29.29.m1.1a"><mrow id="algorithm2.29.29.m1.1.1" xref="algorithm2.29.29.m1.1.1.cmml"><mi id="algorithm2.29.29.m1.1.1.2" xref="algorithm2.29.29.m1.1.1.2.cmml">d</mi><mo stretchy="false" id="algorithm2.29.29.m1.1.1.1" xref="algorithm2.29.29.m1.1.1.1.cmml">←</mo><mn id="algorithm2.29.29.m1.1.1.3" xref="algorithm2.29.29.m1.1.1.3.cmml">1</mn></mrow><annotation-xml encoding="MathML-Content" id="algorithm2.29.29.m1.1b"><apply id="algorithm2.29.29.m1.1.1.cmml" xref="algorithm2.29.29.m1.1.1"><ci id="algorithm2.29.29.m1.1.1.1.cmml" xref="algorithm2.29.29.m1.1.1.1">←</ci><ci id="algorithm2.29.29.m1.1.1.2.cmml" xref="algorithm2.29.29.m1.1.1.2">𝑑</ci><cn type="integer" id="algorithm2.29.29.m1.1.1.3.cmml" xref="algorithm2.29.29.m1.1.1.3">1</cn></apply></annotation-xml><annotation encoding="application/x-tex" id="algorithm2.29.29.m1.1c">d\leftarrow 1</annotation></semantics></math>
</div>
<div id="algorithm2.29.38" class="ltx_listingline">  <span class="ltx_rule" style="width:1px;height:100%;background:black;display:inline-block;"> </span>     <span class="ltx_rule" style="width:1px;height:100%;background:black;display:inline-block;"> </span>   

</div>
<div id="algorithm2.29.39" class="ltx_listingline">  <span class="ltx_rule" style="width:1px;height:100%;background:black;display:inline-block;"> </span>    end if
</div>
<div id="algorithm2.29.40" class="ltx_listingline">  <span class="ltx_rule" style="width:1px;height:100%;background:black;display:inline-block;"> </span>   
</div>
<div id="algorithm2.29.41" class="ltx_listingline"> end for
</div>
<div id="algorithm2.29.42" class="ltx_listingline">

</div>
</div>
<figcaption class="ltx_caption"><span class="ltx_tag ltx_tag_float"><span id="algorithm2.31.1.1" class="ltx_text ltx_font_bold">Algorithm 2</span> </span>Algorithm A: Pseudocode for converting action sequences to masked inputs</figcaption>
</figure>
<div id="A1.p1" class="ltx_para">
<p id="A1.p1.4" class="ltx_p">In algorithm A we give a method to convert a sequence of actions into a masked sequence of inputs and corresponding labels, masks and position ids. Although it can also be implemented in a stack-based fashion, we write it as an imperative algorithm so it can be compiled with the <span id="A1.p1.4.1" class="ltx_text ltx_font_typewriter">jit</span> operation in JAX or the <span id="A1.p1.4.2" class="ltx_text ltx_font_typewriter">compile</span> operation in PyTorch. Recall that the idea is to replace a sequence of actions with a sequence of inputs and corresponding labels, masks and position ids. The input sequence at position <math id="A1.p1.1.m1.1" class="ltx_Math" alttext="t" display="inline"><semantics id="A1.p1.1.m1.1a"><mi id="A1.p1.1.m1.1.1" xref="A1.p1.1.m1.1.1.cmml">t</mi><annotation-xml encoding="MathML-Content" id="A1.p1.1.m1.1b"><ci id="A1.p1.1.m1.1.1.cmml" xref="A1.p1.1.m1.1.1">𝑡</ci></annotation-xml><annotation encoding="application/x-tex" id="A1.p1.1.m1.1c">t</annotation></semantics></math> should correspond to the state at position <math id="A1.p1.2.m2.1" class="ltx_Math" alttext="t" display="inline"><semantics id="A1.p1.2.m2.1a"><mi id="A1.p1.2.m2.1.1" xref="A1.p1.2.m2.1.1.cmml">t</mi><annotation-xml encoding="MathML-Content" id="A1.p1.2.m2.1b"><ci id="A1.p1.2.m2.1.1.cmml" xref="A1.p1.2.m2.1.1">𝑡</ci></annotation-xml><annotation encoding="application/x-tex" id="A1.p1.2.m2.1c">t</annotation></semantics></math> (when the corresponding mask is applied) and the label at position <math id="A1.p1.3.m3.1" class="ltx_Math" alttext="t+1" display="inline"><semantics id="A1.p1.3.m3.1a"><mrow id="A1.p1.3.m3.1.1" xref="A1.p1.3.m3.1.1.cmml"><mi id="A1.p1.3.m3.1.1.2" xref="A1.p1.3.m3.1.1.2.cmml">t</mi><mo id="A1.p1.3.m3.1.1.1" xref="A1.p1.3.m3.1.1.1.cmml">+</mo><mn id="A1.p1.3.m3.1.1.3" xref="A1.p1.3.m3.1.1.3.cmml">1</mn></mrow><annotation-xml encoding="MathML-Content" id="A1.p1.3.m3.1b"><apply id="A1.p1.3.m3.1.1.cmml" xref="A1.p1.3.m3.1.1"><plus id="A1.p1.3.m3.1.1.1.cmml" xref="A1.p1.3.m3.1.1.1"></plus><ci id="A1.p1.3.m3.1.1.2.cmml" xref="A1.p1.3.m3.1.1.2">𝑡</ci><cn type="integer" id="A1.p1.3.m3.1.1.3.cmml" xref="A1.p1.3.m3.1.1.3">1</cn></apply></annotation-xml><annotation encoding="application/x-tex" id="A1.p1.3.m3.1c">t+1</annotation></semantics></math> is the action taken at position <math id="A1.p1.4.m4.1" class="ltx_Math" alttext="t" display="inline"><semantics id="A1.p1.4.m4.1a"><mi id="A1.p1.4.m4.1.1" xref="A1.p1.4.m4.1.1.cmml">t</mi><annotation-xml encoding="MathML-Content" id="A1.p1.4.m4.1b"><ci id="A1.p1.4.m4.1.1.cmml" xref="A1.p1.4.m4.1.1">𝑡</ci></annotation-xml><annotation encoding="application/x-tex" id="A1.p1.4.m4.1c">t</annotation></semantics></math>. A consequence of this is that the inputs should never include a <span id="A1.p1.4.3" class="ltx_text ltx_font_typewriter">&lt;backspace&gt;</span> token. The main idea is that if we have a sequence of actions <span id="A1.p1.4.4" class="ltx_text ltx_font_typewriter">[..., a, b, &lt;backspace&gt;, ...]</span>, the corresponding inputs are <span id="A1.p1.4.5" class="ltx_text ltx_font_typewriter">[..., a, b, a, ...]</span>, while the masks for the second <span id="A1.p1.4.6" class="ltx_text ltx_font_typewriter">a</span> onwards mask out the first <span id="A1.p1.4.7" class="ltx_text ltx_font_typewriter">a, b</span>. However, the possibility of multiple backspaces introduces some complexity.</p>
</div>
<div id="A1.p2" class="ltx_para">
<p id="A1.p2.1" class="ltx_p">The approach of the algorithm is to keep a running copy pointer and deletion pointer. The deletion pointer points to the cell of the mask that must be zeroed out for subsequent positions in the sequence, while the copy pointer points to the position that must be copied to the current cell of the input (and also zeroed out in the mask). When a backspace occurs, the deletion pointer is set to the current index, and the copy pointer is sent backwards to the last non-deleted position. When a backspace doesn’t occur, the deletion pointer is incremented by 1 and the copy pointer is moved forwards to the first non-deleted position.</p>
</div>
</section>
<section id="A2" class="ltx_appendix">
<h2 class="ltx_title ltx_title_appendix">
<span class="ltx_tag ltx_tag_appendix">Appendix B </span>Motivating Example Algebra</h2>

<div id="A2.p1" class="ltx_para">
<p id="A2.p1.4" class="ltx_p">We consider the case of a length- <math id="A2.p1.1.m1.1" class="ltx_Math" alttext="n" display="inline"><semantics id="A2.p1.1.m1.1a"><mi id="A2.p1.1.m1.1.1" xref="A2.p1.1.m1.1.1.cmml">n</mi><annotation-xml encoding="MathML-Content" id="A2.p1.1.m1.1b"><ci id="A2.p1.1.m1.1.1.cmml" xref="A2.p1.1.m1.1.1">𝑛</ci></annotation-xml><annotation encoding="application/x-tex" id="A2.p1.1.m1.1c">n</annotation></semantics></math> Markov chain with an additional node coming from each node. These nodes correspond to the dashed nodes in figure <a href="#S1.F1" title="Figure 1 ‣ 1 Introduction ‣ SequenceMatch: Imitation Learning for Autoregressive Sequence Modelling with Backtracking" class="ltx_ref"><span class="ltx_text ltx_ref_tag">1</span></a>. We write the dashed nodes as <math id="A2.p1.2.m2.1" class="ltx_Math" alttext="x_{\text{term}}" display="inline"><semantics id="A2.p1.2.m2.1a"><msub id="A2.p1.2.m2.1.1" xref="A2.p1.2.m2.1.1.cmml"><mi id="A2.p1.2.m2.1.1.2" xref="A2.p1.2.m2.1.1.2.cmml">x</mi><mtext id="A2.p1.2.m2.1.1.3" xref="A2.p1.2.m2.1.1.3a.cmml">term</mtext></msub><annotation-xml encoding="MathML-Content" id="A2.p1.2.m2.1b"><apply id="A2.p1.2.m2.1.1.cmml" xref="A2.p1.2.m2.1.1"><csymbol cd="ambiguous" id="A2.p1.2.m2.1.1.1.cmml" xref="A2.p1.2.m2.1.1">subscript</csymbol><ci id="A2.p1.2.m2.1.1.2.cmml" xref="A2.p1.2.m2.1.1.2">𝑥</ci><ci id="A2.p1.2.m2.1.1.3a.cmml" xref="A2.p1.2.m2.1.1.3"><mtext mathsize="70%" id="A2.p1.2.m2.1.1.3.cmml" xref="A2.p1.2.m2.1.1.3">term</mtext></ci></apply></annotation-xml><annotation encoding="application/x-tex" id="A2.p1.2.m2.1c">x_{\text{term}}</annotation></semantics></math>. As in the figure, we have <math id="A2.p1.3.m3.1" class="ltx_Math" alttext="P_{\text{data}}(x_{\text{term}})=0" display="inline"><semantics id="A2.p1.3.m3.1a"><mrow id="A2.p1.3.m3.1.1" xref="A2.p1.3.m3.1.1.cmml"><mrow id="A2.p1.3.m3.1.1.1" xref="A2.p1.3.m3.1.1.1.cmml"><msub id="A2.p1.3.m3.1.1.1.3" xref="A2.p1.3.m3.1.1.1.3.cmml"><mi id="A2.p1.3.m3.1.1.1.3.2" xref="A2.p1.3.m3.1.1.1.3.2.cmml">P</mi><mtext id="A2.p1.3.m3.1.1.1.3.3" xref="A2.p1.3.m3.1.1.1.3.3a.cmml">data</mtext></msub><mo lspace="0em" rspace="0em" id="A2.p1.3.m3.1.1.1.2" xref="A2.p1.3.m3.1.1.1.2.cmml">​</mo><mrow id="A2.p1.3.m3.1.1.1.1.1" xref="A2.p1.3.m3.1.1.1.1.1.1.cmml"><mo stretchy="false" id="A2.p1.3.m3.1.1.1.1.1.2" xref="A2.p1.3.m3.1.1.1.1.1.1.cmml">(</mo><msub id="A2.p1.3.m3.1.1.1.1.1.1" xref="A2.p1.3.m3.1.1.1.1.1.1.cmml"><mi id="A2.p1.3.m3.1.1.1.1.1.1.2" xref="A2.p1.3.m3.1.1.1.1.1.1.2.cmml">x</mi><mtext id="A2.p1.3.m3.1.1.1.1.1.1.3" xref="A2.p1.3.m3.1.1.1.1.1.1.3a.cmml">term</mtext></msub><mo stretchy="false" id="A2.p1.3.m3.1.1.1.1.1.3" xref="A2.p1.3.m3.1.1.1.1.1.1.cmml">)</mo></mrow></mrow><mo id="A2.p1.3.m3.1.1.2" xref="A2.p1.3.m3.1.1.2.cmml">=</mo><mn id="A2.p1.3.m3.1.1.3" xref="A2.p1.3.m3.1.1.3.cmml">0</mn></mrow><annotation-xml encoding="MathML-Content" id="A2.p1.3.m3.1b"><apply id="A2.p1.3.m3.1.1.cmml" xref="A2.p1.3.m3.1.1"><eq id="A2.p1.3.m3.1.1.2.cmml" xref="A2.p1.3.m3.1.1.2"></eq><apply id="A2.p1.3.m3.1.1.1.cmml" xref="A2.p1.3.m3.1.1.1"><times id="A2.p1.3.m3.1.1.1.2.cmml" xref="A2.p1.3.m3.1.1.1.2"></times><apply id="A2.p1.3.m3.1.1.1.3.cmml" xref="A2.p1.3.m3.1.1.1.3"><csymbol cd="ambiguous" id="A2.p1.3.m3.1.1.1.3.1.cmml" xref="A2.p1.3.m3.1.1.1.3">subscript</csymbol><ci id="A2.p1.3.m3.1.1.1.3.2.cmml" xref="A2.p1.3.m3.1.1.1.3.2">𝑃</ci><ci id="A2.p1.3.m3.1.1.1.3.3a.cmml" xref="A2.p1.3.m3.1.1.1.3.3"><mtext mathsize="70%" id="A2.p1.3.m3.1.1.1.3.3.cmml" xref="A2.p1.3.m3.1.1.1.3.3">data</mtext></ci></apply><apply id="A2.p1.3.m3.1.1.1.1.1.1.cmml" xref="A2.p1.3.m3.1.1.1.1.1"><csymbol cd="ambiguous" id="A2.p1.3.m3.1.1.1.1.1.1.1.cmml" xref="A2.p1.3.m3.1.1.1.1.1">subscript</csymbol><ci id="A2.p1.3.m3.1.1.1.1.1.1.2.cmml" xref="A2.p1.3.m3.1.1.1.1.1.1.2">𝑥</ci><ci id="A2.p1.3.m3.1.1.1.1.1.1.3a.cmml" xref="A2.p1.3.m3.1.1.1.1.1.1.3"><mtext mathsize="70%" id="A2.p1.3.m3.1.1.1.1.1.1.3.cmml" xref="A2.p1.3.m3.1.1.1.1.1.1.3">term</mtext></ci></apply></apply><cn type="integer" id="A2.p1.3.m3.1.1.3.cmml" xref="A2.p1.3.m3.1.1.3">0</cn></apply></annotation-xml><annotation encoding="application/x-tex" id="A2.p1.3.m3.1c">P_{\text{data}}(x_{\text{term}})=0</annotation></semantics></math>, <math id="A2.p1.4.m4.1" class="ltx_Math" alttext="P_{\text{model}}(x_{\text{term}})=\epsilon" display="inline"><semantics id="A2.p1.4.m4.1a"><mrow id="A2.p1.4.m4.1.1" xref="A2.p1.4.m4.1.1.cmml"><mrow id="A2.p1.4.m4.1.1.1" xref="A2.p1.4.m4.1.1.1.cmml"><msub id="A2.p1.4.m4.1.1.1.3" xref="A2.p1.4.m4.1.1.1.3.cmml"><mi id="A2.p1.4.m4.1.1.1.3.2" xref="A2.p1.4.m4.1.1.1.3.2.cmml">P</mi><mtext id="A2.p1.4.m4.1.1.1.3.3" xref="A2.p1.4.m4.1.1.1.3.3a.cmml">model</mtext></msub><mo lspace="0em" rspace="0em" id="A2.p1.4.m4.1.1.1.2" xref="A2.p1.4.m4.1.1.1.2.cmml">​</mo><mrow id="A2.p1.4.m4.1.1.1.1.1" xref="A2.p1.4.m4.1.1.1.1.1.1.cmml"><mo stretchy="false" id="A2.p1.4.m4.1.1.1.1.1.2" xref="A2.p1.4.m4.1.1.1.1.1.1.cmml">(</mo><msub id="A2.p1.4.m4.1.1.1.1.1.1" xref="A2.p1.4.m4.1.1.1.1.1.1.cmml"><mi id="A2.p1.4.m4.1.1.1.1.1.1.2" xref="A2.p1.4.m4.1.1.1.1.1.1.2.cmml">x</mi><mtext id="A2.p1.4.m4.1.1.1.1.1.1.3" xref="A2.p1.4.m4.1.1.1.1.1.1.3a.cmml">term</mtext></msub><mo stretchy="false" id="A2.p1.4.m4.1.1.1.1.1.3" xref="A2.p1.4.m4.1.1.1.1.1.1.cmml">)</mo></mrow></mrow><mo id="A2.p1.4.m4.1.1.2" xref="A2.p1.4.m4.1.1.2.cmml">=</mo><mi id="A2.p1.4.m4.1.1.3" xref="A2.p1.4.m4.1.1.3.cmml">ϵ</mi></mrow><annotation-xml encoding="MathML-Content" id="A2.p1.4.m4.1b"><apply id="A2.p1.4.m4.1.1.cmml" xref="A2.p1.4.m4.1.1"><eq id="A2.p1.4.m4.1.1.2.cmml" xref="A2.p1.4.m4.1.1.2"></eq><apply id="A2.p1.4.m4.1.1.1.cmml" xref="A2.p1.4.m4.1.1.1"><times id="A2.p1.4.m4.1.1.1.2.cmml" xref="A2.p1.4.m4.1.1.1.2"></times><apply id="A2.p1.4.m4.1.1.1.3.cmml" xref="A2.p1.4.m4.1.1.1.3"><csymbol cd="ambiguous" id="A2.p1.4.m4.1.1.1.3.1.cmml" xref="A2.p1.4.m4.1.1.1.3">subscript</csymbol><ci id="A2.p1.4.m4.1.1.1.3.2.cmml" xref="A2.p1.4.m4.1.1.1.3.2">𝑃</ci><ci id="A2.p1.4.m4.1.1.1.3.3a.cmml" xref="A2.p1.4.m4.1.1.1.3.3"><mtext mathsize="70%" id="A2.p1.4.m4.1.1.1.3.3.cmml" xref="A2.p1.4.m4.1.1.1.3.3">model</mtext></ci></apply><apply id="A2.p1.4.m4.1.1.1.1.1.1.cmml" xref="A2.p1.4.m4.1.1.1.1.1"><csymbol cd="ambiguous" id="A2.p1.4.m4.1.1.1.1.1.1.1.cmml" xref="A2.p1.4.m4.1.1.1.1.1">subscript</csymbol><ci id="A2.p1.4.m4.1.1.1.1.1.1.2.cmml" xref="A2.p1.4.m4.1.1.1.1.1.1.2">𝑥</ci><ci id="A2.p1.4.m4.1.1.1.1.1.1.3a.cmml" xref="A2.p1.4.m4.1.1.1.1.1.1.3"><mtext mathsize="70%" id="A2.p1.4.m4.1.1.1.1.1.1.3.cmml" xref="A2.p1.4.m4.1.1.1.1.1.1.3">term</mtext></ci></apply></apply><ci id="A2.p1.4.m4.1.1.3.cmml" xref="A2.p1.4.m4.1.1.3">italic-ϵ</ci></apply></annotation-xml><annotation encoding="application/x-tex" id="A2.p1.4.m4.1c">P_{\text{model}}(x_{\text{term}})=\epsilon</annotation></semantics></math>. We wish to compute the divergence between the two distributions.</p>
</div>
<section id="A2.SS1" class="ltx_subsection">
<h3 class="ltx_title ltx_title_subsection">
<span class="ltx_tag ltx_tag_subsection">B.1 </span>KL-Divergence</h3>

<div id="A2.SS1.p1" class="ltx_para">
<p id="A2.SS1.p1.1" class="ltx_p">We have</p>
<table id="A9.EGx9" class="ltx_equationgroup ltx_eqn_align ltx_eqn_table">

<tbody id="A2.Ex10"><tr class="ltx_equation ltx_eqn_row ltx_align_baseline">
<td class="ltx_eqn_cell ltx_eqn_center_padleft"></td>
<td class="ltx_td ltx_align_right ltx_eqn_cell"><math id="A2.Ex10.m1.4" class="ltx_Math" alttext="\displaystyle\operatorname{D_{\text{KL}}}(P\|Q)=\mathbb{E}_{x\sim P}\left[\log P(x)-\log Q(x)\right]=-n\log Q(1-\epsilon)." display="inline"><semantics id="A2.Ex10.m1.4a"><mrow id="A2.Ex10.m1.4.4.1" xref="A2.Ex10.m1.4.4.1.1.cmml"><mrow id="A2.Ex10.m1.4.4.1.1" xref="A2.Ex10.m1.4.4.1.1.cmml"><mrow id="A2.Ex10.m1.4.4.1.1.1.1" xref="A2.Ex10.m1.4.4.1.1.1.2.cmml"><msub id="A2.Ex10.m1.1.1" xref="A2.Ex10.m1.1.1.cmml"><mi mathvariant="normal" id="A2.Ex10.m1.1.1.2" xref="A2.Ex10.m1.1.1.2.cmml">D</mi><mtext id="A2.Ex10.m1.1.1.3" xref="A2.Ex10.m1.1.1.3a.cmml">KL</mtext></msub><mo id="A2.Ex10.m1.4.4.1.1.1.1a" xref="A2.Ex10.m1.4.4.1.1.1.2.cmml">⁡</mo><mrow id="A2.Ex10.m1.4.4.1.1.1.1.1" xref="A2.Ex10.m1.4.4.1.1.1.2.cmml"><mo stretchy="false" id="A2.Ex10.m1.4.4.1.1.1.1.1.2" xref="A2.Ex10.m1.4.4.1.1.1.2.cmml">(</mo><mrow id="A2.Ex10.m1.4.4.1.1.1.1.1.1" xref="A2.Ex10.m1.4.4.1.1.1.1.1.1.cmml"><mi id="A2.Ex10.m1.4.4.1.1.1.1.1.1.2" xref="A2.Ex10.m1.4.4.1.1.1.1.1.1.2.cmml">P</mi><mo id="A2.Ex10.m1.4.4.1.1.1.1.1.1.1" xref="A2.Ex10.m1.4.4.1.1.1.1.1.1.1.cmml">∥</mo><mi id="A2.Ex10.m1.4.4.1.1.1.1.1.1.3" xref="A2.Ex10.m1.4.4.1.1.1.1.1.1.3.cmml">Q</mi></mrow><mo stretchy="false" id="A2.Ex10.m1.4.4.1.1.1.1.1.3" xref="A2.Ex10.m1.4.4.1.1.1.2.cmml">)</mo></mrow></mrow><mo id="A2.Ex10.m1.4.4.1.1.5" xref="A2.Ex10.m1.4.4.1.1.5.cmml">=</mo><mrow id="A2.Ex10.m1.4.4.1.1.2" xref="A2.Ex10.m1.4.4.1.1.2.cmml"><msub id="A2.Ex10.m1.4.4.1.1.2.3" xref="A2.Ex10.m1.4.4.1.1.2.3.cmml"><mi id="A2.Ex10.m1.4.4.1.1.2.3.2" xref="A2.Ex10.m1.4.4.1.1.2.3.2.cmml">𝔼</mi><mrow id="A2.Ex10.m1.4.4.1.1.2.3.3" xref="A2.Ex10.m1.4.4.1.1.2.3.3.cmml"><mi id="A2.Ex10.m1.4.4.1.1.2.3.3.2" xref="A2.Ex10.m1.4.4.1.1.2.3.3.2.cmml">x</mi><mo id="A2.Ex10.m1.4.4.1.1.2.3.3.1" xref="A2.Ex10.m1.4.4.1.1.2.3.3.1.cmml">∼</mo><mi id="A2.Ex10.m1.4.4.1.1.2.3.3.3" xref="A2.Ex10.m1.4.4.1.1.2.3.3.3.cmml">P</mi></mrow></msub><mo lspace="0em" rspace="0em" id="A2.Ex10.m1.4.4.1.1.2.2" xref="A2.Ex10.m1.4.4.1.1.2.2.cmml">​</mo><mrow id="A2.Ex10.m1.4.4.1.1.2.1.1" xref="A2.Ex10.m1.4.4.1.1.2.1.2.cmml"><mo id="A2.Ex10.m1.4.4.1.1.2.1.1.2" xref="A2.Ex10.m1.4.4.1.1.2.1.2.1.cmml">[</mo><mrow id="A2.Ex10.m1.4.4.1.1.2.1.1.1" xref="A2.Ex10.m1.4.4.1.1.2.1.1.1.cmml"><mrow id="A2.Ex10.m1.4.4.1.1.2.1.1.1.2" xref="A2.Ex10.m1.4.4.1.1.2.1.1.1.2.cmml"><mrow id="A2.Ex10.m1.4.4.1.1.2.1.1.1.2.2" xref="A2.Ex10.m1.4.4.1.1.2.1.1.1.2.2.cmml"><mi id="A2.Ex10.m1.4.4.1.1.2.1.1.1.2.2.1" xref="A2.Ex10.m1.4.4.1.1.2.1.1.1.2.2.1.cmml">log</mi><mo lspace="0.167em" id="A2.Ex10.m1.4.4.1.1.2.1.1.1.2.2a" xref="A2.Ex10.m1.4.4.1.1.2.1.1.1.2.2.cmml">⁡</mo><mi id="A2.Ex10.m1.4.4.1.1.2.1.1.1.2.2.2" xref="A2.Ex10.m1.4.4.1.1.2.1.1.1.2.2.2.cmml">P</mi></mrow><mo lspace="0em" rspace="0em" id="A2.Ex10.m1.4.4.1.1.2.1.1.1.2.1" xref="A2.Ex10.m1.4.4.1.1.2.1.1.1.2.1.cmml">​</mo><mrow id="A2.Ex10.m1.4.4.1.1.2.1.1.1.2.3.2" xref="A2.Ex10.m1.4.4.1.1.2.1.1.1.2.cmml"><mo stretchy="false" id="A2.Ex10.m1.4.4.1.1.2.1.1.1.2.3.2.1" xref="A2.Ex10.m1.4.4.1.1.2.1.1.1.2.cmml">(</mo><mi id="A2.Ex10.m1.2.2" xref="A2.Ex10.m1.2.2.cmml">x</mi><mo stretchy="false" id="A2.Ex10.m1.4.4.1.1.2.1.1.1.2.3.2.2" xref="A2.Ex10.m1.4.4.1.1.2.1.1.1.2.cmml">)</mo></mrow></mrow><mo id="A2.Ex10.m1.4.4.1.1.2.1.1.1.1" xref="A2.Ex10.m1.4.4.1.1.2.1.1.1.1.cmml">−</mo><mrow id="A2.Ex10.m1.4.4.1.1.2.1.1.1.3" xref="A2.Ex10.m1.4.4.1.1.2.1.1.1.3.cmml"><mrow id="A2.Ex10.m1.4.4.1.1.2.1.1.1.3.2" xref="A2.Ex10.m1.4.4.1.1.2.1.1.1.3.2.cmml"><mi id="A2.Ex10.m1.4.4.1.1.2.1.1.1.3.2.1" xref="A2.Ex10.m1.4.4.1.1.2.1.1.1.3.2.1.cmml">log</mi><mo lspace="0.167em" id="A2.Ex10.m1.4.4.1.1.2.1.1.1.3.2a" xref="A2.Ex10.m1.4.4.1.1.2.1.1.1.3.2.cmml">⁡</mo><mi id="A2.Ex10.m1.4.4.1.1.2.1.1.1.3.2.2" xref="A2.Ex10.m1.4.4.1.1.2.1.1.1.3.2.2.cmml">Q</mi></mrow><mo lspace="0em" rspace="0em" id="A2.Ex10.m1.4.4.1.1.2.1.1.1.3.1" xref="A2.Ex10.m1.4.4.1.1.2.1.1.1.3.1.cmml">​</mo><mrow id="A2.Ex10.m1.4.4.1.1.2.1.1.1.3.3.2" xref="A2.Ex10.m1.4.4.1.1.2.1.1.1.3.cmml"><mo stretchy="false" id="A2.Ex10.m1.4.4.1.1.2.1.1.1.3.3.2.1" xref="A2.Ex10.m1.4.4.1.1.2.1.1.1.3.cmml">(</mo><mi id="A2.Ex10.m1.3.3" xref="A2.Ex10.m1.3.3.cmml">x</mi><mo stretchy="false" id="A2.Ex10.m1.4.4.1.1.2.1.1.1.3.3.2.2" xref="A2.Ex10.m1.4.4.1.1.2.1.1.1.3.cmml">)</mo></mrow></mrow></mrow><mo id="A2.Ex10.m1.4.4.1.1.2.1.1.3" xref="A2.Ex10.m1.4.4.1.1.2.1.2.1.cmml">]</mo></mrow></mrow><mo id="A2.Ex10.m1.4.4.1.1.6" xref="A2.Ex10.m1.4.4.1.1.6.cmml">=</mo><mrow id="A2.Ex10.m1.4.4.1.1.3" xref="A2.Ex10.m1.4.4.1.1.3.cmml"><mo id="A2.Ex10.m1.4.4.1.1.3a" xref="A2.Ex10.m1.4.4.1.1.3.cmml">−</mo><mrow id="A2.Ex10.m1.4.4.1.1.3.1" xref="A2.Ex10.m1.4.4.1.1.3.1.cmml"><mi id="A2.Ex10.m1.4.4.1.1.3.1.3" xref="A2.Ex10.m1.4.4.1.1.3.1.3.cmml">n</mi><mo lspace="0.167em" rspace="0em" id="A2.Ex10.m1.4.4.1.1.3.1.2" xref="A2.Ex10.m1.4.4.1.1.3.1.2.cmml">​</mo><mrow id="A2.Ex10.m1.4.4.1.1.3.1.4" xref="A2.Ex10.m1.4.4.1.1.3.1.4.cmml"><mi id="A2.Ex10.m1.4.4.1.1.3.1.4.1" xref="A2.Ex10.m1.4.4.1.1.3.1.4.1.cmml">log</mi><mo lspace="0.167em" id="A2.Ex10.m1.4.4.1.1.3.1.4a" xref="A2.Ex10.m1.4.4.1.1.3.1.4.cmml">⁡</mo><mi id="A2.Ex10.m1.4.4.1.1.3.1.4.2" xref="A2.Ex10.m1.4.4.1.1.3.1.4.2.cmml">Q</mi></mrow><mo lspace="0em" rspace="0em" id="A2.Ex10.m1.4.4.1.1.3.1.2a" xref="A2.Ex10.m1.4.4.1.1.3.1.2.cmml">​</mo><mrow id="A2.Ex10.m1.4.4.1.1.3.1.1.1" xref="A2.Ex10.m1.4.4.1.1.3.1.1.1.1.cmml"><mo stretchy="false" id="A2.Ex10.m1.4.4.1.1.3.1.1.1.2" xref="A2.Ex10.m1.4.4.1.1.3.1.1.1.1.cmml">(</mo><mrow id="A2.Ex10.m1.4.4.1.1.3.1.1.1.1" xref="A2.Ex10.m1.4.4.1.1.3.1.1.1.1.cmml"><mn id="A2.Ex10.m1.4.4.1.1.3.1.1.1.1.2" xref="A2.Ex10.m1.4.4.1.1.3.1.1.1.1.2.cmml">1</mn><mo id="A2.Ex10.m1.4.4.1.1.3.1.1.1.1.1" xref="A2.Ex10.m1.4.4.1.1.3.1.1.1.1.1.cmml">−</mo><mi id="A2.Ex10.m1.4.4.1.1.3.1.1.1.1.3" xref="A2.Ex10.m1.4.4.1.1.3.1.1.1.1.3.cmml">ϵ</mi></mrow><mo stretchy="false" id="A2.Ex10.m1.4.4.1.1.3.1.1.1.3" xref="A2.Ex10.m1.4.4.1.1.3.1.1.1.1.cmml">)</mo></mrow></mrow></mrow></mrow><mo lspace="0em" id="A2.Ex10.m1.4.4.1.2" xref="A2.Ex10.m1.4.4.1.1.cmml">.</mo></mrow><annotation-xml encoding="MathML-Content" id="A2.Ex10.m1.4b"><apply id="A2.Ex10.m1.4.4.1.1.cmml" xref="A2.Ex10.m1.4.4.1"><and id="A2.Ex10.m1.4.4.1.1a.cmml" xref="A2.Ex10.m1.4.4.1"></and><apply id="A2.Ex10.m1.4.4.1.1b.cmml" xref="A2.Ex10.m1.4.4.1"><eq id="A2.Ex10.m1.4.4.1.1.5.cmml" xref="A2.Ex10.m1.4.4.1.1.5"></eq><apply id="A2.Ex10.m1.4.4.1.1.1.2.cmml" xref="A2.Ex10.m1.4.4.1.1.1.1"><apply id="A2.Ex10.m1.1.1.cmml" xref="A2.Ex10.m1.1.1"><csymbol cd="ambiguous" id="A2.Ex10.m1.1.1.1.cmml" xref="A2.Ex10.m1.1.1">subscript</csymbol><ci id="A2.Ex10.m1.1.1.2.cmml" xref="A2.Ex10.m1.1.1.2">D</ci><ci id="A2.Ex10.m1.1.1.3a.cmml" xref="A2.Ex10.m1.1.1.3"><mtext mathsize="70%" id="A2.Ex10.m1.1.1.3.cmml" xref="A2.Ex10.m1.1.1.3">KL</mtext></ci></apply><apply id="A2.Ex10.m1.4.4.1.1.1.1.1.1.cmml" xref="A2.Ex10.m1.4.4.1.1.1.1.1.1"><csymbol cd="latexml" id="A2.Ex10.m1.4.4.1.1.1.1.1.1.1.cmml" xref="A2.Ex10.m1.4.4.1.1.1.1.1.1.1">conditional</csymbol><ci id="A2.Ex10.m1.4.4.1.1.1.1.1.1.2.cmml" xref="A2.Ex10.m1.4.4.1.1.1.1.1.1.2">𝑃</ci><ci id="A2.Ex10.m1.4.4.1.1.1.1.1.1.3.cmml" xref="A2.Ex10.m1.4.4.1.1.1.1.1.1.3">𝑄</ci></apply></apply><apply id="A2.Ex10.m1.4.4.1.1.2.cmml" xref="A2.Ex10.m1.4.4.1.1.2"><times id="A2.Ex10.m1.4.4.1.1.2.2.cmml" xref="A2.Ex10.m1.4.4.1.1.2.2"></times><apply id="A2.Ex10.m1.4.4.1.1.2.3.cmml" xref="A2.Ex10.m1.4.4.1.1.2.3"><csymbol cd="ambiguous" id="A2.Ex10.m1.4.4.1.1.2.3.1.cmml" xref="A2.Ex10.m1.4.4.1.1.2.3">subscript</csymbol><ci id="A2.Ex10.m1.4.4.1.1.2.3.2.cmml" xref="A2.Ex10.m1.4.4.1.1.2.3.2">𝔼</ci><apply id="A2.Ex10.m1.4.4.1.1.2.3.3.cmml" xref="A2.Ex10.m1.4.4.1.1.2.3.3"><csymbol cd="latexml" id="A2.Ex10.m1.4.4.1.1.2.3.3.1.cmml" xref="A2.Ex10.m1.4.4.1.1.2.3.3.1">similar-to</csymbol><ci id="A2.Ex10.m1.4.4.1.1.2.3.3.2.cmml" xref="A2.Ex10.m1.4.4.1.1.2.3.3.2">𝑥</ci><ci id="A2.Ex10.m1.4.4.1.1.2.3.3.3.cmml" xref="A2.Ex10.m1.4.4.1.1.2.3.3.3">𝑃</ci></apply></apply><apply id="A2.Ex10.m1.4.4.1.1.2.1.2.cmml" xref="A2.Ex10.m1.4.4.1.1.2.1.1"><csymbol cd="latexml" id="A2.Ex10.m1.4.4.1.1.2.1.2.1.cmml" xref="A2.Ex10.m1.4.4.1.1.2.1.1.2">delimited-[]</csymbol><apply id="A2.Ex10.m1.4.4.1.1.2.1.1.1.cmml" xref="A2.Ex10.m1.4.4.1.1.2.1.1.1"><minus id="A2.Ex10.m1.4.4.1.1.2.1.1.1.1.cmml" xref="A2.Ex10.m1.4.4.1.1.2.1.1.1.1"></minus><apply id="A2.Ex10.m1.4.4.1.1.2.1.1.1.2.cmml" xref="A2.Ex10.m1.4.4.1.1.2.1.1.1.2"><times id="A2.Ex10.m1.4.4.1.1.2.1.1.1.2.1.cmml" xref="A2.Ex10.m1.4.4.1.1.2.1.1.1.2.1"></times><apply id="A2.Ex10.m1.4.4.1.1.2.1.1.1.2.2.cmml" xref="A2.Ex10.m1.4.4.1.1.2.1.1.1.2.2"><log id="A2.Ex10.m1.4.4.1.1.2.1.1.1.2.2.1.cmml" xref="A2.Ex10.m1.4.4.1.1.2.1.1.1.2.2.1"></log><ci id="A2.Ex10.m1.4.4.1.1.2.1.1.1.2.2.2.cmml" xref="A2.Ex10.m1.4.4.1.1.2.1.1.1.2.2.2">𝑃</ci></apply><ci id="A2.Ex10.m1.2.2.cmml" xref="A2.Ex10.m1.2.2">𝑥</ci></apply><apply id="A2.Ex10.m1.4.4.1.1.2.1.1.1.3.cmml" xref="A2.Ex10.m1.4.4.1.1.2.1.1.1.3"><times id="A2.Ex10.m1.4.4.1.1.2.1.1.1.3.1.cmml" xref="A2.Ex10.m1.4.4.1.1.2.1.1.1.3.1"></times><apply id="A2.Ex10.m1.4.4.1.1.2.1.1.1.3.2.cmml" xref="A2.Ex10.m1.4.4.1.1.2.1.1.1.3.2"><log id="A2.Ex10.m1.4.4.1.1.2.1.1.1.3.2.1.cmml" xref="A2.Ex10.m1.4.4.1.1.2.1.1.1.3.2.1"></log><ci id="A2.Ex10.m1.4.4.1.1.2.1.1.1.3.2.2.cmml" xref="A2.Ex10.m1.4.4.1.1.2.1.1.1.3.2.2">𝑄</ci></apply><ci id="A2.Ex10.m1.3.3.cmml" xref="A2.Ex10.m1.3.3">𝑥</ci></apply></apply></apply></apply></apply><apply id="A2.Ex10.m1.4.4.1.1c.cmml" xref="A2.Ex10.m1.4.4.1"><eq id="A2.Ex10.m1.4.4.1.1.6.cmml" xref="A2.Ex10.m1.4.4.1.1.6"></eq><share href="#A2.Ex10.m1.4.4.1.1.2.cmml" id="A2.Ex10.m1.4.4.1.1d.cmml" xref="A2.Ex10.m1.4.4.1"></share><apply id="A2.Ex10.m1.4.4.1.1.3.cmml" xref="A2.Ex10.m1.4.4.1.1.3"><minus id="A2.Ex10.m1.4.4.1.1.3.2.cmml" xref="A2.Ex10.m1.4.4.1.1.3"></minus><apply id="A2.Ex10.m1.4.4.1.1.3.1.cmml" xref="A2.Ex10.m1.4.4.1.1.3.1"><times id="A2.Ex10.m1.4.4.1.1.3.1.2.cmml" xref="A2.Ex10.m1.4.4.1.1.3.1.2"></times><ci id="A2.Ex10.m1.4.4.1.1.3.1.3.cmml" xref="A2.Ex10.m1.4.4.1.1.3.1.3">𝑛</ci><apply id="A2.Ex10.m1.4.4.1.1.3.1.4.cmml" xref="A2.Ex10.m1.4.4.1.1.3.1.4"><log id="A2.Ex10.m1.4.4.1.1.3.1.4.1.cmml" xref="A2.Ex10.m1.4.4.1.1.3.1.4.1"></log><ci id="A2.Ex10.m1.4.4.1.1.3.1.4.2.cmml" xref="A2.Ex10.m1.4.4.1.1.3.1.4.2">𝑄</ci></apply><apply id="A2.Ex10.m1.4.4.1.1.3.1.1.1.1.cmml" xref="A2.Ex10.m1.4.4.1.1.3.1.1.1"><minus id="A2.Ex10.m1.4.4.1.1.3.1.1.1.1.1.cmml" xref="A2.Ex10.m1.4.4.1.1.3.1.1.1.1.1"></minus><cn type="integer" id="A2.Ex10.m1.4.4.1.1.3.1.1.1.1.2.cmml" xref="A2.Ex10.m1.4.4.1.1.3.1.1.1.1.2">1</cn><ci id="A2.Ex10.m1.4.4.1.1.3.1.1.1.1.3.cmml" xref="A2.Ex10.m1.4.4.1.1.3.1.1.1.1.3">italic-ϵ</ci></apply></apply></apply></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="A2.Ex10.m1.4c">\displaystyle\operatorname{D_{\text{KL}}}(P\|Q)=\mathbb{E}_{x\sim P}\left[\log P(x)-\log Q(x)\right]=-n\log Q(1-\epsilon).</annotation></semantics></math></td>
<td class="ltx_eqn_cell ltx_eqn_center_padright"></td>
</tr></tbody>
</table>
</div>
</section>
<section id="A2.SS2" class="ltx_subsection">
<h3 class="ltx_title ltx_title_subsection">
<span class="ltx_tag ltx_tag_subsection">B.2 </span>Reverse KL-Divergence</h3>

<div id="A2.SS2.p1" class="ltx_para">
<p id="A2.SS2.p1.3" class="ltx_p">We have</p>
<table id="A9.EGx10" class="ltx_equationgroup ltx_eqn_align ltx_eqn_table">

<tbody id="A2.Ex11"><tr class="ltx_equation ltx_eqn_row ltx_align_baseline">
<td class="ltx_eqn_cell ltx_eqn_center_padleft"></td>
<td class="ltx_td ltx_align_right ltx_eqn_cell"><math id="A2.Ex11.m1.4" class="ltx_Math" alttext="\displaystyle\operatorname{D_{\text{KL}}}(Q\|P)=\mathbb{E}_{x\sim Q}\left[\log Q(x)-\log P(x)\right]=\infty," display="inline"><semantics id="A2.Ex11.m1.4a"><mrow id="A2.Ex11.m1.4.4.1" xref="A2.Ex11.m1.4.4.1.1.cmml"><mrow id="A2.Ex11.m1.4.4.1.1" xref="A2.Ex11.m1.4.4.1.1.cmml"><mrow id="A2.Ex11.m1.4.4.1.1.1.1" xref="A2.Ex11.m1.4.4.1.1.1.2.cmml"><msub id="A2.Ex11.m1.1.1" xref="A2.Ex11.m1.1.1.cmml"><mi mathvariant="normal" id="A2.Ex11.m1.1.1.2" xref="A2.Ex11.m1.1.1.2.cmml">D</mi><mtext id="A2.Ex11.m1.1.1.3" xref="A2.Ex11.m1.1.1.3a.cmml">KL</mtext></msub><mo id="A2.Ex11.m1.4.4.1.1.1.1a" xref="A2.Ex11.m1.4.4.1.1.1.2.cmml">⁡</mo><mrow id="A2.Ex11.m1.4.4.1.1.1.1.1" xref="A2.Ex11.m1.4.4.1.1.1.2.cmml"><mo stretchy="false" id="A2.Ex11.m1.4.4.1.1.1.1.1.2" xref="A2.Ex11.m1.4.4.1.1.1.2.cmml">(</mo><mrow id="A2.Ex11.m1.4.4.1.1.1.1.1.1" xref="A2.Ex11.m1.4.4.1.1.1.1.1.1.cmml"><mi id="A2.Ex11.m1.4.4.1.1.1.1.1.1.2" xref="A2.Ex11.m1.4.4.1.1.1.1.1.1.2.cmml">Q</mi><mo id="A2.Ex11.m1.4.4.1.1.1.1.1.1.1" xref="A2.Ex11.m1.4.4.1.1.1.1.1.1.1.cmml">∥</mo><mi id="A2.Ex11.m1.4.4.1.1.1.1.1.1.3" xref="A2.Ex11.m1.4.4.1.1.1.1.1.1.3.cmml">P</mi></mrow><mo stretchy="false" id="A2.Ex11.m1.4.4.1.1.1.1.1.3" xref="A2.Ex11.m1.4.4.1.1.1.2.cmml">)</mo></mrow></mrow><mo id="A2.Ex11.m1.4.4.1.1.4" xref="A2.Ex11.m1.4.4.1.1.4.cmml">=</mo><mrow id="A2.Ex11.m1.4.4.1.1.2" xref="A2.Ex11.m1.4.4.1.1.2.cmml"><msub id="A2.Ex11.m1.4.4.1.1.2.3" xref="A2.Ex11.m1.4.4.1.1.2.3.cmml"><mi id="A2.Ex11.m1.4.4.1.1.2.3.2" xref="A2.Ex11.m1.4.4.1.1.2.3.2.cmml">𝔼</mi><mrow id="A2.Ex11.m1.4.4.1.1.2.3.3" xref="A2.Ex11.m1.4.4.1.1.2.3.3.cmml"><mi id="A2.Ex11.m1.4.4.1.1.2.3.3.2" xref="A2.Ex11.m1.4.4.1.1.2.3.3.2.cmml">x</mi><mo id="A2.Ex11.m1.4.4.1.1.2.3.3.1" xref="A2.Ex11.m1.4.4.1.1.2.3.3.1.cmml">∼</mo><mi id="A2.Ex11.m1.4.4.1.1.2.3.3.3" xref="A2.Ex11.m1.4.4.1.1.2.3.3.3.cmml">Q</mi></mrow></msub><mo lspace="0em" rspace="0em" id="A2.Ex11.m1.4.4.1.1.2.2" xref="A2.Ex11.m1.4.4.1.1.2.2.cmml">​</mo><mrow id="A2.Ex11.m1.4.4.1.1.2.1.1" xref="A2.Ex11.m1.4.4.1.1.2.1.2.cmml"><mo id="A2.Ex11.m1.4.4.1.1.2.1.1.2" xref="A2.Ex11.m1.4.4.1.1.2.1.2.1.cmml">[</mo><mrow id="A2.Ex11.m1.4.4.1.1.2.1.1.1" xref="A2.Ex11.m1.4.4.1.1.2.1.1.1.cmml"><mrow id="A2.Ex11.m1.4.4.1.1.2.1.1.1.2" xref="A2.Ex11.m1.4.4.1.1.2.1.1.1.2.cmml"><mrow id="A2.Ex11.m1.4.4.1.1.2.1.1.1.2.2" xref="A2.Ex11.m1.4.4.1.1.2.1.1.1.2.2.cmml"><mi id="A2.Ex11.m1.4.4.1.1.2.1.1.1.2.2.1" xref="A2.Ex11.m1.4.4.1.1.2.1.1.1.2.2.1.cmml">log</mi><mo lspace="0.167em" id="A2.Ex11.m1.4.4.1.1.2.1.1.1.2.2a" xref="A2.Ex11.m1.4.4.1.1.2.1.1.1.2.2.cmml">⁡</mo><mi id="A2.Ex11.m1.4.4.1.1.2.1.1.1.2.2.2" xref="A2.Ex11.m1.4.4.1.1.2.1.1.1.2.2.2.cmml">Q</mi></mrow><mo lspace="0em" rspace="0em" id="A2.Ex11.m1.4.4.1.1.2.1.1.1.2.1" xref="A2.Ex11.m1.4.4.1.1.2.1.1.1.2.1.cmml">​</mo><mrow id="A2.Ex11.m1.4.4.1.1.2.1.1.1.2.3.2" xref="A2.Ex11.m1.4.4.1.1.2.1.1.1.2.cmml"><mo stretchy="false" id="A2.Ex11.m1.4.4.1.1.2.1.1.1.2.3.2.1" xref="A2.Ex11.m1.4.4.1.1.2.1.1.1.2.cmml">(</mo><mi id="A2.Ex11.m1.2.2" xref="A2.Ex11.m1.2.2.cmml">x</mi><mo stretchy="false" id="A2.Ex11.m1.4.4.1.1.2.1.1.1.2.3.2.2" xref="A2.Ex11.m1.4.4.1.1.2.1.1.1.2.cmml">)</mo></mrow></mrow><mo id="A2.Ex11.m1.4.4.1.1.2.1.1.1.1" xref="A2.Ex11.m1.4.4.1.1.2.1.1.1.1.cmml">−</mo><mrow id="A2.Ex11.m1.4.4.1.1.2.1.1.1.3" xref="A2.Ex11.m1.4.4.1.1.2.1.1.1.3.cmml"><mrow id="A2.Ex11.m1.4.4.1.1.2.1.1.1.3.2" xref="A2.Ex11.m1.4.4.1.1.2.1.1.1.3.2.cmml"><mi id="A2.Ex11.m1.4.4.1.1.2.1.1.1.3.2.1" xref="A2.Ex11.m1.4.4.1.1.2.1.1.1.3.2.1.cmml">log</mi><mo lspace="0.167em" id="A2.Ex11.m1.4.4.1.1.2.1.1.1.3.2a" xref="A2.Ex11.m1.4.4.1.1.2.1.1.1.3.2.cmml">⁡</mo><mi id="A2.Ex11.m1.4.4.1.1.2.1.1.1.3.2.2" xref="A2.Ex11.m1.4.4.1.1.2.1.1.1.3.2.2.cmml">P</mi></mrow><mo lspace="0em" rspace="0em" id="A2.Ex11.m1.4.4.1.1.2.1.1.1.3.1" xref="A2.Ex11.m1.4.4.1.1.2.1.1.1.3.1.cmml">​</mo><mrow id="A2.Ex11.m1.4.4.1.1.2.1.1.1.3.3.2" xref="A2.Ex11.m1.4.4.1.1.2.1.1.1.3.cmml"><mo stretchy="false" id="A2.Ex11.m1.4.4.1.1.2.1.1.1.3.3.2.1" xref="A2.Ex11.m1.4.4.1.1.2.1.1.1.3.cmml">(</mo><mi id="A2.Ex11.m1.3.3" xref="A2.Ex11.m1.3.3.cmml">x</mi><mo stretchy="false" id="A2.Ex11.m1.4.4.1.1.2.1.1.1.3.3.2.2" xref="A2.Ex11.m1.4.4.1.1.2.1.1.1.3.cmml">)</mo></mrow></mrow></mrow><mo id="A2.Ex11.m1.4.4.1.1.2.1.1.3" xref="A2.Ex11.m1.4.4.1.1.2.1.2.1.cmml">]</mo></mrow></mrow><mo id="A2.Ex11.m1.4.4.1.1.5" xref="A2.Ex11.m1.4.4.1.1.5.cmml">=</mo><mi mathvariant="normal" id="A2.Ex11.m1.4.4.1.1.6" xref="A2.Ex11.m1.4.4.1.1.6.cmml">∞</mi></mrow><mo id="A2.Ex11.m1.4.4.1.2" xref="A2.Ex11.m1.4.4.1.1.cmml">,</mo></mrow><annotation-xml encoding="MathML-Content" id="A2.Ex11.m1.4b"><apply id="A2.Ex11.m1.4.4.1.1.cmml" xref="A2.Ex11.m1.4.4.1"><and id="A2.Ex11.m1.4.4.1.1a.cmml" xref="A2.Ex11.m1.4.4.1"></and><apply id="A2.Ex11.m1.4.4.1.1b.cmml" xref="A2.Ex11.m1.4.4.1"><eq id="A2.Ex11.m1.4.4.1.1.4.cmml" xref="A2.Ex11.m1.4.4.1.1.4"></eq><apply id="A2.Ex11.m1.4.4.1.1.1.2.cmml" xref="A2.Ex11.m1.4.4.1.1.1.1"><apply id="A2.Ex11.m1.1.1.cmml" xref="A2.Ex11.m1.1.1"><csymbol cd="ambiguous" id="A2.Ex11.m1.1.1.1.cmml" xref="A2.Ex11.m1.1.1">subscript</csymbol><ci id="A2.Ex11.m1.1.1.2.cmml" xref="A2.Ex11.m1.1.1.2">D</ci><ci id="A2.Ex11.m1.1.1.3a.cmml" xref="A2.Ex11.m1.1.1.3"><mtext mathsize="70%" id="A2.Ex11.m1.1.1.3.cmml" xref="A2.Ex11.m1.1.1.3">KL</mtext></ci></apply><apply id="A2.Ex11.m1.4.4.1.1.1.1.1.1.cmml" xref="A2.Ex11.m1.4.4.1.1.1.1.1.1"><csymbol cd="latexml" id="A2.Ex11.m1.4.4.1.1.1.1.1.1.1.cmml" xref="A2.Ex11.m1.4.4.1.1.1.1.1.1.1">conditional</csymbol><ci id="A2.Ex11.m1.4.4.1.1.1.1.1.1.2.cmml" xref="A2.Ex11.m1.4.4.1.1.1.1.1.1.2">𝑄</ci><ci id="A2.Ex11.m1.4.4.1.1.1.1.1.1.3.cmml" xref="A2.Ex11.m1.4.4.1.1.1.1.1.1.3">𝑃</ci></apply></apply><apply id="A2.Ex11.m1.4.4.1.1.2.cmml" xref="A2.Ex11.m1.4.4.1.1.2"><times id="A2.Ex11.m1.4.4.1.1.2.2.cmml" xref="A2.Ex11.m1.4.4.1.1.2.2"></times><apply id="A2.Ex11.m1.4.4.1.1.2.3.cmml" xref="A2.Ex11.m1.4.4.1.1.2.3"><csymbol cd="ambiguous" id="A2.Ex11.m1.4.4.1.1.2.3.1.cmml" xref="A2.Ex11.m1.4.4.1.1.2.3">subscript</csymbol><ci id="A2.Ex11.m1.4.4.1.1.2.3.2.cmml" xref="A2.Ex11.m1.4.4.1.1.2.3.2">𝔼</ci><apply id="A2.Ex11.m1.4.4.1.1.2.3.3.cmml" xref="A2.Ex11.m1.4.4.1.1.2.3.3"><csymbol cd="latexml" id="A2.Ex11.m1.4.4.1.1.2.3.3.1.cmml" xref="A2.Ex11.m1.4.4.1.1.2.3.3.1">similar-to</csymbol><ci id="A2.Ex11.m1.4.4.1.1.2.3.3.2.cmml" xref="A2.Ex11.m1.4.4.1.1.2.3.3.2">𝑥</ci><ci id="A2.Ex11.m1.4.4.1.1.2.3.3.3.cmml" xref="A2.Ex11.m1.4.4.1.1.2.3.3.3">𝑄</ci></apply></apply><apply id="A2.Ex11.m1.4.4.1.1.2.1.2.cmml" xref="A2.Ex11.m1.4.4.1.1.2.1.1"><csymbol cd="latexml" id="A2.Ex11.m1.4.4.1.1.2.1.2.1.cmml" xref="A2.Ex11.m1.4.4.1.1.2.1.1.2">delimited-[]</csymbol><apply id="A2.Ex11.m1.4.4.1.1.2.1.1.1.cmml" xref="A2.Ex11.m1.4.4.1.1.2.1.1.1"><minus id="A2.Ex11.m1.4.4.1.1.2.1.1.1.1.cmml" xref="A2.Ex11.m1.4.4.1.1.2.1.1.1.1"></minus><apply id="A2.Ex11.m1.4.4.1.1.2.1.1.1.2.cmml" xref="A2.Ex11.m1.4.4.1.1.2.1.1.1.2"><times id="A2.Ex11.m1.4.4.1.1.2.1.1.1.2.1.cmml" xref="A2.Ex11.m1.4.4.1.1.2.1.1.1.2.1"></times><apply id="A2.Ex11.m1.4.4.1.1.2.1.1.1.2.2.cmml" xref="A2.Ex11.m1.4.4.1.1.2.1.1.1.2.2"><log id="A2.Ex11.m1.4.4.1.1.2.1.1.1.2.2.1.cmml" xref="A2.Ex11.m1.4.4.1.1.2.1.1.1.2.2.1"></log><ci id="A2.Ex11.m1.4.4.1.1.2.1.1.1.2.2.2.cmml" xref="A2.Ex11.m1.4.4.1.1.2.1.1.1.2.2.2">𝑄</ci></apply><ci id="A2.Ex11.m1.2.2.cmml" xref="A2.Ex11.m1.2.2">𝑥</ci></apply><apply id="A2.Ex11.m1.4.4.1.1.2.1.1.1.3.cmml" xref="A2.Ex11.m1.4.4.1.1.2.1.1.1.3"><times id="A2.Ex11.m1.4.4.1.1.2.1.1.1.3.1.cmml" xref="A2.Ex11.m1.4.4.1.1.2.1.1.1.3.1"></times><apply id="A2.Ex11.m1.4.4.1.1.2.1.1.1.3.2.cmml" xref="A2.Ex11.m1.4.4.1.1.2.1.1.1.3.2"><log id="A2.Ex11.m1.4.4.1.1.2.1.1.1.3.2.1.cmml" xref="A2.Ex11.m1.4.4.1.1.2.1.1.1.3.2.1"></log><ci id="A2.Ex11.m1.4.4.1.1.2.1.1.1.3.2.2.cmml" xref="A2.Ex11.m1.4.4.1.1.2.1.1.1.3.2.2">𝑃</ci></apply><ci id="A2.Ex11.m1.3.3.cmml" xref="A2.Ex11.m1.3.3">𝑥</ci></apply></apply></apply></apply></apply><apply id="A2.Ex11.m1.4.4.1.1c.cmml" xref="A2.Ex11.m1.4.4.1"><eq id="A2.Ex11.m1.4.4.1.1.5.cmml" xref="A2.Ex11.m1.4.4.1.1.5"></eq><share href="#A2.Ex11.m1.4.4.1.1.2.cmml" id="A2.Ex11.m1.4.4.1.1d.cmml" xref="A2.Ex11.m1.4.4.1"></share><infinity id="A2.Ex11.m1.4.4.1.1.6.cmml" xref="A2.Ex11.m1.4.4.1.1.6"></infinity></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="A2.Ex11.m1.4c">\displaystyle\operatorname{D_{\text{KL}}}(Q\|P)=\mathbb{E}_{x\sim Q}\left[\log Q(x)-\log P(x)\right]=\infty,</annotation></semantics></math></td>
<td class="ltx_eqn_cell ltx_eqn_center_padright"></td>
</tr></tbody>
</table>
<p id="A2.SS2.p1.2" class="ltx_p">since <math id="A2.SS2.p1.1.m1.1" class="ltx_Math" alttext="P(x_{\text{term}}=0)" display="inline"><semantics id="A2.SS2.p1.1.m1.1a"><mrow id="A2.SS2.p1.1.m1.1.1" xref="A2.SS2.p1.1.m1.1.1.cmml"><mi id="A2.SS2.p1.1.m1.1.1.3" xref="A2.SS2.p1.1.m1.1.1.3.cmml">P</mi><mo lspace="0em" rspace="0em" id="A2.SS2.p1.1.m1.1.1.2" xref="A2.SS2.p1.1.m1.1.1.2.cmml">​</mo><mrow id="A2.SS2.p1.1.m1.1.1.1.1" xref="A2.SS2.p1.1.m1.1.1.1.1.1.cmml"><mo stretchy="false" id="A2.SS2.p1.1.m1.1.1.1.1.2" xref="A2.SS2.p1.1.m1.1.1.1.1.1.cmml">(</mo><mrow id="A2.SS2.p1.1.m1.1.1.1.1.1" xref="A2.SS2.p1.1.m1.1.1.1.1.1.cmml"><msub id="A2.SS2.p1.1.m1.1.1.1.1.1.2" xref="A2.SS2.p1.1.m1.1.1.1.1.1.2.cmml"><mi id="A2.SS2.p1.1.m1.1.1.1.1.1.2.2" xref="A2.SS2.p1.1.m1.1.1.1.1.1.2.2.cmml">x</mi><mtext id="A2.SS2.p1.1.m1.1.1.1.1.1.2.3" xref="A2.SS2.p1.1.m1.1.1.1.1.1.2.3a.cmml">term</mtext></msub><mo id="A2.SS2.p1.1.m1.1.1.1.1.1.1" xref="A2.SS2.p1.1.m1.1.1.1.1.1.1.cmml">=</mo><mn id="A2.SS2.p1.1.m1.1.1.1.1.1.3" xref="A2.SS2.p1.1.m1.1.1.1.1.1.3.cmml">0</mn></mrow><mo stretchy="false" id="A2.SS2.p1.1.m1.1.1.1.1.3" xref="A2.SS2.p1.1.m1.1.1.1.1.1.cmml">)</mo></mrow></mrow><annotation-xml encoding="MathML-Content" id="A2.SS2.p1.1.m1.1b"><apply id="A2.SS2.p1.1.m1.1.1.cmml" xref="A2.SS2.p1.1.m1.1.1"><times id="A2.SS2.p1.1.m1.1.1.2.cmml" xref="A2.SS2.p1.1.m1.1.1.2"></times><ci id="A2.SS2.p1.1.m1.1.1.3.cmml" xref="A2.SS2.p1.1.m1.1.1.3">𝑃</ci><apply id="A2.SS2.p1.1.m1.1.1.1.1.1.cmml" xref="A2.SS2.p1.1.m1.1.1.1.1"><eq id="A2.SS2.p1.1.m1.1.1.1.1.1.1.cmml" xref="A2.SS2.p1.1.m1.1.1.1.1.1.1"></eq><apply id="A2.SS2.p1.1.m1.1.1.1.1.1.2.cmml" xref="A2.SS2.p1.1.m1.1.1.1.1.1.2"><csymbol cd="ambiguous" id="A2.SS2.p1.1.m1.1.1.1.1.1.2.1.cmml" xref="A2.SS2.p1.1.m1.1.1.1.1.1.2">subscript</csymbol><ci id="A2.SS2.p1.1.m1.1.1.1.1.1.2.2.cmml" xref="A2.SS2.p1.1.m1.1.1.1.1.1.2.2">𝑥</ci><ci id="A2.SS2.p1.1.m1.1.1.1.1.1.2.3a.cmml" xref="A2.SS2.p1.1.m1.1.1.1.1.1.2.3"><mtext mathsize="70%" id="A2.SS2.p1.1.m1.1.1.1.1.1.2.3.cmml" xref="A2.SS2.p1.1.m1.1.1.1.1.1.2.3">term</mtext></ci></apply><cn type="integer" id="A2.SS2.p1.1.m1.1.1.1.1.1.3.cmml" xref="A2.SS2.p1.1.m1.1.1.1.1.1.3">0</cn></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="A2.SS2.p1.1.m1.1c">P(x_{\text{term}}=0)</annotation></semantics></math> and <math id="A2.SS2.p1.2.m2.1" class="ltx_Math" alttext="Q(x_{\text{term}})\neq 0" display="inline"><semantics id="A2.SS2.p1.2.m2.1a"><mrow id="A2.SS2.p1.2.m2.1.1" xref="A2.SS2.p1.2.m2.1.1.cmml"><mrow id="A2.SS2.p1.2.m2.1.1.1" xref="A2.SS2.p1.2.m2.1.1.1.cmml"><mi id="A2.SS2.p1.2.m2.1.1.1.3" xref="A2.SS2.p1.2.m2.1.1.1.3.cmml">Q</mi><mo lspace="0em" rspace="0em" id="A2.SS2.p1.2.m2.1.1.1.2" xref="A2.SS2.p1.2.m2.1.1.1.2.cmml">​</mo><mrow id="A2.SS2.p1.2.m2.1.1.1.1.1" xref="A2.SS2.p1.2.m2.1.1.1.1.1.1.cmml"><mo stretchy="false" id="A2.SS2.p1.2.m2.1.1.1.1.1.2" xref="A2.SS2.p1.2.m2.1.1.1.1.1.1.cmml">(</mo><msub id="A2.SS2.p1.2.m2.1.1.1.1.1.1" xref="A2.SS2.p1.2.m2.1.1.1.1.1.1.cmml"><mi id="A2.SS2.p1.2.m2.1.1.1.1.1.1.2" xref="A2.SS2.p1.2.m2.1.1.1.1.1.1.2.cmml">x</mi><mtext id="A2.SS2.p1.2.m2.1.1.1.1.1.1.3" xref="A2.SS2.p1.2.m2.1.1.1.1.1.1.3a.cmml">term</mtext></msub><mo stretchy="false" id="A2.SS2.p1.2.m2.1.1.1.1.1.3" xref="A2.SS2.p1.2.m2.1.1.1.1.1.1.cmml">)</mo></mrow></mrow><mo id="A2.SS2.p1.2.m2.1.1.2" xref="A2.SS2.p1.2.m2.1.1.2.cmml">≠</mo><mn id="A2.SS2.p1.2.m2.1.1.3" xref="A2.SS2.p1.2.m2.1.1.3.cmml">0</mn></mrow><annotation-xml encoding="MathML-Content" id="A2.SS2.p1.2.m2.1b"><apply id="A2.SS2.p1.2.m2.1.1.cmml" xref="A2.SS2.p1.2.m2.1.1"><neq id="A2.SS2.p1.2.m2.1.1.2.cmml" xref="A2.SS2.p1.2.m2.1.1.2"></neq><apply id="A2.SS2.p1.2.m2.1.1.1.cmml" xref="A2.SS2.p1.2.m2.1.1.1"><times id="A2.SS2.p1.2.m2.1.1.1.2.cmml" xref="A2.SS2.p1.2.m2.1.1.1.2"></times><ci id="A2.SS2.p1.2.m2.1.1.1.3.cmml" xref="A2.SS2.p1.2.m2.1.1.1.3">𝑄</ci><apply id="A2.SS2.p1.2.m2.1.1.1.1.1.1.cmml" xref="A2.SS2.p1.2.m2.1.1.1.1.1"><csymbol cd="ambiguous" id="A2.SS2.p1.2.m2.1.1.1.1.1.1.1.cmml" xref="A2.SS2.p1.2.m2.1.1.1.1.1">subscript</csymbol><ci id="A2.SS2.p1.2.m2.1.1.1.1.1.1.2.cmml" xref="A2.SS2.p1.2.m2.1.1.1.1.1.1.2">𝑥</ci><ci id="A2.SS2.p1.2.m2.1.1.1.1.1.1.3a.cmml" xref="A2.SS2.p1.2.m2.1.1.1.1.1.1.3"><mtext mathsize="70%" id="A2.SS2.p1.2.m2.1.1.1.1.1.1.3.cmml" xref="A2.SS2.p1.2.m2.1.1.1.1.1.1.3">term</mtext></ci></apply></apply><cn type="integer" id="A2.SS2.p1.2.m2.1.1.3.cmml" xref="A2.SS2.p1.2.m2.1.1.3">0</cn></apply></annotation-xml><annotation encoding="application/x-tex" id="A2.SS2.p1.2.m2.1c">Q(x_{\text{term}})\neq 0</annotation></semantics></math>.</p>
</div>
</section>
<section id="A2.SS3" class="ltx_subsection">
<h3 class="ltx_title ltx_title_subsection">
<span class="ltx_tag ltx_tag_subsection">B.3 </span><math id="A2.SS3.1.m1.1" class="ltx_Math" alttext="\chi^{2}" display="inline"><semantics id="A2.SS3.1.m1.1b"><msup id="A2.SS3.1.m1.1.1" xref="A2.SS3.1.m1.1.1.cmml"><mi id="A2.SS3.1.m1.1.1.2" xref="A2.SS3.1.m1.1.1.2.cmml">χ</mi><mn id="A2.SS3.1.m1.1.1.3" xref="A2.SS3.1.m1.1.1.3.cmml">2</mn></msup><annotation-xml encoding="MathML-Content" id="A2.SS3.1.m1.1c"><apply id="A2.SS3.1.m1.1.1.cmml" xref="A2.SS3.1.m1.1.1"><csymbol cd="ambiguous" id="A2.SS3.1.m1.1.1.1.cmml" xref="A2.SS3.1.m1.1.1">superscript</csymbol><ci id="A2.SS3.1.m1.1.1.2.cmml" xref="A2.SS3.1.m1.1.1.2">𝜒</ci><cn type="integer" id="A2.SS3.1.m1.1.1.3.cmml" xref="A2.SS3.1.m1.1.1.3">2</cn></apply></annotation-xml><annotation encoding="application/x-tex" id="A2.SS3.1.m1.1d">\chi^{2}</annotation></semantics></math>-Divergence</h3>

<div id="A2.SS3.p1" class="ltx_para">
<p id="A2.SS3.p1.1" class="ltx_p">We have</p>
<table id="A9.EGx11" class="ltx_equationgroup ltx_eqn_align ltx_eqn_table">

<tbody id="A2.Ex12"><tr class="ltx_equation ltx_eqn_row ltx_align_baseline">
<td class="ltx_eqn_cell ltx_eqn_center_padleft"></td>
<td class="ltx_td ltx_align_right ltx_eqn_cell"><math id="A2.Ex12.m1.6" class="ltx_Math" alttext="\displaystyle\operatorname{D_{\chi^{2}}}(Q,P)=\mathbb{E}_{x\sim Q}\left[\left(\frac{P(x)}{Q(x)}-1\right)^{2}\right]" display="inline"><semantics id="A2.Ex12.m1.6a"><mrow id="A2.Ex12.m1.6.6" xref="A2.Ex12.m1.6.6.cmml"><mrow id="A2.Ex12.m1.6.6.3.2" xref="A2.Ex12.m1.6.6.3.1.cmml"><msub id="A2.Ex12.m1.3.3" xref="A2.Ex12.m1.3.3.cmml"><mi mathvariant="normal" id="A2.Ex12.m1.3.3.2" xref="A2.Ex12.m1.3.3.2.cmml">D</mi><msup id="A2.Ex12.m1.3.3.3" xref="A2.Ex12.m1.3.3.3.cmml"><mi id="A2.Ex12.m1.3.3.3.2" xref="A2.Ex12.m1.3.3.3.2.cmml">χ</mi><mn id="A2.Ex12.m1.3.3.3.3" xref="A2.Ex12.m1.3.3.3.3.cmml">2</mn></msup></msub><mo id="A2.Ex12.m1.6.6.3.2a" xref="A2.Ex12.m1.6.6.3.1.cmml">⁡</mo><mrow id="A2.Ex12.m1.6.6.3.2.1" xref="A2.Ex12.m1.6.6.3.1.cmml"><mo stretchy="false" id="A2.Ex12.m1.6.6.3.2.1.1" xref="A2.Ex12.m1.6.6.3.1.cmml">(</mo><mi id="A2.Ex12.m1.4.4" xref="A2.Ex12.m1.4.4.cmml">Q</mi><mo id="A2.Ex12.m1.6.6.3.2.1.2" xref="A2.Ex12.m1.6.6.3.1.cmml">,</mo><mi id="A2.Ex12.m1.5.5" xref="A2.Ex12.m1.5.5.cmml">P</mi><mo stretchy="false" id="A2.Ex12.m1.6.6.3.2.1.3" xref="A2.Ex12.m1.6.6.3.1.cmml">)</mo></mrow></mrow><mo id="A2.Ex12.m1.6.6.2" xref="A2.Ex12.m1.6.6.2.cmml">=</mo><mrow id="A2.Ex12.m1.6.6.1" xref="A2.Ex12.m1.6.6.1.cmml"><msub id="A2.Ex12.m1.6.6.1.3" xref="A2.Ex12.m1.6.6.1.3.cmml"><mi id="A2.Ex12.m1.6.6.1.3.2" xref="A2.Ex12.m1.6.6.1.3.2.cmml">𝔼</mi><mrow id="A2.Ex12.m1.6.6.1.3.3" xref="A2.Ex12.m1.6.6.1.3.3.cmml"><mi id="A2.Ex12.m1.6.6.1.3.3.2" xref="A2.Ex12.m1.6.6.1.3.3.2.cmml">x</mi><mo id="A2.Ex12.m1.6.6.1.3.3.1" xref="A2.Ex12.m1.6.6.1.3.3.1.cmml">∼</mo><mi id="A2.Ex12.m1.6.6.1.3.3.3" xref="A2.Ex12.m1.6.6.1.3.3.3.cmml">Q</mi></mrow></msub><mo lspace="0em" rspace="0em" id="A2.Ex12.m1.6.6.1.2" xref="A2.Ex12.m1.6.6.1.2.cmml">​</mo><mrow id="A2.Ex12.m1.6.6.1.1.1" xref="A2.Ex12.m1.6.6.1.1.2.cmml"><mo id="A2.Ex12.m1.6.6.1.1.1.2" xref="A2.Ex12.m1.6.6.1.1.2.1.cmml">[</mo><msup id="A2.Ex12.m1.6.6.1.1.1.1" xref="A2.Ex12.m1.6.6.1.1.1.1.cmml"><mrow id="A2.Ex12.m1.6.6.1.1.1.1.1.1" xref="A2.Ex12.m1.6.6.1.1.1.1.1.1.1.cmml"><mo id="A2.Ex12.m1.6.6.1.1.1.1.1.1.2" xref="A2.Ex12.m1.6.6.1.1.1.1.1.1.1.cmml">(</mo><mrow id="A2.Ex12.m1.6.6.1.1.1.1.1.1.1" xref="A2.Ex12.m1.6.6.1.1.1.1.1.1.1.cmml"><mstyle displaystyle="true" id="A2.Ex12.m1.2.2" xref="A2.Ex12.m1.2.2.cmml"><mfrac id="A2.Ex12.m1.2.2a" xref="A2.Ex12.m1.2.2.cmml"><mrow id="A2.Ex12.m1.1.1.1" xref="A2.Ex12.m1.1.1.1.cmml"><mi id="A2.Ex12.m1.1.1.1.3" xref="A2.Ex12.m1.1.1.1.3.cmml">P</mi><mo lspace="0em" rspace="0em" id="A2.Ex12.m1.1.1.1.2" xref="A2.Ex12.m1.1.1.1.2.cmml">​</mo><mrow id="A2.Ex12.m1.1.1.1.4.2" xref="A2.Ex12.m1.1.1.1.cmml"><mo stretchy="false" id="A2.Ex12.m1.1.1.1.4.2.1" xref="A2.Ex12.m1.1.1.1.cmml">(</mo><mi id="A2.Ex12.m1.1.1.1.1" xref="A2.Ex12.m1.1.1.1.1.cmml">x</mi><mo stretchy="false" id="A2.Ex12.m1.1.1.1.4.2.2" xref="A2.Ex12.m1.1.1.1.cmml">)</mo></mrow></mrow><mrow id="A2.Ex12.m1.2.2.2" xref="A2.Ex12.m1.2.2.2.cmml"><mi id="A2.Ex12.m1.2.2.2.3" xref="A2.Ex12.m1.2.2.2.3.cmml">Q</mi><mo lspace="0em" rspace="0em" id="A2.Ex12.m1.2.2.2.2" xref="A2.Ex12.m1.2.2.2.2.cmml">​</mo><mrow id="A2.Ex12.m1.2.2.2.4.2" xref="A2.Ex12.m1.2.2.2.cmml"><mo stretchy="false" id="A2.Ex12.m1.2.2.2.4.2.1" xref="A2.Ex12.m1.2.2.2.cmml">(</mo><mi id="A2.Ex12.m1.2.2.2.1" xref="A2.Ex12.m1.2.2.2.1.cmml">x</mi><mo stretchy="false" id="A2.Ex12.m1.2.2.2.4.2.2" xref="A2.Ex12.m1.2.2.2.cmml">)</mo></mrow></mrow></mfrac></mstyle><mo id="A2.Ex12.m1.6.6.1.1.1.1.1.1.1.1" xref="A2.Ex12.m1.6.6.1.1.1.1.1.1.1.1.cmml">−</mo><mn id="A2.Ex12.m1.6.6.1.1.1.1.1.1.1.2" xref="A2.Ex12.m1.6.6.1.1.1.1.1.1.1.2.cmml">1</mn></mrow><mo id="A2.Ex12.m1.6.6.1.1.1.1.1.1.3" xref="A2.Ex12.m1.6.6.1.1.1.1.1.1.1.cmml">)</mo></mrow><mn id="A2.Ex12.m1.6.6.1.1.1.1.3" xref="A2.Ex12.m1.6.6.1.1.1.1.3.cmml">2</mn></msup><mo id="A2.Ex12.m1.6.6.1.1.1.3" xref="A2.Ex12.m1.6.6.1.1.2.1.cmml">]</mo></mrow></mrow></mrow><annotation-xml encoding="MathML-Content" id="A2.Ex12.m1.6b"><apply id="A2.Ex12.m1.6.6.cmml" xref="A2.Ex12.m1.6.6"><eq id="A2.Ex12.m1.6.6.2.cmml" xref="A2.Ex12.m1.6.6.2"></eq><apply id="A2.Ex12.m1.6.6.3.1.cmml" xref="A2.Ex12.m1.6.6.3.2"><apply id="A2.Ex12.m1.3.3.cmml" xref="A2.Ex12.m1.3.3"><csymbol cd="ambiguous" id="A2.Ex12.m1.3.3.1.cmml" xref="A2.Ex12.m1.3.3">subscript</csymbol><ci id="A2.Ex12.m1.3.3.2.cmml" xref="A2.Ex12.m1.3.3.2">D</ci><apply id="A2.Ex12.m1.3.3.3.cmml" xref="A2.Ex12.m1.3.3.3"><csymbol cd="ambiguous" id="A2.Ex12.m1.3.3.3.1.cmml" xref="A2.Ex12.m1.3.3.3">superscript</csymbol><ci id="A2.Ex12.m1.3.3.3.2.cmml" xref="A2.Ex12.m1.3.3.3.2">𝜒</ci><cn type="integer" id="A2.Ex12.m1.3.3.3.3.cmml" xref="A2.Ex12.m1.3.3.3.3">2</cn></apply></apply><ci id="A2.Ex12.m1.4.4.cmml" xref="A2.Ex12.m1.4.4">𝑄</ci><ci id="A2.Ex12.m1.5.5.cmml" xref="A2.Ex12.m1.5.5">𝑃</ci></apply><apply id="A2.Ex12.m1.6.6.1.cmml" xref="A2.Ex12.m1.6.6.1"><times id="A2.Ex12.m1.6.6.1.2.cmml" xref="A2.Ex12.m1.6.6.1.2"></times><apply id="A2.Ex12.m1.6.6.1.3.cmml" xref="A2.Ex12.m1.6.6.1.3"><csymbol cd="ambiguous" id="A2.Ex12.m1.6.6.1.3.1.cmml" xref="A2.Ex12.m1.6.6.1.3">subscript</csymbol><ci id="A2.Ex12.m1.6.6.1.3.2.cmml" xref="A2.Ex12.m1.6.6.1.3.2">𝔼</ci><apply id="A2.Ex12.m1.6.6.1.3.3.cmml" xref="A2.Ex12.m1.6.6.1.3.3"><csymbol cd="latexml" id="A2.Ex12.m1.6.6.1.3.3.1.cmml" xref="A2.Ex12.m1.6.6.1.3.3.1">similar-to</csymbol><ci id="A2.Ex12.m1.6.6.1.3.3.2.cmml" xref="A2.Ex12.m1.6.6.1.3.3.2">𝑥</ci><ci id="A2.Ex12.m1.6.6.1.3.3.3.cmml" xref="A2.Ex12.m1.6.6.1.3.3.3">𝑄</ci></apply></apply><apply id="A2.Ex12.m1.6.6.1.1.2.cmml" xref="A2.Ex12.m1.6.6.1.1.1"><csymbol cd="latexml" id="A2.Ex12.m1.6.6.1.1.2.1.cmml" xref="A2.Ex12.m1.6.6.1.1.1.2">delimited-[]</csymbol><apply id="A2.Ex12.m1.6.6.1.1.1.1.cmml" xref="A2.Ex12.m1.6.6.1.1.1.1"><csymbol cd="ambiguous" id="A2.Ex12.m1.6.6.1.1.1.1.2.cmml" xref="A2.Ex12.m1.6.6.1.1.1.1">superscript</csymbol><apply id="A2.Ex12.m1.6.6.1.1.1.1.1.1.1.cmml" xref="A2.Ex12.m1.6.6.1.1.1.1.1.1"><minus id="A2.Ex12.m1.6.6.1.1.1.1.1.1.1.1.cmml" xref="A2.Ex12.m1.6.6.1.1.1.1.1.1.1.1"></minus><apply id="A2.Ex12.m1.2.2.cmml" xref="A2.Ex12.m1.2.2"><divide id="A2.Ex12.m1.2.2.3.cmml" xref="A2.Ex12.m1.2.2"></divide><apply id="A2.Ex12.m1.1.1.1.cmml" xref="A2.Ex12.m1.1.1.1"><times id="A2.Ex12.m1.1.1.1.2.cmml" xref="A2.Ex12.m1.1.1.1.2"></times><ci id="A2.Ex12.m1.1.1.1.3.cmml" xref="A2.Ex12.m1.1.1.1.3">𝑃</ci><ci id="A2.Ex12.m1.1.1.1.1.cmml" xref="A2.Ex12.m1.1.1.1.1">𝑥</ci></apply><apply id="A2.Ex12.m1.2.2.2.cmml" xref="A2.Ex12.m1.2.2.2"><times id="A2.Ex12.m1.2.2.2.2.cmml" xref="A2.Ex12.m1.2.2.2.2"></times><ci id="A2.Ex12.m1.2.2.2.3.cmml" xref="A2.Ex12.m1.2.2.2.3">𝑄</ci><ci id="A2.Ex12.m1.2.2.2.1.cmml" xref="A2.Ex12.m1.2.2.2.1">𝑥</ci></apply></apply><cn type="integer" id="A2.Ex12.m1.6.6.1.1.1.1.1.1.1.2.cmml" xref="A2.Ex12.m1.6.6.1.1.1.1.1.1.1.2">1</cn></apply><cn type="integer" id="A2.Ex12.m1.6.6.1.1.1.1.3.cmml" xref="A2.Ex12.m1.6.6.1.1.1.1.3">2</cn></apply></apply></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="A2.Ex12.m1.6c">\displaystyle\operatorname{D_{\chi^{2}}}(Q,P)=\mathbb{E}_{x\sim Q}\left[\left(\frac{P(x)}{Q(x)}-1\right)^{2}\right]</annotation></semantics></math></td>
<td class="ltx_eqn_cell ltx_eqn_center_padright"></td>
</tr></tbody>
</table>
</div>
</section>
</section>
<section id="A3" class="ltx_appendix">
<h2 class="ltx_title ltx_title_appendix">
<span class="ltx_tag ltx_tag_appendix">Appendix C </span>Proofs for section 3.2</h2>

<section id="A3.SS1" class="ltx_subsection">
<h3 class="ltx_title ltx_title_subsection">
<span class="ltx_tag ltx_tag_subsection">C.1 </span>Proof for Saddle Point Theorem</h3>

<div id="A3.SS1.p1" class="ltx_para">
<p id="A3.SS1.p1.10" class="ltx_p">We wish to show that</p>
<table id="A3.Ex13" class="ltx_equation ltx_eqn_table">

<tbody><tr class="ltx_equation ltx_eqn_row ltx_align_baseline">
<td class="ltx_eqn_cell ltx_eqn_center_padleft"></td>
<td class="ltx_eqn_cell ltx_align_center"><math id="A3.Ex13.m1.5" class="ltx_Math" alttext="\inf_{\rho_{\theta}}\sup_{r}L(\theta,r)=\sup_{r}\inf_{\rho_{\theta}}L(\theta,r)." display="block"><semantics id="A3.Ex13.m1.5a"><mrow id="A3.Ex13.m1.5.5.1" xref="A3.Ex13.m1.5.5.1.1.cmml"><mrow id="A3.Ex13.m1.5.5.1.1" xref="A3.Ex13.m1.5.5.1.1.cmml"><mrow id="A3.Ex13.m1.5.5.1.1.2" xref="A3.Ex13.m1.5.5.1.1.2.cmml"><munder id="A3.Ex13.m1.5.5.1.1.2.1" xref="A3.Ex13.m1.5.5.1.1.2.1.cmml"><mo movablelimits="false" id="A3.Ex13.m1.5.5.1.1.2.1.2" xref="A3.Ex13.m1.5.5.1.1.2.1.2.cmml">inf</mo><msub id="A3.Ex13.m1.5.5.1.1.2.1.3" xref="A3.Ex13.m1.5.5.1.1.2.1.3.cmml"><mi id="A3.Ex13.m1.5.5.1.1.2.1.3.2" xref="A3.Ex13.m1.5.5.1.1.2.1.3.2.cmml">ρ</mi><mi id="A3.Ex13.m1.5.5.1.1.2.1.3.3" xref="A3.Ex13.m1.5.5.1.1.2.1.3.3.cmml">θ</mi></msub></munder><mrow id="A3.Ex13.m1.5.5.1.1.2.2" xref="A3.Ex13.m1.5.5.1.1.2.2.cmml"><munder id="A3.Ex13.m1.5.5.1.1.2.2.1" xref="A3.Ex13.m1.5.5.1.1.2.2.1.cmml"><mo lspace="0.167em" movablelimits="false" rspace="0.167em" id="A3.Ex13.m1.5.5.1.1.2.2.1.2" xref="A3.Ex13.m1.5.5.1.1.2.2.1.2.cmml">sup</mo><mi id="A3.Ex13.m1.5.5.1.1.2.2.1.3" xref="A3.Ex13.m1.5.5.1.1.2.2.1.3.cmml">r</mi></munder><mrow id="A3.Ex13.m1.5.5.1.1.2.2.2" xref="A3.Ex13.m1.5.5.1.1.2.2.2.cmml"><mi id="A3.Ex13.m1.5.5.1.1.2.2.2.2" xref="A3.Ex13.m1.5.5.1.1.2.2.2.2.cmml">L</mi><mo lspace="0em" rspace="0em" id="A3.Ex13.m1.5.5.1.1.2.2.2.1" xref="A3.Ex13.m1.5.5.1.1.2.2.2.1.cmml">​</mo><mrow id="A3.Ex13.m1.5.5.1.1.2.2.2.3.2" xref="A3.Ex13.m1.5.5.1.1.2.2.2.3.1.cmml"><mo stretchy="false" id="A3.Ex13.m1.5.5.1.1.2.2.2.3.2.1" xref="A3.Ex13.m1.5.5.1.1.2.2.2.3.1.cmml">(</mo><mi id="A3.Ex13.m1.1.1" xref="A3.Ex13.m1.1.1.cmml">θ</mi><mo id="A3.Ex13.m1.5.5.1.1.2.2.2.3.2.2" xref="A3.Ex13.m1.5.5.1.1.2.2.2.3.1.cmml">,</mo><mi id="A3.Ex13.m1.2.2" xref="A3.Ex13.m1.2.2.cmml">r</mi><mo stretchy="false" id="A3.Ex13.m1.5.5.1.1.2.2.2.3.2.3" xref="A3.Ex13.m1.5.5.1.1.2.2.2.3.1.cmml">)</mo></mrow></mrow></mrow></mrow><mo rspace="0.1389em" id="A3.Ex13.m1.5.5.1.1.1" xref="A3.Ex13.m1.5.5.1.1.1.cmml">=</mo><mrow id="A3.Ex13.m1.5.5.1.1.3" xref="A3.Ex13.m1.5.5.1.1.3.cmml"><munder id="A3.Ex13.m1.5.5.1.1.3.1" xref="A3.Ex13.m1.5.5.1.1.3.1.cmml"><mo lspace="0.1389em" movablelimits="false" rspace="0.0835em" id="A3.Ex13.m1.5.5.1.1.3.1.2" xref="A3.Ex13.m1.5.5.1.1.3.1.2.cmml">sup</mo><mi id="A3.Ex13.m1.5.5.1.1.3.1.3" xref="A3.Ex13.m1.5.5.1.1.3.1.3.cmml">r</mi></munder><mrow id="A3.Ex13.m1.5.5.1.1.3.2" xref="A3.Ex13.m1.5.5.1.1.3.2.cmml"><munder id="A3.Ex13.m1.5.5.1.1.3.2.1" xref="A3.Ex13.m1.5.5.1.1.3.2.1.cmml"><mo lspace="0.0835em" movablelimits="false" rspace="0.167em" id="A3.Ex13.m1.5.5.1.1.3.2.1.2" xref="A3.Ex13.m1.5.5.1.1.3.2.1.2.cmml">inf</mo><msub id="A3.Ex13.m1.5.5.1.1.3.2.1.3" xref="A3.Ex13.m1.5.5.1.1.3.2.1.3.cmml"><mi id="A3.Ex13.m1.5.5.1.1.3.2.1.3.2" xref="A3.Ex13.m1.5.5.1.1.3.2.1.3.2.cmml">ρ</mi><mi id="A3.Ex13.m1.5.5.1.1.3.2.1.3.3" xref="A3.Ex13.m1.5.5.1.1.3.2.1.3.3.cmml">θ</mi></msub></munder><mrow id="A3.Ex13.m1.5.5.1.1.3.2.2" xref="A3.Ex13.m1.5.5.1.1.3.2.2.cmml"><mi id="A3.Ex13.m1.5.5.1.1.3.2.2.2" xref="A3.Ex13.m1.5.5.1.1.3.2.2.2.cmml">L</mi><mo lspace="0em" rspace="0em" id="A3.Ex13.m1.5.5.1.1.3.2.2.1" xref="A3.Ex13.m1.5.5.1.1.3.2.2.1.cmml">​</mo><mrow id="A3.Ex13.m1.5.5.1.1.3.2.2.3.2" xref="A3.Ex13.m1.5.5.1.1.3.2.2.3.1.cmml"><mo stretchy="false" id="A3.Ex13.m1.5.5.1.1.3.2.2.3.2.1" xref="A3.Ex13.m1.5.5.1.1.3.2.2.3.1.cmml">(</mo><mi id="A3.Ex13.m1.3.3" xref="A3.Ex13.m1.3.3.cmml">θ</mi><mo id="A3.Ex13.m1.5.5.1.1.3.2.2.3.2.2" xref="A3.Ex13.m1.5.5.1.1.3.2.2.3.1.cmml">,</mo><mi id="A3.Ex13.m1.4.4" xref="A3.Ex13.m1.4.4.cmml">r</mi><mo stretchy="false" id="A3.Ex13.m1.5.5.1.1.3.2.2.3.2.3" xref="A3.Ex13.m1.5.5.1.1.3.2.2.3.1.cmml">)</mo></mrow></mrow></mrow></mrow></mrow><mo lspace="0em" id="A3.Ex13.m1.5.5.1.2" xref="A3.Ex13.m1.5.5.1.1.cmml">.</mo></mrow><annotation-xml encoding="MathML-Content" id="A3.Ex13.m1.5b"><apply id="A3.Ex13.m1.5.5.1.1.cmml" xref="A3.Ex13.m1.5.5.1"><eq id="A3.Ex13.m1.5.5.1.1.1.cmml" xref="A3.Ex13.m1.5.5.1.1.1"></eq><apply id="A3.Ex13.m1.5.5.1.1.2.cmml" xref="A3.Ex13.m1.5.5.1.1.2"><apply id="A3.Ex13.m1.5.5.1.1.2.1.cmml" xref="A3.Ex13.m1.5.5.1.1.2.1"><csymbol cd="ambiguous" id="A3.Ex13.m1.5.5.1.1.2.1.1.cmml" xref="A3.Ex13.m1.5.5.1.1.2.1">subscript</csymbol><csymbol cd="latexml" id="A3.Ex13.m1.5.5.1.1.2.1.2.cmml" xref="A3.Ex13.m1.5.5.1.1.2.1.2">infimum</csymbol><apply id="A3.Ex13.m1.5.5.1.1.2.1.3.cmml" xref="A3.Ex13.m1.5.5.1.1.2.1.3"><csymbol cd="ambiguous" id="A3.Ex13.m1.5.5.1.1.2.1.3.1.cmml" xref="A3.Ex13.m1.5.5.1.1.2.1.3">subscript</csymbol><ci id="A3.Ex13.m1.5.5.1.1.2.1.3.2.cmml" xref="A3.Ex13.m1.5.5.1.1.2.1.3.2">𝜌</ci><ci id="A3.Ex13.m1.5.5.1.1.2.1.3.3.cmml" xref="A3.Ex13.m1.5.5.1.1.2.1.3.3">𝜃</ci></apply></apply><apply id="A3.Ex13.m1.5.5.1.1.2.2.cmml" xref="A3.Ex13.m1.5.5.1.1.2.2"><apply id="A3.Ex13.m1.5.5.1.1.2.2.1.cmml" xref="A3.Ex13.m1.5.5.1.1.2.2.1"><csymbol cd="ambiguous" id="A3.Ex13.m1.5.5.1.1.2.2.1.1.cmml" xref="A3.Ex13.m1.5.5.1.1.2.2.1">subscript</csymbol><csymbol cd="latexml" id="A3.Ex13.m1.5.5.1.1.2.2.1.2.cmml" xref="A3.Ex13.m1.5.5.1.1.2.2.1.2">supremum</csymbol><ci id="A3.Ex13.m1.5.5.1.1.2.2.1.3.cmml" xref="A3.Ex13.m1.5.5.1.1.2.2.1.3">𝑟</ci></apply><apply id="A3.Ex13.m1.5.5.1.1.2.2.2.cmml" xref="A3.Ex13.m1.5.5.1.1.2.2.2"><times id="A3.Ex13.m1.5.5.1.1.2.2.2.1.cmml" xref="A3.Ex13.m1.5.5.1.1.2.2.2.1"></times><ci id="A3.Ex13.m1.5.5.1.1.2.2.2.2.cmml" xref="A3.Ex13.m1.5.5.1.1.2.2.2.2">𝐿</ci><interval closure="open" id="A3.Ex13.m1.5.5.1.1.2.2.2.3.1.cmml" xref="A3.Ex13.m1.5.5.1.1.2.2.2.3.2"><ci id="A3.Ex13.m1.1.1.cmml" xref="A3.Ex13.m1.1.1">𝜃</ci><ci id="A3.Ex13.m1.2.2.cmml" xref="A3.Ex13.m1.2.2">𝑟</ci></interval></apply></apply></apply><apply id="A3.Ex13.m1.5.5.1.1.3.cmml" xref="A3.Ex13.m1.5.5.1.1.3"><apply id="A3.Ex13.m1.5.5.1.1.3.1.cmml" xref="A3.Ex13.m1.5.5.1.1.3.1"><csymbol cd="ambiguous" id="A3.Ex13.m1.5.5.1.1.3.1.1.cmml" xref="A3.Ex13.m1.5.5.1.1.3.1">subscript</csymbol><csymbol cd="latexml" id="A3.Ex13.m1.5.5.1.1.3.1.2.cmml" xref="A3.Ex13.m1.5.5.1.1.3.1.2">supremum</csymbol><ci id="A3.Ex13.m1.5.5.1.1.3.1.3.cmml" xref="A3.Ex13.m1.5.5.1.1.3.1.3">𝑟</ci></apply><apply id="A3.Ex13.m1.5.5.1.1.3.2.cmml" xref="A3.Ex13.m1.5.5.1.1.3.2"><apply id="A3.Ex13.m1.5.5.1.1.3.2.1.cmml" xref="A3.Ex13.m1.5.5.1.1.3.2.1"><csymbol cd="ambiguous" id="A3.Ex13.m1.5.5.1.1.3.2.1.1.cmml" xref="A3.Ex13.m1.5.5.1.1.3.2.1">subscript</csymbol><csymbol cd="latexml" id="A3.Ex13.m1.5.5.1.1.3.2.1.2.cmml" xref="A3.Ex13.m1.5.5.1.1.3.2.1.2">infimum</csymbol><apply id="A3.Ex13.m1.5.5.1.1.3.2.1.3.cmml" xref="A3.Ex13.m1.5.5.1.1.3.2.1.3"><csymbol cd="ambiguous" id="A3.Ex13.m1.5.5.1.1.3.2.1.3.1.cmml" xref="A3.Ex13.m1.5.5.1.1.3.2.1.3">subscript</csymbol><ci id="A3.Ex13.m1.5.5.1.1.3.2.1.3.2.cmml" xref="A3.Ex13.m1.5.5.1.1.3.2.1.3.2">𝜌</ci><ci id="A3.Ex13.m1.5.5.1.1.3.2.1.3.3.cmml" xref="A3.Ex13.m1.5.5.1.1.3.2.1.3.3">𝜃</ci></apply></apply><apply id="A3.Ex13.m1.5.5.1.1.3.2.2.cmml" xref="A3.Ex13.m1.5.5.1.1.3.2.2"><times id="A3.Ex13.m1.5.5.1.1.3.2.2.1.cmml" xref="A3.Ex13.m1.5.5.1.1.3.2.2.1"></times><ci id="A3.Ex13.m1.5.5.1.1.3.2.2.2.cmml" xref="A3.Ex13.m1.5.5.1.1.3.2.2.2">𝐿</ci><interval closure="open" id="A3.Ex13.m1.5.5.1.1.3.2.2.3.1.cmml" xref="A3.Ex13.m1.5.5.1.1.3.2.2.3.2"><ci id="A3.Ex13.m1.3.3.cmml" xref="A3.Ex13.m1.3.3">𝜃</ci><ci id="A3.Ex13.m1.4.4.cmml" xref="A3.Ex13.m1.4.4">𝑟</ci></interval></apply></apply></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="A3.Ex13.m1.5c">\inf_{\rho_{\theta}}\sup_{r}L(\theta,r)=\sup_{r}\inf_{\rho_{\theta}}L(\theta,r).</annotation></semantics></math></td>
<td class="ltx_eqn_cell ltx_eqn_center_padright"></td>
</tr></tbody>
</table>
<p id="A3.SS1.p1.9" class="ltx_p">Now, the set <math id="A3.SS1.p1.1.m1.1" class="ltx_Math" alttext="\mathcal{D}" display="inline"><semantics id="A3.SS1.p1.1.m1.1a"><mi class="ltx_font_mathcaligraphic" id="A3.SS1.p1.1.m1.1.1" xref="A3.SS1.p1.1.m1.1.1.cmml">𝒟</mi><annotation-xml encoding="MathML-Content" id="A3.SS1.p1.1.m1.1b"><ci id="A3.SS1.p1.1.m1.1.1.cmml" xref="A3.SS1.p1.1.m1.1.1">𝒟</ci></annotation-xml><annotation encoding="application/x-tex" id="A3.SS1.p1.1.m1.1c">\mathcal{D}</annotation></semantics></math> of occupancy measures stemming from conditionals is compact and convex, since it is formed from linear constraints: firstly <math id="A3.SS1.p1.2.m2.1" class="ltx_Math" alttext="\rho\geq 0" display="inline"><semantics id="A3.SS1.p1.2.m2.1a"><mrow id="A3.SS1.p1.2.m2.1.1" xref="A3.SS1.p1.2.m2.1.1.cmml"><mi id="A3.SS1.p1.2.m2.1.1.2" xref="A3.SS1.p1.2.m2.1.1.2.cmml">ρ</mi><mo id="A3.SS1.p1.2.m2.1.1.1" xref="A3.SS1.p1.2.m2.1.1.1.cmml">≥</mo><mn id="A3.SS1.p1.2.m2.1.1.3" xref="A3.SS1.p1.2.m2.1.1.3.cmml">0</mn></mrow><annotation-xml encoding="MathML-Content" id="A3.SS1.p1.2.m2.1b"><apply id="A3.SS1.p1.2.m2.1.1.cmml" xref="A3.SS1.p1.2.m2.1.1"><geq id="A3.SS1.p1.2.m2.1.1.1.cmml" xref="A3.SS1.p1.2.m2.1.1.1"></geq><ci id="A3.SS1.p1.2.m2.1.1.2.cmml" xref="A3.SS1.p1.2.m2.1.1.2">𝜌</ci><cn type="integer" id="A3.SS1.p1.2.m2.1.1.3.cmml" xref="A3.SS1.p1.2.m2.1.1.3">0</cn></apply></annotation-xml><annotation encoding="application/x-tex" id="A3.SS1.p1.2.m2.1c">\rho\geq 0</annotation></semantics></math>, and secondly
<math id="A3.SS1.p1.3.m3.7" class="ltx_Math" alttext="\sum_{a}\rho(s,a)=\gamma\sum_{s^{\prime}}\rho(s^{\prime},a)P(s|s^{\prime},a),\forall s,s^{\prime}" display="inline"><semantics id="A3.SS1.p1.3.m3.7a"><mrow id="A3.SS1.p1.3.m3.7.7" xref="A3.SS1.p1.3.m3.7.7.cmml"><mrow id="A3.SS1.p1.3.m3.7.7.5" xref="A3.SS1.p1.3.m3.7.7.5.cmml"><msub id="A3.SS1.p1.3.m3.7.7.5.1" xref="A3.SS1.p1.3.m3.7.7.5.1.cmml"><mo id="A3.SS1.p1.3.m3.7.7.5.1.2" xref="A3.SS1.p1.3.m3.7.7.5.1.2.cmml">∑</mo><mi id="A3.SS1.p1.3.m3.7.7.5.1.3" xref="A3.SS1.p1.3.m3.7.7.5.1.3.cmml">a</mi></msub><mrow id="A3.SS1.p1.3.m3.7.7.5.2" xref="A3.SS1.p1.3.m3.7.7.5.2.cmml"><mi id="A3.SS1.p1.3.m3.7.7.5.2.2" xref="A3.SS1.p1.3.m3.7.7.5.2.2.cmml">ρ</mi><mo lspace="0em" rspace="0em" id="A3.SS1.p1.3.m3.7.7.5.2.1" xref="A3.SS1.p1.3.m3.7.7.5.2.1.cmml">​</mo><mrow id="A3.SS1.p1.3.m3.7.7.5.2.3.2" xref="A3.SS1.p1.3.m3.7.7.5.2.3.1.cmml"><mo stretchy="false" id="A3.SS1.p1.3.m3.7.7.5.2.3.2.1" xref="A3.SS1.p1.3.m3.7.7.5.2.3.1.cmml">(</mo><mi id="A3.SS1.p1.3.m3.1.1" xref="A3.SS1.p1.3.m3.1.1.cmml">s</mi><mo id="A3.SS1.p1.3.m3.7.7.5.2.3.2.2" xref="A3.SS1.p1.3.m3.7.7.5.2.3.1.cmml">,</mo><mi id="A3.SS1.p1.3.m3.2.2" xref="A3.SS1.p1.3.m3.2.2.cmml">a</mi><mo stretchy="false" id="A3.SS1.p1.3.m3.7.7.5.2.3.2.3" xref="A3.SS1.p1.3.m3.7.7.5.2.3.1.cmml">)</mo></mrow></mrow></mrow><mo id="A3.SS1.p1.3.m3.7.7.4" xref="A3.SS1.p1.3.m3.7.7.4.cmml">=</mo><mrow id="A3.SS1.p1.3.m3.7.7.3.3" xref="A3.SS1.p1.3.m3.7.7.3.4.cmml"><mrow id="A3.SS1.p1.3.m3.5.5.1.1.1" xref="A3.SS1.p1.3.m3.5.5.1.1.1.cmml"><mi id="A3.SS1.p1.3.m3.5.5.1.1.1.4" xref="A3.SS1.p1.3.m3.5.5.1.1.1.4.cmml">γ</mi><mo lspace="0em" rspace="0em" id="A3.SS1.p1.3.m3.5.5.1.1.1.3" xref="A3.SS1.p1.3.m3.5.5.1.1.1.3.cmml">​</mo><mrow id="A3.SS1.p1.3.m3.5.5.1.1.1.2" xref="A3.SS1.p1.3.m3.5.5.1.1.1.2.cmml"><msub id="A3.SS1.p1.3.m3.5.5.1.1.1.2.3" xref="A3.SS1.p1.3.m3.5.5.1.1.1.2.3.cmml"><mo id="A3.SS1.p1.3.m3.5.5.1.1.1.2.3.2" xref="A3.SS1.p1.3.m3.5.5.1.1.1.2.3.2.cmml">∑</mo><msup id="A3.SS1.p1.3.m3.5.5.1.1.1.2.3.3" xref="A3.SS1.p1.3.m3.5.5.1.1.1.2.3.3.cmml"><mi id="A3.SS1.p1.3.m3.5.5.1.1.1.2.3.3.2" xref="A3.SS1.p1.3.m3.5.5.1.1.1.2.3.3.2.cmml">s</mi><mo id="A3.SS1.p1.3.m3.5.5.1.1.1.2.3.3.3" xref="A3.SS1.p1.3.m3.5.5.1.1.1.2.3.3.3.cmml">′</mo></msup></msub><mrow id="A3.SS1.p1.3.m3.5.5.1.1.1.2.2" xref="A3.SS1.p1.3.m3.5.5.1.1.1.2.2.cmml"><mi id="A3.SS1.p1.3.m3.5.5.1.1.1.2.2.4" xref="A3.SS1.p1.3.m3.5.5.1.1.1.2.2.4.cmml">ρ</mi><mo lspace="0em" rspace="0em" id="A3.SS1.p1.3.m3.5.5.1.1.1.2.2.3" xref="A3.SS1.p1.3.m3.5.5.1.1.1.2.2.3.cmml">​</mo><mrow id="A3.SS1.p1.3.m3.5.5.1.1.1.1.1.1.1" xref="A3.SS1.p1.3.m3.5.5.1.1.1.1.1.1.2.cmml"><mo stretchy="false" id="A3.SS1.p1.3.m3.5.5.1.1.1.1.1.1.1.2" xref="A3.SS1.p1.3.m3.5.5.1.1.1.1.1.1.2.cmml">(</mo><msup id="A3.SS1.p1.3.m3.5.5.1.1.1.1.1.1.1.1" xref="A3.SS1.p1.3.m3.5.5.1.1.1.1.1.1.1.1.cmml"><mi id="A3.SS1.p1.3.m3.5.5.1.1.1.1.1.1.1.1.2" xref="A3.SS1.p1.3.m3.5.5.1.1.1.1.1.1.1.1.2.cmml">s</mi><mo id="A3.SS1.p1.3.m3.5.5.1.1.1.1.1.1.1.1.3" xref="A3.SS1.p1.3.m3.5.5.1.1.1.1.1.1.1.1.3.cmml">′</mo></msup><mo id="A3.SS1.p1.3.m3.5.5.1.1.1.1.1.1.1.3" xref="A3.SS1.p1.3.m3.5.5.1.1.1.1.1.1.2.cmml">,</mo><mi id="A3.SS1.p1.3.m3.3.3" xref="A3.SS1.p1.3.m3.3.3.cmml">a</mi><mo stretchy="false" id="A3.SS1.p1.3.m3.5.5.1.1.1.1.1.1.1.4" xref="A3.SS1.p1.3.m3.5.5.1.1.1.1.1.1.2.cmml">)</mo></mrow><mo lspace="0em" rspace="0em" id="A3.SS1.p1.3.m3.5.5.1.1.1.2.2.3a" xref="A3.SS1.p1.3.m3.5.5.1.1.1.2.2.3.cmml">​</mo><mi id="A3.SS1.p1.3.m3.5.5.1.1.1.2.2.5" xref="A3.SS1.p1.3.m3.5.5.1.1.1.2.2.5.cmml">P</mi><mo lspace="0em" rspace="0em" id="A3.SS1.p1.3.m3.5.5.1.1.1.2.2.3b" xref="A3.SS1.p1.3.m3.5.5.1.1.1.2.2.3.cmml">​</mo><mrow id="A3.SS1.p1.3.m3.5.5.1.1.1.2.2.2.1" xref="A3.SS1.p1.3.m3.5.5.1.1.1.2.2.2.1.1.cmml"><mo stretchy="false" id="A3.SS1.p1.3.m3.5.5.1.1.1.2.2.2.1.2" xref="A3.SS1.p1.3.m3.5.5.1.1.1.2.2.2.1.1.cmml">(</mo><mrow id="A3.SS1.p1.3.m3.5.5.1.1.1.2.2.2.1.1" xref="A3.SS1.p1.3.m3.5.5.1.1.1.2.2.2.1.1.cmml"><mi id="A3.SS1.p1.3.m3.5.5.1.1.1.2.2.2.1.1.3" xref="A3.SS1.p1.3.m3.5.5.1.1.1.2.2.2.1.1.3.cmml">s</mi><mo fence="false" id="A3.SS1.p1.3.m3.5.5.1.1.1.2.2.2.1.1.2" xref="A3.SS1.p1.3.m3.5.5.1.1.1.2.2.2.1.1.2.cmml">|</mo><mrow id="A3.SS1.p1.3.m3.5.5.1.1.1.2.2.2.1.1.1.1" xref="A3.SS1.p1.3.m3.5.5.1.1.1.2.2.2.1.1.1.2.cmml"><msup id="A3.SS1.p1.3.m3.5.5.1.1.1.2.2.2.1.1.1.1.1" xref="A3.SS1.p1.3.m3.5.5.1.1.1.2.2.2.1.1.1.1.1.cmml"><mi id="A3.SS1.p1.3.m3.5.5.1.1.1.2.2.2.1.1.1.1.1.2" xref="A3.SS1.p1.3.m3.5.5.1.1.1.2.2.2.1.1.1.1.1.2.cmml">s</mi><mo id="A3.SS1.p1.3.m3.5.5.1.1.1.2.2.2.1.1.1.1.1.3" xref="A3.SS1.p1.3.m3.5.5.1.1.1.2.2.2.1.1.1.1.1.3.cmml">′</mo></msup><mo id="A3.SS1.p1.3.m3.5.5.1.1.1.2.2.2.1.1.1.1.2" xref="A3.SS1.p1.3.m3.5.5.1.1.1.2.2.2.1.1.1.2.cmml">,</mo><mi id="A3.SS1.p1.3.m3.4.4" xref="A3.SS1.p1.3.m3.4.4.cmml">a</mi></mrow></mrow><mo stretchy="false" id="A3.SS1.p1.3.m3.5.5.1.1.1.2.2.2.1.3" xref="A3.SS1.p1.3.m3.5.5.1.1.1.2.2.2.1.1.cmml">)</mo></mrow></mrow></mrow></mrow><mo id="A3.SS1.p1.3.m3.7.7.3.3.4" xref="A3.SS1.p1.3.m3.7.7.3.4.cmml">,</mo><mrow id="A3.SS1.p1.3.m3.6.6.2.2.2" xref="A3.SS1.p1.3.m3.6.6.2.2.2.cmml"><mo rspace="0.167em" id="A3.SS1.p1.3.m3.6.6.2.2.2.1" xref="A3.SS1.p1.3.m3.6.6.2.2.2.1.cmml">∀</mo><mi id="A3.SS1.p1.3.m3.6.6.2.2.2.2" xref="A3.SS1.p1.3.m3.6.6.2.2.2.2.cmml">s</mi></mrow><mo id="A3.SS1.p1.3.m3.7.7.3.3.5" xref="A3.SS1.p1.3.m3.7.7.3.4.cmml">,</mo><msup id="A3.SS1.p1.3.m3.7.7.3.3.3" xref="A3.SS1.p1.3.m3.7.7.3.3.3.cmml"><mi id="A3.SS1.p1.3.m3.7.7.3.3.3.2" xref="A3.SS1.p1.3.m3.7.7.3.3.3.2.cmml">s</mi><mo id="A3.SS1.p1.3.m3.7.7.3.3.3.3" xref="A3.SS1.p1.3.m3.7.7.3.3.3.3.cmml">′</mo></msup></mrow></mrow><annotation-xml encoding="MathML-Content" id="A3.SS1.p1.3.m3.7b"><apply id="A3.SS1.p1.3.m3.7.7.cmml" xref="A3.SS1.p1.3.m3.7.7"><eq id="A3.SS1.p1.3.m3.7.7.4.cmml" xref="A3.SS1.p1.3.m3.7.7.4"></eq><apply id="A3.SS1.p1.3.m3.7.7.5.cmml" xref="A3.SS1.p1.3.m3.7.7.5"><apply id="A3.SS1.p1.3.m3.7.7.5.1.cmml" xref="A3.SS1.p1.3.m3.7.7.5.1"><csymbol cd="ambiguous" id="A3.SS1.p1.3.m3.7.7.5.1.1.cmml" xref="A3.SS1.p1.3.m3.7.7.5.1">subscript</csymbol><sum id="A3.SS1.p1.3.m3.7.7.5.1.2.cmml" xref="A3.SS1.p1.3.m3.7.7.5.1.2"></sum><ci id="A3.SS1.p1.3.m3.7.7.5.1.3.cmml" xref="A3.SS1.p1.3.m3.7.7.5.1.3">𝑎</ci></apply><apply id="A3.SS1.p1.3.m3.7.7.5.2.cmml" xref="A3.SS1.p1.3.m3.7.7.5.2"><times id="A3.SS1.p1.3.m3.7.7.5.2.1.cmml" xref="A3.SS1.p1.3.m3.7.7.5.2.1"></times><ci id="A3.SS1.p1.3.m3.7.7.5.2.2.cmml" xref="A3.SS1.p1.3.m3.7.7.5.2.2">𝜌</ci><interval closure="open" id="A3.SS1.p1.3.m3.7.7.5.2.3.1.cmml" xref="A3.SS1.p1.3.m3.7.7.5.2.3.2"><ci id="A3.SS1.p1.3.m3.1.1.cmml" xref="A3.SS1.p1.3.m3.1.1">𝑠</ci><ci id="A3.SS1.p1.3.m3.2.2.cmml" xref="A3.SS1.p1.3.m3.2.2">𝑎</ci></interval></apply></apply><list id="A3.SS1.p1.3.m3.7.7.3.4.cmml" xref="A3.SS1.p1.3.m3.7.7.3.3"><apply id="A3.SS1.p1.3.m3.5.5.1.1.1.cmml" xref="A3.SS1.p1.3.m3.5.5.1.1.1"><times id="A3.SS1.p1.3.m3.5.5.1.1.1.3.cmml" xref="A3.SS1.p1.3.m3.5.5.1.1.1.3"></times><ci id="A3.SS1.p1.3.m3.5.5.1.1.1.4.cmml" xref="A3.SS1.p1.3.m3.5.5.1.1.1.4">𝛾</ci><apply id="A3.SS1.p1.3.m3.5.5.1.1.1.2.cmml" xref="A3.SS1.p1.3.m3.5.5.1.1.1.2"><apply id="A3.SS1.p1.3.m3.5.5.1.1.1.2.3.cmml" xref="A3.SS1.p1.3.m3.5.5.1.1.1.2.3"><csymbol cd="ambiguous" id="A3.SS1.p1.3.m3.5.5.1.1.1.2.3.1.cmml" xref="A3.SS1.p1.3.m3.5.5.1.1.1.2.3">subscript</csymbol><sum id="A3.SS1.p1.3.m3.5.5.1.1.1.2.3.2.cmml" xref="A3.SS1.p1.3.m3.5.5.1.1.1.2.3.2"></sum><apply id="A3.SS1.p1.3.m3.5.5.1.1.1.2.3.3.cmml" xref="A3.SS1.p1.3.m3.5.5.1.1.1.2.3.3"><csymbol cd="ambiguous" id="A3.SS1.p1.3.m3.5.5.1.1.1.2.3.3.1.cmml" xref="A3.SS1.p1.3.m3.5.5.1.1.1.2.3.3">superscript</csymbol><ci id="A3.SS1.p1.3.m3.5.5.1.1.1.2.3.3.2.cmml" xref="A3.SS1.p1.3.m3.5.5.1.1.1.2.3.3.2">𝑠</ci><ci id="A3.SS1.p1.3.m3.5.5.1.1.1.2.3.3.3.cmml" xref="A3.SS1.p1.3.m3.5.5.1.1.1.2.3.3.3">′</ci></apply></apply><apply id="A3.SS1.p1.3.m3.5.5.1.1.1.2.2.cmml" xref="A3.SS1.p1.3.m3.5.5.1.1.1.2.2"><times id="A3.SS1.p1.3.m3.5.5.1.1.1.2.2.3.cmml" xref="A3.SS1.p1.3.m3.5.5.1.1.1.2.2.3"></times><ci id="A3.SS1.p1.3.m3.5.5.1.1.1.2.2.4.cmml" xref="A3.SS1.p1.3.m3.5.5.1.1.1.2.2.4">𝜌</ci><interval closure="open" id="A3.SS1.p1.3.m3.5.5.1.1.1.1.1.1.2.cmml" xref="A3.SS1.p1.3.m3.5.5.1.1.1.1.1.1.1"><apply id="A3.SS1.p1.3.m3.5.5.1.1.1.1.1.1.1.1.cmml" xref="A3.SS1.p1.3.m3.5.5.1.1.1.1.1.1.1.1"><csymbol cd="ambiguous" id="A3.SS1.p1.3.m3.5.5.1.1.1.1.1.1.1.1.1.cmml" xref="A3.SS1.p1.3.m3.5.5.1.1.1.1.1.1.1.1">superscript</csymbol><ci id="A3.SS1.p1.3.m3.5.5.1.1.1.1.1.1.1.1.2.cmml" xref="A3.SS1.p1.3.m3.5.5.1.1.1.1.1.1.1.1.2">𝑠</ci><ci id="A3.SS1.p1.3.m3.5.5.1.1.1.1.1.1.1.1.3.cmml" xref="A3.SS1.p1.3.m3.5.5.1.1.1.1.1.1.1.1.3">′</ci></apply><ci id="A3.SS1.p1.3.m3.3.3.cmml" xref="A3.SS1.p1.3.m3.3.3">𝑎</ci></interval><ci id="A3.SS1.p1.3.m3.5.5.1.1.1.2.2.5.cmml" xref="A3.SS1.p1.3.m3.5.5.1.1.1.2.2.5">𝑃</ci><apply id="A3.SS1.p1.3.m3.5.5.1.1.1.2.2.2.1.1.cmml" xref="A3.SS1.p1.3.m3.5.5.1.1.1.2.2.2.1"><csymbol cd="latexml" id="A3.SS1.p1.3.m3.5.5.1.1.1.2.2.2.1.1.2.cmml" xref="A3.SS1.p1.3.m3.5.5.1.1.1.2.2.2.1.1.2">conditional</csymbol><ci id="A3.SS1.p1.3.m3.5.5.1.1.1.2.2.2.1.1.3.cmml" xref="A3.SS1.p1.3.m3.5.5.1.1.1.2.2.2.1.1.3">𝑠</ci><list id="A3.SS1.p1.3.m3.5.5.1.1.1.2.2.2.1.1.1.2.cmml" xref="A3.SS1.p1.3.m3.5.5.1.1.1.2.2.2.1.1.1.1"><apply id="A3.SS1.p1.3.m3.5.5.1.1.1.2.2.2.1.1.1.1.1.cmml" xref="A3.SS1.p1.3.m3.5.5.1.1.1.2.2.2.1.1.1.1.1"><csymbol cd="ambiguous" id="A3.SS1.p1.3.m3.5.5.1.1.1.2.2.2.1.1.1.1.1.1.cmml" xref="A3.SS1.p1.3.m3.5.5.1.1.1.2.2.2.1.1.1.1.1">superscript</csymbol><ci id="A3.SS1.p1.3.m3.5.5.1.1.1.2.2.2.1.1.1.1.1.2.cmml" xref="A3.SS1.p1.3.m3.5.5.1.1.1.2.2.2.1.1.1.1.1.2">𝑠</ci><ci id="A3.SS1.p1.3.m3.5.5.1.1.1.2.2.2.1.1.1.1.1.3.cmml" xref="A3.SS1.p1.3.m3.5.5.1.1.1.2.2.2.1.1.1.1.1.3">′</ci></apply><ci id="A3.SS1.p1.3.m3.4.4.cmml" xref="A3.SS1.p1.3.m3.4.4">𝑎</ci></list></apply></apply></apply></apply><apply id="A3.SS1.p1.3.m3.6.6.2.2.2.cmml" xref="A3.SS1.p1.3.m3.6.6.2.2.2"><csymbol cd="latexml" id="A3.SS1.p1.3.m3.6.6.2.2.2.1.cmml" xref="A3.SS1.p1.3.m3.6.6.2.2.2.1">for-all</csymbol><ci id="A3.SS1.p1.3.m3.6.6.2.2.2.2.cmml" xref="A3.SS1.p1.3.m3.6.6.2.2.2.2">𝑠</ci></apply><apply id="A3.SS1.p1.3.m3.7.7.3.3.3.cmml" xref="A3.SS1.p1.3.m3.7.7.3.3.3"><csymbol cd="ambiguous" id="A3.SS1.p1.3.m3.7.7.3.3.3.1.cmml" xref="A3.SS1.p1.3.m3.7.7.3.3.3">superscript</csymbol><ci id="A3.SS1.p1.3.m3.7.7.3.3.3.2.cmml" xref="A3.SS1.p1.3.m3.7.7.3.3.3.2">𝑠</ci><ci id="A3.SS1.p1.3.m3.7.7.3.3.3.3.cmml" xref="A3.SS1.p1.3.m3.7.7.3.3.3.3">′</ci></apply></list></apply></annotation-xml><annotation encoding="application/x-tex" id="A3.SS1.p1.3.m3.7c">\sum_{a}\rho(s,a)=\gamma\sum_{s^{\prime}}\rho(s^{\prime},a)P(s|s^{\prime},a),\forall s,s^{\prime}</annotation></semantics></math>. Because <math id="A3.SS1.p1.4.m4.1" class="ltx_Math" alttext="\mathcal{D}" display="inline"><semantics id="A3.SS1.p1.4.m4.1a"><mi class="ltx_font_mathcaligraphic" id="A3.SS1.p1.4.m4.1.1" xref="A3.SS1.p1.4.m4.1.1.cmml">𝒟</mi><annotation-xml encoding="MathML-Content" id="A3.SS1.p1.4.m4.1b"><ci id="A3.SS1.p1.4.m4.1.1.cmml" xref="A3.SS1.p1.4.m4.1.1">𝒟</ci></annotation-xml><annotation encoding="application/x-tex" id="A3.SS1.p1.4.m4.1c">\mathcal{D}</annotation></semantics></math> is a closed subset of the infinite-dimensional simplex <math id="A3.SS1.p1.5.m5.1" class="ltx_Math" alttext="\Delta^{\infty}_{0}" display="inline"><semantics id="A3.SS1.p1.5.m5.1a"><msubsup id="A3.SS1.p1.5.m5.1.1" xref="A3.SS1.p1.5.m5.1.1.cmml"><mi mathvariant="normal" id="A3.SS1.p1.5.m5.1.1.2.2" xref="A3.SS1.p1.5.m5.1.1.2.2.cmml">Δ</mi><mn id="A3.SS1.p1.5.m5.1.1.3" xref="A3.SS1.p1.5.m5.1.1.3.cmml">0</mn><mi mathvariant="normal" id="A3.SS1.p1.5.m5.1.1.2.3" xref="A3.SS1.p1.5.m5.1.1.2.3.cmml">∞</mi></msubsup><annotation-xml encoding="MathML-Content" id="A3.SS1.p1.5.m5.1b"><apply id="A3.SS1.p1.5.m5.1.1.cmml" xref="A3.SS1.p1.5.m5.1.1"><csymbol cd="ambiguous" id="A3.SS1.p1.5.m5.1.1.1.cmml" xref="A3.SS1.p1.5.m5.1.1">subscript</csymbol><apply id="A3.SS1.p1.5.m5.1.1.2.cmml" xref="A3.SS1.p1.5.m5.1.1"><csymbol cd="ambiguous" id="A3.SS1.p1.5.m5.1.1.2.1.cmml" xref="A3.SS1.p1.5.m5.1.1">superscript</csymbol><ci id="A3.SS1.p1.5.m5.1.1.2.2.cmml" xref="A3.SS1.p1.5.m5.1.1.2.2">Δ</ci><infinity id="A3.SS1.p1.5.m5.1.1.2.3.cmml" xref="A3.SS1.p1.5.m5.1.1.2.3"></infinity></apply><cn type="integer" id="A3.SS1.p1.5.m5.1.1.3.cmml" xref="A3.SS1.p1.5.m5.1.1.3">0</cn></apply></annotation-xml><annotation encoding="application/x-tex" id="A3.SS1.p1.5.m5.1c">\Delta^{\infty}_{0}</annotation></semantics></math>, which is compact <cite class="ltx_cite ltx_citemacro_citep">[<a href="#bib.bib26" title="" class="ltx_ref">26</a>]</cite>, <math id="A3.SS1.p1.6.m6.1" class="ltx_Math" alttext="\mathcal{D}" display="inline"><semantics id="A3.SS1.p1.6.m6.1a"><mi class="ltx_font_mathcaligraphic" id="A3.SS1.p1.6.m6.1.1" xref="A3.SS1.p1.6.m6.1.1.cmml">𝒟</mi><annotation-xml encoding="MathML-Content" id="A3.SS1.p1.6.m6.1b"><ci id="A3.SS1.p1.6.m6.1.1.cmml" xref="A3.SS1.p1.6.m6.1.1">𝒟</ci></annotation-xml><annotation encoding="application/x-tex" id="A3.SS1.p1.6.m6.1c">\mathcal{D}</annotation></semantics></math> is also compact.
The set <math id="A3.SS1.p1.7.m7.1" class="ltx_Math" alttext="\mathcal{R}" display="inline"><semantics id="A3.SS1.p1.7.m7.1a"><mi class="ltx_font_mathcaligraphic" id="A3.SS1.p1.7.m7.1.1" xref="A3.SS1.p1.7.m7.1.1.cmml">ℛ</mi><annotation-xml encoding="MathML-Content" id="A3.SS1.p1.7.m7.1b"><ci id="A3.SS1.p1.7.m7.1.1.cmml" xref="A3.SS1.p1.7.m7.1.1">ℛ</ci></annotation-xml><annotation encoding="application/x-tex" id="A3.SS1.p1.7.m7.1c">\mathcal{R}</annotation></semantics></math> is convex, since it consists of all sequences. Since the inner function is convex in <math id="A3.SS1.p1.8.m8.1" class="ltx_Math" alttext="\rho_{\theta}" display="inline"><semantics id="A3.SS1.p1.8.m8.1a"><msub id="A3.SS1.p1.8.m8.1.1" xref="A3.SS1.p1.8.m8.1.1.cmml"><mi id="A3.SS1.p1.8.m8.1.1.2" xref="A3.SS1.p1.8.m8.1.1.2.cmml">ρ</mi><mi id="A3.SS1.p1.8.m8.1.1.3" xref="A3.SS1.p1.8.m8.1.1.3.cmml">θ</mi></msub><annotation-xml encoding="MathML-Content" id="A3.SS1.p1.8.m8.1b"><apply id="A3.SS1.p1.8.m8.1.1.cmml" xref="A3.SS1.p1.8.m8.1.1"><csymbol cd="ambiguous" id="A3.SS1.p1.8.m8.1.1.1.cmml" xref="A3.SS1.p1.8.m8.1.1">subscript</csymbol><ci id="A3.SS1.p1.8.m8.1.1.2.cmml" xref="A3.SS1.p1.8.m8.1.1.2">𝜌</ci><ci id="A3.SS1.p1.8.m8.1.1.3.cmml" xref="A3.SS1.p1.8.m8.1.1.3">𝜃</ci></apply></annotation-xml><annotation encoding="application/x-tex" id="A3.SS1.p1.8.m8.1c">\rho_{\theta}</annotation></semantics></math> and concave in <math id="A3.SS1.p1.9.m9.1" class="ltx_Math" alttext="r" display="inline"><semantics id="A3.SS1.p1.9.m9.1a"><mi id="A3.SS1.p1.9.m9.1.1" xref="A3.SS1.p1.9.m9.1.1.cmml">r</mi><annotation-xml encoding="MathML-Content" id="A3.SS1.p1.9.m9.1b"><ci id="A3.SS1.p1.9.m9.1.1.cmml" xref="A3.SS1.p1.9.m9.1.1">𝑟</ci></annotation-xml><annotation encoding="application/x-tex" id="A3.SS1.p1.9.m9.1c">r</annotation></semantics></math>, we can apply Sion’s minimax theorem <cite class="ltx_cite ltx_citemacro_citep">[<a href="#bib.bib29" title="" class="ltx_ref">29</a>]</cite> to swap the inner inf and sup.</p>
</div>
</section>
<section id="A3.SS2" class="ltx_subsection">
<h3 class="ltx_title ltx_title_subsection">
<span class="ltx_tag ltx_tag_subsection">C.2 </span>Proof for Bijection between <math id="A3.SS2.1.m1.1" class="ltx_Math" alttext="r" display="inline"><semantics id="A3.SS2.1.m1.1b"><mi id="A3.SS2.1.m1.1.1" xref="A3.SS2.1.m1.1.1.cmml">r</mi><annotation-xml encoding="MathML-Content" id="A3.SS2.1.m1.1c"><ci id="A3.SS2.1.m1.1.1.cmml" xref="A3.SS2.1.m1.1.1">𝑟</ci></annotation-xml><annotation encoding="application/x-tex" id="A3.SS2.1.m1.1d">r</annotation></semantics></math> and <math id="A3.SS2.2.m2.1" class="ltx_Math" alttext="Q" display="inline"><semantics id="A3.SS2.2.m2.1b"><mi id="A3.SS2.2.m2.1.1" xref="A3.SS2.2.m2.1.1.cmml">Q</mi><annotation-xml encoding="MathML-Content" id="A3.SS2.2.m2.1c"><ci id="A3.SS2.2.m2.1.1.cmml" xref="A3.SS2.2.m2.1.1">𝑄</ci></annotation-xml><annotation encoding="application/x-tex" id="A3.SS2.2.m2.1d">Q</annotation></semantics></math>
</h3>

<div id="A3.SS2.p1" class="ltx_para">
<p id="A3.SS2.p1.5" class="ltx_p">Recall that we define the Bellman operator as <math id="A3.SS2.p1.1.m1.1" class="ltx_Math" alttext="\mathcal{B}_{r}^{\theta}" display="inline"><semantics id="A3.SS2.p1.1.m1.1a"><msubsup id="A3.SS2.p1.1.m1.1.1" xref="A3.SS2.p1.1.m1.1.1.cmml"><mi class="ltx_font_mathcaligraphic" id="A3.SS2.p1.1.m1.1.1.2.2" xref="A3.SS2.p1.1.m1.1.1.2.2.cmml">ℬ</mi><mi id="A3.SS2.p1.1.m1.1.1.2.3" xref="A3.SS2.p1.1.m1.1.1.2.3.cmml">r</mi><mi id="A3.SS2.p1.1.m1.1.1.3" xref="A3.SS2.p1.1.m1.1.1.3.cmml">θ</mi></msubsup><annotation-xml encoding="MathML-Content" id="A3.SS2.p1.1.m1.1b"><apply id="A3.SS2.p1.1.m1.1.1.cmml" xref="A3.SS2.p1.1.m1.1.1"><csymbol cd="ambiguous" id="A3.SS2.p1.1.m1.1.1.1.cmml" xref="A3.SS2.p1.1.m1.1.1">superscript</csymbol><apply id="A3.SS2.p1.1.m1.1.1.2.cmml" xref="A3.SS2.p1.1.m1.1.1"><csymbol cd="ambiguous" id="A3.SS2.p1.1.m1.1.1.2.1.cmml" xref="A3.SS2.p1.1.m1.1.1">subscript</csymbol><ci id="A3.SS2.p1.1.m1.1.1.2.2.cmml" xref="A3.SS2.p1.1.m1.1.1.2.2">ℬ</ci><ci id="A3.SS2.p1.1.m1.1.1.2.3.cmml" xref="A3.SS2.p1.1.m1.1.1.2.3">𝑟</ci></apply><ci id="A3.SS2.p1.1.m1.1.1.3.cmml" xref="A3.SS2.p1.1.m1.1.1.3">𝜃</ci></apply></annotation-xml><annotation encoding="application/x-tex" id="A3.SS2.p1.1.m1.1c">\mathcal{B}_{r}^{\theta}</annotation></semantics></math>, where <math id="A3.SS2.p1.2.m2.7" class="ltx_Math" alttext="\mathcal{B}_{r}^{\theta}Q(s,a)=r(s,a)+\gamma\mathbb{E}_{s^{\prime}\sim\mathcal{P}(s,a)}\left[V^{\theta}(s^{\prime})\right]" display="inline"><semantics id="A3.SS2.p1.2.m2.7a"><mrow id="A3.SS2.p1.2.m2.7.7" xref="A3.SS2.p1.2.m2.7.7.cmml"><mrow id="A3.SS2.p1.2.m2.7.7.3" xref="A3.SS2.p1.2.m2.7.7.3.cmml"><msubsup id="A3.SS2.p1.2.m2.7.7.3.2" xref="A3.SS2.p1.2.m2.7.7.3.2.cmml"><mi class="ltx_font_mathcaligraphic" id="A3.SS2.p1.2.m2.7.7.3.2.2.2" xref="A3.SS2.p1.2.m2.7.7.3.2.2.2.cmml">ℬ</mi><mi id="A3.SS2.p1.2.m2.7.7.3.2.2.3" xref="A3.SS2.p1.2.m2.7.7.3.2.2.3.cmml">r</mi><mi id="A3.SS2.p1.2.m2.7.7.3.2.3" xref="A3.SS2.p1.2.m2.7.7.3.2.3.cmml">θ</mi></msubsup><mo lspace="0em" rspace="0em" id="A3.SS2.p1.2.m2.7.7.3.1" xref="A3.SS2.p1.2.m2.7.7.3.1.cmml">​</mo><mi id="A3.SS2.p1.2.m2.7.7.3.3" xref="A3.SS2.p1.2.m2.7.7.3.3.cmml">Q</mi><mo lspace="0em" rspace="0em" id="A3.SS2.p1.2.m2.7.7.3.1a" xref="A3.SS2.p1.2.m2.7.7.3.1.cmml">​</mo><mrow id="A3.SS2.p1.2.m2.7.7.3.4.2" xref="A3.SS2.p1.2.m2.7.7.3.4.1.cmml"><mo stretchy="false" id="A3.SS2.p1.2.m2.7.7.3.4.2.1" xref="A3.SS2.p1.2.m2.7.7.3.4.1.cmml">(</mo><mi id="A3.SS2.p1.2.m2.3.3" xref="A3.SS2.p1.2.m2.3.3.cmml">s</mi><mo id="A3.SS2.p1.2.m2.7.7.3.4.2.2" xref="A3.SS2.p1.2.m2.7.7.3.4.1.cmml">,</mo><mi id="A3.SS2.p1.2.m2.4.4" xref="A3.SS2.p1.2.m2.4.4.cmml">a</mi><mo stretchy="false" id="A3.SS2.p1.2.m2.7.7.3.4.2.3" xref="A3.SS2.p1.2.m2.7.7.3.4.1.cmml">)</mo></mrow></mrow><mo id="A3.SS2.p1.2.m2.7.7.2" xref="A3.SS2.p1.2.m2.7.7.2.cmml">=</mo><mrow id="A3.SS2.p1.2.m2.7.7.1" xref="A3.SS2.p1.2.m2.7.7.1.cmml"><mrow id="A3.SS2.p1.2.m2.7.7.1.3" xref="A3.SS2.p1.2.m2.7.7.1.3.cmml"><mi id="A3.SS2.p1.2.m2.7.7.1.3.2" xref="A3.SS2.p1.2.m2.7.7.1.3.2.cmml">r</mi><mo lspace="0em" rspace="0em" id="A3.SS2.p1.2.m2.7.7.1.3.1" xref="A3.SS2.p1.2.m2.7.7.1.3.1.cmml">​</mo><mrow id="A3.SS2.p1.2.m2.7.7.1.3.3.2" xref="A3.SS2.p1.2.m2.7.7.1.3.3.1.cmml"><mo stretchy="false" id="A3.SS2.p1.2.m2.7.7.1.3.3.2.1" xref="A3.SS2.p1.2.m2.7.7.1.3.3.1.cmml">(</mo><mi id="A3.SS2.p1.2.m2.5.5" xref="A3.SS2.p1.2.m2.5.5.cmml">s</mi><mo id="A3.SS2.p1.2.m2.7.7.1.3.3.2.2" xref="A3.SS2.p1.2.m2.7.7.1.3.3.1.cmml">,</mo><mi id="A3.SS2.p1.2.m2.6.6" xref="A3.SS2.p1.2.m2.6.6.cmml">a</mi><mo stretchy="false" id="A3.SS2.p1.2.m2.7.7.1.3.3.2.3" xref="A3.SS2.p1.2.m2.7.7.1.3.3.1.cmml">)</mo></mrow></mrow><mo id="A3.SS2.p1.2.m2.7.7.1.2" xref="A3.SS2.p1.2.m2.7.7.1.2.cmml">+</mo><mrow id="A3.SS2.p1.2.m2.7.7.1.1" xref="A3.SS2.p1.2.m2.7.7.1.1.cmml"><mi id="A3.SS2.p1.2.m2.7.7.1.1.3" xref="A3.SS2.p1.2.m2.7.7.1.1.3.cmml">γ</mi><mo lspace="0em" rspace="0em" id="A3.SS2.p1.2.m2.7.7.1.1.2" xref="A3.SS2.p1.2.m2.7.7.1.1.2.cmml">​</mo><msub id="A3.SS2.p1.2.m2.7.7.1.1.4" xref="A3.SS2.p1.2.m2.7.7.1.1.4.cmml"><mi id="A3.SS2.p1.2.m2.7.7.1.1.4.2" xref="A3.SS2.p1.2.m2.7.7.1.1.4.2.cmml">𝔼</mi><mrow id="A3.SS2.p1.2.m2.2.2.2" xref="A3.SS2.p1.2.m2.2.2.2.cmml"><msup id="A3.SS2.p1.2.m2.2.2.2.4" xref="A3.SS2.p1.2.m2.2.2.2.4.cmml"><mi id="A3.SS2.p1.2.m2.2.2.2.4.2" xref="A3.SS2.p1.2.m2.2.2.2.4.2.cmml">s</mi><mo id="A3.SS2.p1.2.m2.2.2.2.4.3" xref="A3.SS2.p1.2.m2.2.2.2.4.3.cmml">′</mo></msup><mo id="A3.SS2.p1.2.m2.2.2.2.3" xref="A3.SS2.p1.2.m2.2.2.2.3.cmml">∼</mo><mrow id="A3.SS2.p1.2.m2.2.2.2.5" xref="A3.SS2.p1.2.m2.2.2.2.5.cmml"><mi class="ltx_font_mathcaligraphic" id="A3.SS2.p1.2.m2.2.2.2.5.2" xref="A3.SS2.p1.2.m2.2.2.2.5.2.cmml">𝒫</mi><mo lspace="0em" rspace="0em" id="A3.SS2.p1.2.m2.2.2.2.5.1" xref="A3.SS2.p1.2.m2.2.2.2.5.1.cmml">​</mo><mrow id="A3.SS2.p1.2.m2.2.2.2.5.3.2" xref="A3.SS2.p1.2.m2.2.2.2.5.3.1.cmml"><mo stretchy="false" id="A3.SS2.p1.2.m2.2.2.2.5.3.2.1" xref="A3.SS2.p1.2.m2.2.2.2.5.3.1.cmml">(</mo><mi id="A3.SS2.p1.2.m2.1.1.1.1" xref="A3.SS2.p1.2.m2.1.1.1.1.cmml">s</mi><mo id="A3.SS2.p1.2.m2.2.2.2.5.3.2.2" xref="A3.SS2.p1.2.m2.2.2.2.5.3.1.cmml">,</mo><mi id="A3.SS2.p1.2.m2.2.2.2.2" xref="A3.SS2.p1.2.m2.2.2.2.2.cmml">a</mi><mo stretchy="false" id="A3.SS2.p1.2.m2.2.2.2.5.3.2.3" xref="A3.SS2.p1.2.m2.2.2.2.5.3.1.cmml">)</mo></mrow></mrow></mrow></msub><mo lspace="0em" rspace="0em" id="A3.SS2.p1.2.m2.7.7.1.1.2a" xref="A3.SS2.p1.2.m2.7.7.1.1.2.cmml">​</mo><mrow id="A3.SS2.p1.2.m2.7.7.1.1.1.1" xref="A3.SS2.p1.2.m2.7.7.1.1.1.2.cmml"><mo id="A3.SS2.p1.2.m2.7.7.1.1.1.1.2" xref="A3.SS2.p1.2.m2.7.7.1.1.1.2.1.cmml">[</mo><mrow id="A3.SS2.p1.2.m2.7.7.1.1.1.1.1" xref="A3.SS2.p1.2.m2.7.7.1.1.1.1.1.cmml"><msup id="A3.SS2.p1.2.m2.7.7.1.1.1.1.1.3" xref="A3.SS2.p1.2.m2.7.7.1.1.1.1.1.3.cmml"><mi id="A3.SS2.p1.2.m2.7.7.1.1.1.1.1.3.2" xref="A3.SS2.p1.2.m2.7.7.1.1.1.1.1.3.2.cmml">V</mi><mi id="A3.SS2.p1.2.m2.7.7.1.1.1.1.1.3.3" xref="A3.SS2.p1.2.m2.7.7.1.1.1.1.1.3.3.cmml">θ</mi></msup><mo lspace="0em" rspace="0em" id="A3.SS2.p1.2.m2.7.7.1.1.1.1.1.2" xref="A3.SS2.p1.2.m2.7.7.1.1.1.1.1.2.cmml">​</mo><mrow id="A3.SS2.p1.2.m2.7.7.1.1.1.1.1.1.1" xref="A3.SS2.p1.2.m2.7.7.1.1.1.1.1.1.1.1.cmml"><mo stretchy="false" id="A3.SS2.p1.2.m2.7.7.1.1.1.1.1.1.1.2" xref="A3.SS2.p1.2.m2.7.7.1.1.1.1.1.1.1.1.cmml">(</mo><msup id="A3.SS2.p1.2.m2.7.7.1.1.1.1.1.1.1.1" xref="A3.SS2.p1.2.m2.7.7.1.1.1.1.1.1.1.1.cmml"><mi id="A3.SS2.p1.2.m2.7.7.1.1.1.1.1.1.1.1.2" xref="A3.SS2.p1.2.m2.7.7.1.1.1.1.1.1.1.1.2.cmml">s</mi><mo id="A3.SS2.p1.2.m2.7.7.1.1.1.1.1.1.1.1.3" xref="A3.SS2.p1.2.m2.7.7.1.1.1.1.1.1.1.1.3.cmml">′</mo></msup><mo stretchy="false" id="A3.SS2.p1.2.m2.7.7.1.1.1.1.1.1.1.3" xref="A3.SS2.p1.2.m2.7.7.1.1.1.1.1.1.1.1.cmml">)</mo></mrow></mrow><mo id="A3.SS2.p1.2.m2.7.7.1.1.1.1.3" xref="A3.SS2.p1.2.m2.7.7.1.1.1.2.1.cmml">]</mo></mrow></mrow></mrow></mrow><annotation-xml encoding="MathML-Content" id="A3.SS2.p1.2.m2.7b"><apply id="A3.SS2.p1.2.m2.7.7.cmml" xref="A3.SS2.p1.2.m2.7.7"><eq id="A3.SS2.p1.2.m2.7.7.2.cmml" xref="A3.SS2.p1.2.m2.7.7.2"></eq><apply id="A3.SS2.p1.2.m2.7.7.3.cmml" xref="A3.SS2.p1.2.m2.7.7.3"><times id="A3.SS2.p1.2.m2.7.7.3.1.cmml" xref="A3.SS2.p1.2.m2.7.7.3.1"></times><apply id="A3.SS2.p1.2.m2.7.7.3.2.cmml" xref="A3.SS2.p1.2.m2.7.7.3.2"><csymbol cd="ambiguous" id="A3.SS2.p1.2.m2.7.7.3.2.1.cmml" xref="A3.SS2.p1.2.m2.7.7.3.2">superscript</csymbol><apply id="A3.SS2.p1.2.m2.7.7.3.2.2.cmml" xref="A3.SS2.p1.2.m2.7.7.3.2"><csymbol cd="ambiguous" id="A3.SS2.p1.2.m2.7.7.3.2.2.1.cmml" xref="A3.SS2.p1.2.m2.7.7.3.2">subscript</csymbol><ci id="A3.SS2.p1.2.m2.7.7.3.2.2.2.cmml" xref="A3.SS2.p1.2.m2.7.7.3.2.2.2">ℬ</ci><ci id="A3.SS2.p1.2.m2.7.7.3.2.2.3.cmml" xref="A3.SS2.p1.2.m2.7.7.3.2.2.3">𝑟</ci></apply><ci id="A3.SS2.p1.2.m2.7.7.3.2.3.cmml" xref="A3.SS2.p1.2.m2.7.7.3.2.3">𝜃</ci></apply><ci id="A3.SS2.p1.2.m2.7.7.3.3.cmml" xref="A3.SS2.p1.2.m2.7.7.3.3">𝑄</ci><interval closure="open" id="A3.SS2.p1.2.m2.7.7.3.4.1.cmml" xref="A3.SS2.p1.2.m2.7.7.3.4.2"><ci id="A3.SS2.p1.2.m2.3.3.cmml" xref="A3.SS2.p1.2.m2.3.3">𝑠</ci><ci id="A3.SS2.p1.2.m2.4.4.cmml" xref="A3.SS2.p1.2.m2.4.4">𝑎</ci></interval></apply><apply id="A3.SS2.p1.2.m2.7.7.1.cmml" xref="A3.SS2.p1.2.m2.7.7.1"><plus id="A3.SS2.p1.2.m2.7.7.1.2.cmml" xref="A3.SS2.p1.2.m2.7.7.1.2"></plus><apply id="A3.SS2.p1.2.m2.7.7.1.3.cmml" xref="A3.SS2.p1.2.m2.7.7.1.3"><times id="A3.SS2.p1.2.m2.7.7.1.3.1.cmml" xref="A3.SS2.p1.2.m2.7.7.1.3.1"></times><ci id="A3.SS2.p1.2.m2.7.7.1.3.2.cmml" xref="A3.SS2.p1.2.m2.7.7.1.3.2">𝑟</ci><interval closure="open" id="A3.SS2.p1.2.m2.7.7.1.3.3.1.cmml" xref="A3.SS2.p1.2.m2.7.7.1.3.3.2"><ci id="A3.SS2.p1.2.m2.5.5.cmml" xref="A3.SS2.p1.2.m2.5.5">𝑠</ci><ci id="A3.SS2.p1.2.m2.6.6.cmml" xref="A3.SS2.p1.2.m2.6.6">𝑎</ci></interval></apply><apply id="A3.SS2.p1.2.m2.7.7.1.1.cmml" xref="A3.SS2.p1.2.m2.7.7.1.1"><times id="A3.SS2.p1.2.m2.7.7.1.1.2.cmml" xref="A3.SS2.p1.2.m2.7.7.1.1.2"></times><ci id="A3.SS2.p1.2.m2.7.7.1.1.3.cmml" xref="A3.SS2.p1.2.m2.7.7.1.1.3">𝛾</ci><apply id="A3.SS2.p1.2.m2.7.7.1.1.4.cmml" xref="A3.SS2.p1.2.m2.7.7.1.1.4"><csymbol cd="ambiguous" id="A3.SS2.p1.2.m2.7.7.1.1.4.1.cmml" xref="A3.SS2.p1.2.m2.7.7.1.1.4">subscript</csymbol><ci id="A3.SS2.p1.2.m2.7.7.1.1.4.2.cmml" xref="A3.SS2.p1.2.m2.7.7.1.1.4.2">𝔼</ci><apply id="A3.SS2.p1.2.m2.2.2.2.cmml" xref="A3.SS2.p1.2.m2.2.2.2"><csymbol cd="latexml" id="A3.SS2.p1.2.m2.2.2.2.3.cmml" xref="A3.SS2.p1.2.m2.2.2.2.3">similar-to</csymbol><apply id="A3.SS2.p1.2.m2.2.2.2.4.cmml" xref="A3.SS2.p1.2.m2.2.2.2.4"><csymbol cd="ambiguous" id="A3.SS2.p1.2.m2.2.2.2.4.1.cmml" xref="A3.SS2.p1.2.m2.2.2.2.4">superscript</csymbol><ci id="A3.SS2.p1.2.m2.2.2.2.4.2.cmml" xref="A3.SS2.p1.2.m2.2.2.2.4.2">𝑠</ci><ci id="A3.SS2.p1.2.m2.2.2.2.4.3.cmml" xref="A3.SS2.p1.2.m2.2.2.2.4.3">′</ci></apply><apply id="A3.SS2.p1.2.m2.2.2.2.5.cmml" xref="A3.SS2.p1.2.m2.2.2.2.5"><times id="A3.SS2.p1.2.m2.2.2.2.5.1.cmml" xref="A3.SS2.p1.2.m2.2.2.2.5.1"></times><ci id="A3.SS2.p1.2.m2.2.2.2.5.2.cmml" xref="A3.SS2.p1.2.m2.2.2.2.5.2">𝒫</ci><interval closure="open" id="A3.SS2.p1.2.m2.2.2.2.5.3.1.cmml" xref="A3.SS2.p1.2.m2.2.2.2.5.3.2"><ci id="A3.SS2.p1.2.m2.1.1.1.1.cmml" xref="A3.SS2.p1.2.m2.1.1.1.1">𝑠</ci><ci id="A3.SS2.p1.2.m2.2.2.2.2.cmml" xref="A3.SS2.p1.2.m2.2.2.2.2">𝑎</ci></interval></apply></apply></apply><apply id="A3.SS2.p1.2.m2.7.7.1.1.1.2.cmml" xref="A3.SS2.p1.2.m2.7.7.1.1.1.1"><csymbol cd="latexml" id="A3.SS2.p1.2.m2.7.7.1.1.1.2.1.cmml" xref="A3.SS2.p1.2.m2.7.7.1.1.1.1.2">delimited-[]</csymbol><apply id="A3.SS2.p1.2.m2.7.7.1.1.1.1.1.cmml" xref="A3.SS2.p1.2.m2.7.7.1.1.1.1.1"><times id="A3.SS2.p1.2.m2.7.7.1.1.1.1.1.2.cmml" xref="A3.SS2.p1.2.m2.7.7.1.1.1.1.1.2"></times><apply id="A3.SS2.p1.2.m2.7.7.1.1.1.1.1.3.cmml" xref="A3.SS2.p1.2.m2.7.7.1.1.1.1.1.3"><csymbol cd="ambiguous" id="A3.SS2.p1.2.m2.7.7.1.1.1.1.1.3.1.cmml" xref="A3.SS2.p1.2.m2.7.7.1.1.1.1.1.3">superscript</csymbol><ci id="A3.SS2.p1.2.m2.7.7.1.1.1.1.1.3.2.cmml" xref="A3.SS2.p1.2.m2.7.7.1.1.1.1.1.3.2">𝑉</ci><ci id="A3.SS2.p1.2.m2.7.7.1.1.1.1.1.3.3.cmml" xref="A3.SS2.p1.2.m2.7.7.1.1.1.1.1.3.3">𝜃</ci></apply><apply id="A3.SS2.p1.2.m2.7.7.1.1.1.1.1.1.1.1.cmml" xref="A3.SS2.p1.2.m2.7.7.1.1.1.1.1.1.1"><csymbol cd="ambiguous" id="A3.SS2.p1.2.m2.7.7.1.1.1.1.1.1.1.1.1.cmml" xref="A3.SS2.p1.2.m2.7.7.1.1.1.1.1.1.1">superscript</csymbol><ci id="A3.SS2.p1.2.m2.7.7.1.1.1.1.1.1.1.1.2.cmml" xref="A3.SS2.p1.2.m2.7.7.1.1.1.1.1.1.1.1.2">𝑠</ci><ci id="A3.SS2.p1.2.m2.7.7.1.1.1.1.1.1.1.1.3.cmml" xref="A3.SS2.p1.2.m2.7.7.1.1.1.1.1.1.1.1.3">′</ci></apply></apply></apply></apply></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="A3.SS2.p1.2.m2.7c">\mathcal{B}_{r}^{\theta}Q(s,a)=r(s,a)+\gamma\mathbb{E}_{s^{\prime}\sim\mathcal{P}(s,a)}\left[V^{\theta}(s^{\prime})\right]</annotation></semantics></math>, for the value function <math id="A3.SS2.p1.3.m3.4" class="ltx_math_unparsed" alttext="V^{\theta}(s)=\mathbb{E}_{a\sim p_{\theta}(\cdot|s)}\left[Q(s,a)-\log p_{\theta}(a|s)\right]" display="inline"><semantics id="A3.SS2.p1.3.m3.4a"><mrow id="A3.SS2.p1.3.m3.4.4"><mrow id="A3.SS2.p1.3.m3.4.4.3"><msup id="A3.SS2.p1.3.m3.4.4.3.2"><mi id="A3.SS2.p1.3.m3.4.4.3.2.2">V</mi><mi id="A3.SS2.p1.3.m3.4.4.3.2.3">θ</mi></msup><mo lspace="0em" rspace="0em" id="A3.SS2.p1.3.m3.4.4.3.1">​</mo><mrow id="A3.SS2.p1.3.m3.4.4.3.3.2"><mo stretchy="false" id="A3.SS2.p1.3.m3.4.4.3.3.2.1">(</mo><mi id="A3.SS2.p1.3.m3.1.1">s</mi><mo stretchy="false" id="A3.SS2.p1.3.m3.4.4.3.3.2.2">)</mo></mrow></mrow><mo id="A3.SS2.p1.3.m3.4.4.2">=</mo><mrow id="A3.SS2.p1.3.m3.4.4.1"><msub id="A3.SS2.p1.3.m3.4.4.1.3"><mi id="A3.SS2.p1.3.m3.4.4.1.3.2">𝔼</mi><mrow id="A3.SS2.p1.3.m3.4.4.1.3.3"><mi id="A3.SS2.p1.3.m3.4.4.1.3.3.1">a</mi><mo id="A3.SS2.p1.3.m3.4.4.1.3.3.2">∼</mo><msub id="A3.SS2.p1.3.m3.4.4.1.3.3.3"><mi id="A3.SS2.p1.3.m3.4.4.1.3.3.3.2">p</mi><mi id="A3.SS2.p1.3.m3.4.4.1.3.3.3.3">θ</mi></msub><mrow id="A3.SS2.p1.3.m3.4.4.1.3.3.4"><mo stretchy="false" id="A3.SS2.p1.3.m3.4.4.1.3.3.4.1">(</mo><mo lspace="0em" rspace="0em" id="A3.SS2.p1.3.m3.4.4.1.3.3.4.2">⋅</mo><mo fence="false" rspace="0.167em" stretchy="false" id="A3.SS2.p1.3.m3.4.4.1.3.3.4.3">|</mo><mi id="A3.SS2.p1.3.m3.4.4.1.3.3.4.4">s</mi><mo stretchy="false" id="A3.SS2.p1.3.m3.4.4.1.3.3.4.5">)</mo></mrow></mrow></msub><mo lspace="0em" rspace="0em" id="A3.SS2.p1.3.m3.4.4.1.2">​</mo><mrow id="A3.SS2.p1.3.m3.4.4.1.1.1"><mo id="A3.SS2.p1.3.m3.4.4.1.1.1.2">[</mo><mrow id="A3.SS2.p1.3.m3.4.4.1.1.1.1"><mrow id="A3.SS2.p1.3.m3.4.4.1.1.1.1.3"><mi id="A3.SS2.p1.3.m3.4.4.1.1.1.1.3.2">Q</mi><mo lspace="0em" rspace="0em" id="A3.SS2.p1.3.m3.4.4.1.1.1.1.3.1">​</mo><mrow id="A3.SS2.p1.3.m3.4.4.1.1.1.1.3.3.2"><mo stretchy="false" id="A3.SS2.p1.3.m3.4.4.1.1.1.1.3.3.2.1">(</mo><mi id="A3.SS2.p1.3.m3.2.2">s</mi><mo id="A3.SS2.p1.3.m3.4.4.1.1.1.1.3.3.2.2">,</mo><mi id="A3.SS2.p1.3.m3.3.3">a</mi><mo stretchy="false" id="A3.SS2.p1.3.m3.4.4.1.1.1.1.3.3.2.3">)</mo></mrow></mrow><mo id="A3.SS2.p1.3.m3.4.4.1.1.1.1.2">−</mo><mrow id="A3.SS2.p1.3.m3.4.4.1.1.1.1.1"><mrow id="A3.SS2.p1.3.m3.4.4.1.1.1.1.1.3"><mi id="A3.SS2.p1.3.m3.4.4.1.1.1.1.1.3.1">log</mi><mo lspace="0.167em" id="A3.SS2.p1.3.m3.4.4.1.1.1.1.1.3a">⁡</mo><msub id="A3.SS2.p1.3.m3.4.4.1.1.1.1.1.3.2"><mi id="A3.SS2.p1.3.m3.4.4.1.1.1.1.1.3.2.2">p</mi><mi id="A3.SS2.p1.3.m3.4.4.1.1.1.1.1.3.2.3">θ</mi></msub></mrow><mo lspace="0em" rspace="0em" id="A3.SS2.p1.3.m3.4.4.1.1.1.1.1.2">​</mo><mrow id="A3.SS2.p1.3.m3.4.4.1.1.1.1.1.1.1"><mo stretchy="false" id="A3.SS2.p1.3.m3.4.4.1.1.1.1.1.1.1.2">(</mo><mrow id="A3.SS2.p1.3.m3.4.4.1.1.1.1.1.1.1.1"><mi id="A3.SS2.p1.3.m3.4.4.1.1.1.1.1.1.1.1.2">a</mi><mo fence="false" id="A3.SS2.p1.3.m3.4.4.1.1.1.1.1.1.1.1.1">|</mo><mi id="A3.SS2.p1.3.m3.4.4.1.1.1.1.1.1.1.1.3">s</mi></mrow><mo stretchy="false" id="A3.SS2.p1.3.m3.4.4.1.1.1.1.1.1.1.3">)</mo></mrow></mrow></mrow><mo id="A3.SS2.p1.3.m3.4.4.1.1.1.3">]</mo></mrow></mrow></mrow><annotation encoding="application/x-tex" id="A3.SS2.p1.3.m3.4b">V^{\theta}(s)=\mathbb{E}_{a\sim p_{\theta}(\cdot|s)}\left[Q(s,a)-\log p_{\theta}(a|s)\right]</annotation></semantics></math>. The inverse Bellman operator <math id="A3.SS2.p1.4.m4.1" class="ltx_Math" alttext="\mathcal{T}^{\theta}" display="inline"><semantics id="A3.SS2.p1.4.m4.1a"><msup id="A3.SS2.p1.4.m4.1.1" xref="A3.SS2.p1.4.m4.1.1.cmml"><mi class="ltx_font_mathcaligraphic" id="A3.SS2.p1.4.m4.1.1.2" xref="A3.SS2.p1.4.m4.1.1.2.cmml">𝒯</mi><mi id="A3.SS2.p1.4.m4.1.1.3" xref="A3.SS2.p1.4.m4.1.1.3.cmml">θ</mi></msup><annotation-xml encoding="MathML-Content" id="A3.SS2.p1.4.m4.1b"><apply id="A3.SS2.p1.4.m4.1.1.cmml" xref="A3.SS2.p1.4.m4.1.1"><csymbol cd="ambiguous" id="A3.SS2.p1.4.m4.1.1.1.cmml" xref="A3.SS2.p1.4.m4.1.1">superscript</csymbol><ci id="A3.SS2.p1.4.m4.1.1.2.cmml" xref="A3.SS2.p1.4.m4.1.1.2">𝒯</ci><ci id="A3.SS2.p1.4.m4.1.1.3.cmml" xref="A3.SS2.p1.4.m4.1.1.3">𝜃</ci></apply></annotation-xml><annotation encoding="application/x-tex" id="A3.SS2.p1.4.m4.1c">\mathcal{T}^{\theta}</annotation></semantics></math> is defined as <math id="A3.SS2.p1.5.m5.8" class="ltx_Math" alttext="(\mathcal{T}^{\theta}Q)(s,a)=Q(s,a)-\gamma\mathbb{E}_{s^{\prime}\sim\mathcal{P}(s,a)}\left[V^{\theta}(s^{\prime})\right]" display="inline"><semantics id="A3.SS2.p1.5.m5.8a"><mrow id="A3.SS2.p1.5.m5.8.8" xref="A3.SS2.p1.5.m5.8.8.cmml"><mrow id="A3.SS2.p1.5.m5.7.7.1" xref="A3.SS2.p1.5.m5.7.7.1.cmml"><mrow id="A3.SS2.p1.5.m5.7.7.1.1.1" xref="A3.SS2.p1.5.m5.7.7.1.1.1.1.cmml"><mo stretchy="false" id="A3.SS2.p1.5.m5.7.7.1.1.1.2" xref="A3.SS2.p1.5.m5.7.7.1.1.1.1.cmml">(</mo><mrow id="A3.SS2.p1.5.m5.7.7.1.1.1.1" xref="A3.SS2.p1.5.m5.7.7.1.1.1.1.cmml"><msup id="A3.SS2.p1.5.m5.7.7.1.1.1.1.2" xref="A3.SS2.p1.5.m5.7.7.1.1.1.1.2.cmml"><mi class="ltx_font_mathcaligraphic" id="A3.SS2.p1.5.m5.7.7.1.1.1.1.2.2" xref="A3.SS2.p1.5.m5.7.7.1.1.1.1.2.2.cmml">𝒯</mi><mi id="A3.SS2.p1.5.m5.7.7.1.1.1.1.2.3" xref="A3.SS2.p1.5.m5.7.7.1.1.1.1.2.3.cmml">θ</mi></msup><mo lspace="0em" rspace="0em" id="A3.SS2.p1.5.m5.7.7.1.1.1.1.1" xref="A3.SS2.p1.5.m5.7.7.1.1.1.1.1.cmml">​</mo><mi id="A3.SS2.p1.5.m5.7.7.1.1.1.1.3" xref="A3.SS2.p1.5.m5.7.7.1.1.1.1.3.cmml">Q</mi></mrow><mo stretchy="false" id="A3.SS2.p1.5.m5.7.7.1.1.1.3" xref="A3.SS2.p1.5.m5.7.7.1.1.1.1.cmml">)</mo></mrow><mo lspace="0em" rspace="0em" id="A3.SS2.p1.5.m5.7.7.1.2" xref="A3.SS2.p1.5.m5.7.7.1.2.cmml">​</mo><mrow id="A3.SS2.p1.5.m5.7.7.1.3.2" xref="A3.SS2.p1.5.m5.7.7.1.3.1.cmml"><mo stretchy="false" id="A3.SS2.p1.5.m5.7.7.1.3.2.1" xref="A3.SS2.p1.5.m5.7.7.1.3.1.cmml">(</mo><mi id="A3.SS2.p1.5.m5.3.3" xref="A3.SS2.p1.5.m5.3.3.cmml">s</mi><mo id="A3.SS2.p1.5.m5.7.7.1.3.2.2" xref="A3.SS2.p1.5.m5.7.7.1.3.1.cmml">,</mo><mi id="A3.SS2.p1.5.m5.4.4" xref="A3.SS2.p1.5.m5.4.4.cmml">a</mi><mo stretchy="false" id="A3.SS2.p1.5.m5.7.7.1.3.2.3" xref="A3.SS2.p1.5.m5.7.7.1.3.1.cmml">)</mo></mrow></mrow><mo id="A3.SS2.p1.5.m5.8.8.3" xref="A3.SS2.p1.5.m5.8.8.3.cmml">=</mo><mrow id="A3.SS2.p1.5.m5.8.8.2" xref="A3.SS2.p1.5.m5.8.8.2.cmml"><mrow id="A3.SS2.p1.5.m5.8.8.2.3" xref="A3.SS2.p1.5.m5.8.8.2.3.cmml"><mi id="A3.SS2.p1.5.m5.8.8.2.3.2" xref="A3.SS2.p1.5.m5.8.8.2.3.2.cmml">Q</mi><mo lspace="0em" rspace="0em" id="A3.SS2.p1.5.m5.8.8.2.3.1" xref="A3.SS2.p1.5.m5.8.8.2.3.1.cmml">​</mo><mrow id="A3.SS2.p1.5.m5.8.8.2.3.3.2" xref="A3.SS2.p1.5.m5.8.8.2.3.3.1.cmml"><mo stretchy="false" id="A3.SS2.p1.5.m5.8.8.2.3.3.2.1" xref="A3.SS2.p1.5.m5.8.8.2.3.3.1.cmml">(</mo><mi id="A3.SS2.p1.5.m5.5.5" xref="A3.SS2.p1.5.m5.5.5.cmml">s</mi><mo id="A3.SS2.p1.5.m5.8.8.2.3.3.2.2" xref="A3.SS2.p1.5.m5.8.8.2.3.3.1.cmml">,</mo><mi id="A3.SS2.p1.5.m5.6.6" xref="A3.SS2.p1.5.m5.6.6.cmml">a</mi><mo stretchy="false" id="A3.SS2.p1.5.m5.8.8.2.3.3.2.3" xref="A3.SS2.p1.5.m5.8.8.2.3.3.1.cmml">)</mo></mrow></mrow><mo id="A3.SS2.p1.5.m5.8.8.2.2" xref="A3.SS2.p1.5.m5.8.8.2.2.cmml">−</mo><mrow id="A3.SS2.p1.5.m5.8.8.2.1" xref="A3.SS2.p1.5.m5.8.8.2.1.cmml"><mi id="A3.SS2.p1.5.m5.8.8.2.1.3" xref="A3.SS2.p1.5.m5.8.8.2.1.3.cmml">γ</mi><mo lspace="0em" rspace="0em" id="A3.SS2.p1.5.m5.8.8.2.1.2" xref="A3.SS2.p1.5.m5.8.8.2.1.2.cmml">​</mo><msub id="A3.SS2.p1.5.m5.8.8.2.1.4" xref="A3.SS2.p1.5.m5.8.8.2.1.4.cmml"><mi id="A3.SS2.p1.5.m5.8.8.2.1.4.2" xref="A3.SS2.p1.5.m5.8.8.2.1.4.2.cmml">𝔼</mi><mrow id="A3.SS2.p1.5.m5.2.2.2" xref="A3.SS2.p1.5.m5.2.2.2.cmml"><msup id="A3.SS2.p1.5.m5.2.2.2.4" xref="A3.SS2.p1.5.m5.2.2.2.4.cmml"><mi id="A3.SS2.p1.5.m5.2.2.2.4.2" xref="A3.SS2.p1.5.m5.2.2.2.4.2.cmml">s</mi><mo id="A3.SS2.p1.5.m5.2.2.2.4.3" xref="A3.SS2.p1.5.m5.2.2.2.4.3.cmml">′</mo></msup><mo id="A3.SS2.p1.5.m5.2.2.2.3" xref="A3.SS2.p1.5.m5.2.2.2.3.cmml">∼</mo><mrow id="A3.SS2.p1.5.m5.2.2.2.5" xref="A3.SS2.p1.5.m5.2.2.2.5.cmml"><mi class="ltx_font_mathcaligraphic" id="A3.SS2.p1.5.m5.2.2.2.5.2" xref="A3.SS2.p1.5.m5.2.2.2.5.2.cmml">𝒫</mi><mo lspace="0em" rspace="0em" id="A3.SS2.p1.5.m5.2.2.2.5.1" xref="A3.SS2.p1.5.m5.2.2.2.5.1.cmml">​</mo><mrow id="A3.SS2.p1.5.m5.2.2.2.5.3.2" xref="A3.SS2.p1.5.m5.2.2.2.5.3.1.cmml"><mo stretchy="false" id="A3.SS2.p1.5.m5.2.2.2.5.3.2.1" xref="A3.SS2.p1.5.m5.2.2.2.5.3.1.cmml">(</mo><mi id="A3.SS2.p1.5.m5.1.1.1.1" xref="A3.SS2.p1.5.m5.1.1.1.1.cmml">s</mi><mo id="A3.SS2.p1.5.m5.2.2.2.5.3.2.2" xref="A3.SS2.p1.5.m5.2.2.2.5.3.1.cmml">,</mo><mi id="A3.SS2.p1.5.m5.2.2.2.2" xref="A3.SS2.p1.5.m5.2.2.2.2.cmml">a</mi><mo stretchy="false" id="A3.SS2.p1.5.m5.2.2.2.5.3.2.3" xref="A3.SS2.p1.5.m5.2.2.2.5.3.1.cmml">)</mo></mrow></mrow></mrow></msub><mo lspace="0em" rspace="0em" id="A3.SS2.p1.5.m5.8.8.2.1.2a" xref="A3.SS2.p1.5.m5.8.8.2.1.2.cmml">​</mo><mrow id="A3.SS2.p1.5.m5.8.8.2.1.1.1" xref="A3.SS2.p1.5.m5.8.8.2.1.1.2.cmml"><mo id="A3.SS2.p1.5.m5.8.8.2.1.1.1.2" xref="A3.SS2.p1.5.m5.8.8.2.1.1.2.1.cmml">[</mo><mrow id="A3.SS2.p1.5.m5.8.8.2.1.1.1.1" xref="A3.SS2.p1.5.m5.8.8.2.1.1.1.1.cmml"><msup id="A3.SS2.p1.5.m5.8.8.2.1.1.1.1.3" xref="A3.SS2.p1.5.m5.8.8.2.1.1.1.1.3.cmml"><mi id="A3.SS2.p1.5.m5.8.8.2.1.1.1.1.3.2" xref="A3.SS2.p1.5.m5.8.8.2.1.1.1.1.3.2.cmml">V</mi><mi id="A3.SS2.p1.5.m5.8.8.2.1.1.1.1.3.3" xref="A3.SS2.p1.5.m5.8.8.2.1.1.1.1.3.3.cmml">θ</mi></msup><mo lspace="0em" rspace="0em" id="A3.SS2.p1.5.m5.8.8.2.1.1.1.1.2" xref="A3.SS2.p1.5.m5.8.8.2.1.1.1.1.2.cmml">​</mo><mrow id="A3.SS2.p1.5.m5.8.8.2.1.1.1.1.1.1" xref="A3.SS2.p1.5.m5.8.8.2.1.1.1.1.1.1.1.cmml"><mo stretchy="false" id="A3.SS2.p1.5.m5.8.8.2.1.1.1.1.1.1.2" xref="A3.SS2.p1.5.m5.8.8.2.1.1.1.1.1.1.1.cmml">(</mo><msup id="A3.SS2.p1.5.m5.8.8.2.1.1.1.1.1.1.1" xref="A3.SS2.p1.5.m5.8.8.2.1.1.1.1.1.1.1.cmml"><mi id="A3.SS2.p1.5.m5.8.8.2.1.1.1.1.1.1.1.2" xref="A3.SS2.p1.5.m5.8.8.2.1.1.1.1.1.1.1.2.cmml">s</mi><mo id="A3.SS2.p1.5.m5.8.8.2.1.1.1.1.1.1.1.3" xref="A3.SS2.p1.5.m5.8.8.2.1.1.1.1.1.1.1.3.cmml">′</mo></msup><mo stretchy="false" id="A3.SS2.p1.5.m5.8.8.2.1.1.1.1.1.1.3" xref="A3.SS2.p1.5.m5.8.8.2.1.1.1.1.1.1.1.cmml">)</mo></mrow></mrow><mo id="A3.SS2.p1.5.m5.8.8.2.1.1.1.3" xref="A3.SS2.p1.5.m5.8.8.2.1.1.2.1.cmml">]</mo></mrow></mrow></mrow></mrow><annotation-xml encoding="MathML-Content" id="A3.SS2.p1.5.m5.8b"><apply id="A3.SS2.p1.5.m5.8.8.cmml" xref="A3.SS2.p1.5.m5.8.8"><eq id="A3.SS2.p1.5.m5.8.8.3.cmml" xref="A3.SS2.p1.5.m5.8.8.3"></eq><apply id="A3.SS2.p1.5.m5.7.7.1.cmml" xref="A3.SS2.p1.5.m5.7.7.1"><times id="A3.SS2.p1.5.m5.7.7.1.2.cmml" xref="A3.SS2.p1.5.m5.7.7.1.2"></times><apply id="A3.SS2.p1.5.m5.7.7.1.1.1.1.cmml" xref="A3.SS2.p1.5.m5.7.7.1.1.1"><times id="A3.SS2.p1.5.m5.7.7.1.1.1.1.1.cmml" xref="A3.SS2.p1.5.m5.7.7.1.1.1.1.1"></times><apply id="A3.SS2.p1.5.m5.7.7.1.1.1.1.2.cmml" xref="A3.SS2.p1.5.m5.7.7.1.1.1.1.2"><csymbol cd="ambiguous" id="A3.SS2.p1.5.m5.7.7.1.1.1.1.2.1.cmml" xref="A3.SS2.p1.5.m5.7.7.1.1.1.1.2">superscript</csymbol><ci id="A3.SS2.p1.5.m5.7.7.1.1.1.1.2.2.cmml" xref="A3.SS2.p1.5.m5.7.7.1.1.1.1.2.2">𝒯</ci><ci id="A3.SS2.p1.5.m5.7.7.1.1.1.1.2.3.cmml" xref="A3.SS2.p1.5.m5.7.7.1.1.1.1.2.3">𝜃</ci></apply><ci id="A3.SS2.p1.5.m5.7.7.1.1.1.1.3.cmml" xref="A3.SS2.p1.5.m5.7.7.1.1.1.1.3">𝑄</ci></apply><interval closure="open" id="A3.SS2.p1.5.m5.7.7.1.3.1.cmml" xref="A3.SS2.p1.5.m5.7.7.1.3.2"><ci id="A3.SS2.p1.5.m5.3.3.cmml" xref="A3.SS2.p1.5.m5.3.3">𝑠</ci><ci id="A3.SS2.p1.5.m5.4.4.cmml" xref="A3.SS2.p1.5.m5.4.4">𝑎</ci></interval></apply><apply id="A3.SS2.p1.5.m5.8.8.2.cmml" xref="A3.SS2.p1.5.m5.8.8.2"><minus id="A3.SS2.p1.5.m5.8.8.2.2.cmml" xref="A3.SS2.p1.5.m5.8.8.2.2"></minus><apply id="A3.SS2.p1.5.m5.8.8.2.3.cmml" xref="A3.SS2.p1.5.m5.8.8.2.3"><times id="A3.SS2.p1.5.m5.8.8.2.3.1.cmml" xref="A3.SS2.p1.5.m5.8.8.2.3.1"></times><ci id="A3.SS2.p1.5.m5.8.8.2.3.2.cmml" xref="A3.SS2.p1.5.m5.8.8.2.3.2">𝑄</ci><interval closure="open" id="A3.SS2.p1.5.m5.8.8.2.3.3.1.cmml" xref="A3.SS2.p1.5.m5.8.8.2.3.3.2"><ci id="A3.SS2.p1.5.m5.5.5.cmml" xref="A3.SS2.p1.5.m5.5.5">𝑠</ci><ci id="A3.SS2.p1.5.m5.6.6.cmml" xref="A3.SS2.p1.5.m5.6.6">𝑎</ci></interval></apply><apply id="A3.SS2.p1.5.m5.8.8.2.1.cmml" xref="A3.SS2.p1.5.m5.8.8.2.1"><times id="A3.SS2.p1.5.m5.8.8.2.1.2.cmml" xref="A3.SS2.p1.5.m5.8.8.2.1.2"></times><ci id="A3.SS2.p1.5.m5.8.8.2.1.3.cmml" xref="A3.SS2.p1.5.m5.8.8.2.1.3">𝛾</ci><apply id="A3.SS2.p1.5.m5.8.8.2.1.4.cmml" xref="A3.SS2.p1.5.m5.8.8.2.1.4"><csymbol cd="ambiguous" id="A3.SS2.p1.5.m5.8.8.2.1.4.1.cmml" xref="A3.SS2.p1.5.m5.8.8.2.1.4">subscript</csymbol><ci id="A3.SS2.p1.5.m5.8.8.2.1.4.2.cmml" xref="A3.SS2.p1.5.m5.8.8.2.1.4.2">𝔼</ci><apply id="A3.SS2.p1.5.m5.2.2.2.cmml" xref="A3.SS2.p1.5.m5.2.2.2"><csymbol cd="latexml" id="A3.SS2.p1.5.m5.2.2.2.3.cmml" xref="A3.SS2.p1.5.m5.2.2.2.3">similar-to</csymbol><apply id="A3.SS2.p1.5.m5.2.2.2.4.cmml" xref="A3.SS2.p1.5.m5.2.2.2.4"><csymbol cd="ambiguous" id="A3.SS2.p1.5.m5.2.2.2.4.1.cmml" xref="A3.SS2.p1.5.m5.2.2.2.4">superscript</csymbol><ci id="A3.SS2.p1.5.m5.2.2.2.4.2.cmml" xref="A3.SS2.p1.5.m5.2.2.2.4.2">𝑠</ci><ci id="A3.SS2.p1.5.m5.2.2.2.4.3.cmml" xref="A3.SS2.p1.5.m5.2.2.2.4.3">′</ci></apply><apply id="A3.SS2.p1.5.m5.2.2.2.5.cmml" xref="A3.SS2.p1.5.m5.2.2.2.5"><times id="A3.SS2.p1.5.m5.2.2.2.5.1.cmml" xref="A3.SS2.p1.5.m5.2.2.2.5.1"></times><ci id="A3.SS2.p1.5.m5.2.2.2.5.2.cmml" xref="A3.SS2.p1.5.m5.2.2.2.5.2">𝒫</ci><interval closure="open" id="A3.SS2.p1.5.m5.2.2.2.5.3.1.cmml" xref="A3.SS2.p1.5.m5.2.2.2.5.3.2"><ci id="A3.SS2.p1.5.m5.1.1.1.1.cmml" xref="A3.SS2.p1.5.m5.1.1.1.1">𝑠</ci><ci id="A3.SS2.p1.5.m5.2.2.2.2.cmml" xref="A3.SS2.p1.5.m5.2.2.2.2">𝑎</ci></interval></apply></apply></apply><apply id="A3.SS2.p1.5.m5.8.8.2.1.1.2.cmml" xref="A3.SS2.p1.5.m5.8.8.2.1.1.1"><csymbol cd="latexml" id="A3.SS2.p1.5.m5.8.8.2.1.1.2.1.cmml" xref="A3.SS2.p1.5.m5.8.8.2.1.1.1.2">delimited-[]</csymbol><apply id="A3.SS2.p1.5.m5.8.8.2.1.1.1.1.cmml" xref="A3.SS2.p1.5.m5.8.8.2.1.1.1.1"><times id="A3.SS2.p1.5.m5.8.8.2.1.1.1.1.2.cmml" xref="A3.SS2.p1.5.m5.8.8.2.1.1.1.1.2"></times><apply id="A3.SS2.p1.5.m5.8.8.2.1.1.1.1.3.cmml" xref="A3.SS2.p1.5.m5.8.8.2.1.1.1.1.3"><csymbol cd="ambiguous" id="A3.SS2.p1.5.m5.8.8.2.1.1.1.1.3.1.cmml" xref="A3.SS2.p1.5.m5.8.8.2.1.1.1.1.3">superscript</csymbol><ci id="A3.SS2.p1.5.m5.8.8.2.1.1.1.1.3.2.cmml" xref="A3.SS2.p1.5.m5.8.8.2.1.1.1.1.3.2">𝑉</ci><ci id="A3.SS2.p1.5.m5.8.8.2.1.1.1.1.3.3.cmml" xref="A3.SS2.p1.5.m5.8.8.2.1.1.1.1.3.3">𝜃</ci></apply><apply id="A3.SS2.p1.5.m5.8.8.2.1.1.1.1.1.1.1.cmml" xref="A3.SS2.p1.5.m5.8.8.2.1.1.1.1.1.1"><csymbol cd="ambiguous" id="A3.SS2.p1.5.m5.8.8.2.1.1.1.1.1.1.1.1.cmml" xref="A3.SS2.p1.5.m5.8.8.2.1.1.1.1.1.1">superscript</csymbol><ci id="A3.SS2.p1.5.m5.8.8.2.1.1.1.1.1.1.1.2.cmml" xref="A3.SS2.p1.5.m5.8.8.2.1.1.1.1.1.1.1.2">𝑠</ci><ci id="A3.SS2.p1.5.m5.8.8.2.1.1.1.1.1.1.1.3.cmml" xref="A3.SS2.p1.5.m5.8.8.2.1.1.1.1.1.1.1.3">′</ci></apply></apply></apply></apply></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="A3.SS2.p1.5.m5.8c">(\mathcal{T}^{\theta}Q)(s,a)=Q(s,a)-\gamma\mathbb{E}_{s^{\prime}\sim\mathcal{P}(s,a)}\left[V^{\theta}(s^{\prime})\right]</annotation></semantics></math>.</p>
</div>
<div id="A3.Thmtheorem1" class="ltx_theorem ltx_theorem_theorem">
<h6 class="ltx_title ltx_runin ltx_title_theorem">
<span class="ltx_tag ltx_tag_theorem"><span id="A3.Thmtheorem1.1.1.1" class="ltx_text ltx_font_bold">Theorem C.1</span></span><span id="A3.Thmtheorem1.2.2" class="ltx_text ltx_font_bold">.</span>
</h6>
<div id="A3.Thmtheorem1.p1" class="ltx_para">
<p id="A3.Thmtheorem1.p1.5" class="ltx_p"><span id="A3.Thmtheorem1.p1.5.5" class="ltx_text ltx_font_italic">For a fixed policy <math id="A3.Thmtheorem1.p1.1.1.m1.1" class="ltx_Math" alttext="\theta" display="inline"><semantics id="A3.Thmtheorem1.p1.1.1.m1.1a"><mi id="A3.Thmtheorem1.p1.1.1.m1.1.1" xref="A3.Thmtheorem1.p1.1.1.m1.1.1.cmml">θ</mi><annotation-xml encoding="MathML-Content" id="A3.Thmtheorem1.p1.1.1.m1.1b"><ci id="A3.Thmtheorem1.p1.1.1.m1.1.1.cmml" xref="A3.Thmtheorem1.p1.1.1.m1.1.1">𝜃</ci></annotation-xml><annotation encoding="application/x-tex" id="A3.Thmtheorem1.p1.1.1.m1.1c">\theta</annotation></semantics></math>, the inverse soft Bellman operator <math id="A3.Thmtheorem1.p1.2.2.m2.1" class="ltx_Math" alttext="\mathcal{T}^{\theta}" display="inline"><semantics id="A3.Thmtheorem1.p1.2.2.m2.1a"><msup id="A3.Thmtheorem1.p1.2.2.m2.1.1" xref="A3.Thmtheorem1.p1.2.2.m2.1.1.cmml"><mi class="ltx_font_mathcaligraphic" id="A3.Thmtheorem1.p1.2.2.m2.1.1.2" xref="A3.Thmtheorem1.p1.2.2.m2.1.1.2.cmml">𝒯</mi><mi id="A3.Thmtheorem1.p1.2.2.m2.1.1.3" xref="A3.Thmtheorem1.p1.2.2.m2.1.1.3.cmml">θ</mi></msup><annotation-xml encoding="MathML-Content" id="A3.Thmtheorem1.p1.2.2.m2.1b"><apply id="A3.Thmtheorem1.p1.2.2.m2.1.1.cmml" xref="A3.Thmtheorem1.p1.2.2.m2.1.1"><csymbol cd="ambiguous" id="A3.Thmtheorem1.p1.2.2.m2.1.1.1.cmml" xref="A3.Thmtheorem1.p1.2.2.m2.1.1">superscript</csymbol><ci id="A3.Thmtheorem1.p1.2.2.m2.1.1.2.cmml" xref="A3.Thmtheorem1.p1.2.2.m2.1.1.2">𝒯</ci><ci id="A3.Thmtheorem1.p1.2.2.m2.1.1.3.cmml" xref="A3.Thmtheorem1.p1.2.2.m2.1.1.3">𝜃</ci></apply></annotation-xml><annotation encoding="application/x-tex" id="A3.Thmtheorem1.p1.2.2.m2.1c">\mathcal{T}^{\theta}</annotation></semantics></math> is bijective, and for any <math id="A3.Thmtheorem1.p1.3.3.m3.1" class="ltx_Math" alttext="r\in\mathcal{R}" display="inline"><semantics id="A3.Thmtheorem1.p1.3.3.m3.1a"><mrow id="A3.Thmtheorem1.p1.3.3.m3.1.1" xref="A3.Thmtheorem1.p1.3.3.m3.1.1.cmml"><mi id="A3.Thmtheorem1.p1.3.3.m3.1.1.2" xref="A3.Thmtheorem1.p1.3.3.m3.1.1.2.cmml">r</mi><mo id="A3.Thmtheorem1.p1.3.3.m3.1.1.1" xref="A3.Thmtheorem1.p1.3.3.m3.1.1.1.cmml">∈</mo><mi class="ltx_font_mathcaligraphic" id="A3.Thmtheorem1.p1.3.3.m3.1.1.3" xref="A3.Thmtheorem1.p1.3.3.m3.1.1.3.cmml">ℛ</mi></mrow><annotation-xml encoding="MathML-Content" id="A3.Thmtheorem1.p1.3.3.m3.1b"><apply id="A3.Thmtheorem1.p1.3.3.m3.1.1.cmml" xref="A3.Thmtheorem1.p1.3.3.m3.1.1"><in id="A3.Thmtheorem1.p1.3.3.m3.1.1.1.cmml" xref="A3.Thmtheorem1.p1.3.3.m3.1.1.1"></in><ci id="A3.Thmtheorem1.p1.3.3.m3.1.1.2.cmml" xref="A3.Thmtheorem1.p1.3.3.m3.1.1.2">𝑟</ci><ci id="A3.Thmtheorem1.p1.3.3.m3.1.1.3.cmml" xref="A3.Thmtheorem1.p1.3.3.m3.1.1.3">ℛ</ci></apply></annotation-xml><annotation encoding="application/x-tex" id="A3.Thmtheorem1.p1.3.3.m3.1c">r\in\mathcal{R}</annotation></semantics></math>, <math id="A3.Thmtheorem1.p1.4.4.m4.1" class="ltx_Math" alttext="Q=(\mathcal{T}^{\theta})^{-1}r" display="inline"><semantics id="A3.Thmtheorem1.p1.4.4.m4.1a"><mrow id="A3.Thmtheorem1.p1.4.4.m4.1.1" xref="A3.Thmtheorem1.p1.4.4.m4.1.1.cmml"><mi id="A3.Thmtheorem1.p1.4.4.m4.1.1.3" xref="A3.Thmtheorem1.p1.4.4.m4.1.1.3.cmml">Q</mi><mo id="A3.Thmtheorem1.p1.4.4.m4.1.1.2" xref="A3.Thmtheorem1.p1.4.4.m4.1.1.2.cmml">=</mo><mrow id="A3.Thmtheorem1.p1.4.4.m4.1.1.1" xref="A3.Thmtheorem1.p1.4.4.m4.1.1.1.cmml"><msup id="A3.Thmtheorem1.p1.4.4.m4.1.1.1.1" xref="A3.Thmtheorem1.p1.4.4.m4.1.1.1.1.cmml"><mrow id="A3.Thmtheorem1.p1.4.4.m4.1.1.1.1.1.1" xref="A3.Thmtheorem1.p1.4.4.m4.1.1.1.1.1.1.1.cmml"><mo stretchy="false" id="A3.Thmtheorem1.p1.4.4.m4.1.1.1.1.1.1.2" xref="A3.Thmtheorem1.p1.4.4.m4.1.1.1.1.1.1.1.cmml">(</mo><msup id="A3.Thmtheorem1.p1.4.4.m4.1.1.1.1.1.1.1" xref="A3.Thmtheorem1.p1.4.4.m4.1.1.1.1.1.1.1.cmml"><mi class="ltx_font_mathcaligraphic" id="A3.Thmtheorem1.p1.4.4.m4.1.1.1.1.1.1.1.2" xref="A3.Thmtheorem1.p1.4.4.m4.1.1.1.1.1.1.1.2.cmml">𝒯</mi><mi id="A3.Thmtheorem1.p1.4.4.m4.1.1.1.1.1.1.1.3" xref="A3.Thmtheorem1.p1.4.4.m4.1.1.1.1.1.1.1.3.cmml">θ</mi></msup><mo stretchy="false" id="A3.Thmtheorem1.p1.4.4.m4.1.1.1.1.1.1.3" xref="A3.Thmtheorem1.p1.4.4.m4.1.1.1.1.1.1.1.cmml">)</mo></mrow><mrow id="A3.Thmtheorem1.p1.4.4.m4.1.1.1.1.3" xref="A3.Thmtheorem1.p1.4.4.m4.1.1.1.1.3.cmml"><mo id="A3.Thmtheorem1.p1.4.4.m4.1.1.1.1.3a" xref="A3.Thmtheorem1.p1.4.4.m4.1.1.1.1.3.cmml">−</mo><mn id="A3.Thmtheorem1.p1.4.4.m4.1.1.1.1.3.2" xref="A3.Thmtheorem1.p1.4.4.m4.1.1.1.1.3.2.cmml">1</mn></mrow></msup><mo lspace="0em" rspace="0em" id="A3.Thmtheorem1.p1.4.4.m4.1.1.1.2" xref="A3.Thmtheorem1.p1.4.4.m4.1.1.1.2.cmml">​</mo><mi id="A3.Thmtheorem1.p1.4.4.m4.1.1.1.3" xref="A3.Thmtheorem1.p1.4.4.m4.1.1.1.3.cmml">r</mi></mrow></mrow><annotation-xml encoding="MathML-Content" id="A3.Thmtheorem1.p1.4.4.m4.1b"><apply id="A3.Thmtheorem1.p1.4.4.m4.1.1.cmml" xref="A3.Thmtheorem1.p1.4.4.m4.1.1"><eq id="A3.Thmtheorem1.p1.4.4.m4.1.1.2.cmml" xref="A3.Thmtheorem1.p1.4.4.m4.1.1.2"></eq><ci id="A3.Thmtheorem1.p1.4.4.m4.1.1.3.cmml" xref="A3.Thmtheorem1.p1.4.4.m4.1.1.3">𝑄</ci><apply id="A3.Thmtheorem1.p1.4.4.m4.1.1.1.cmml" xref="A3.Thmtheorem1.p1.4.4.m4.1.1.1"><times id="A3.Thmtheorem1.p1.4.4.m4.1.1.1.2.cmml" xref="A3.Thmtheorem1.p1.4.4.m4.1.1.1.2"></times><apply id="A3.Thmtheorem1.p1.4.4.m4.1.1.1.1.cmml" xref="A3.Thmtheorem1.p1.4.4.m4.1.1.1.1"><csymbol cd="ambiguous" id="A3.Thmtheorem1.p1.4.4.m4.1.1.1.1.2.cmml" xref="A3.Thmtheorem1.p1.4.4.m4.1.1.1.1">superscript</csymbol><apply id="A3.Thmtheorem1.p1.4.4.m4.1.1.1.1.1.1.1.cmml" xref="A3.Thmtheorem1.p1.4.4.m4.1.1.1.1.1.1"><csymbol cd="ambiguous" id="A3.Thmtheorem1.p1.4.4.m4.1.1.1.1.1.1.1.1.cmml" xref="A3.Thmtheorem1.p1.4.4.m4.1.1.1.1.1.1">superscript</csymbol><ci id="A3.Thmtheorem1.p1.4.4.m4.1.1.1.1.1.1.1.2.cmml" xref="A3.Thmtheorem1.p1.4.4.m4.1.1.1.1.1.1.1.2">𝒯</ci><ci id="A3.Thmtheorem1.p1.4.4.m4.1.1.1.1.1.1.1.3.cmml" xref="A3.Thmtheorem1.p1.4.4.m4.1.1.1.1.1.1.1.3">𝜃</ci></apply><apply id="A3.Thmtheorem1.p1.4.4.m4.1.1.1.1.3.cmml" xref="A3.Thmtheorem1.p1.4.4.m4.1.1.1.1.3"><minus id="A3.Thmtheorem1.p1.4.4.m4.1.1.1.1.3.1.cmml" xref="A3.Thmtheorem1.p1.4.4.m4.1.1.1.1.3"></minus><cn type="integer" id="A3.Thmtheorem1.p1.4.4.m4.1.1.1.1.3.2.cmml" xref="A3.Thmtheorem1.p1.4.4.m4.1.1.1.1.3.2">1</cn></apply></apply><ci id="A3.Thmtheorem1.p1.4.4.m4.1.1.1.3.cmml" xref="A3.Thmtheorem1.p1.4.4.m4.1.1.1.3">𝑟</ci></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="A3.Thmtheorem1.p1.4.4.m4.1c">Q=(\mathcal{T}^{\theta})^{-1}r</annotation></semantics></math> is the unique fixed point of the Bellman operator <math id="A3.Thmtheorem1.p1.5.5.m5.1" class="ltx_Math" alttext="\mathcal{B}_{r}^{\theta}" display="inline"><semantics id="A3.Thmtheorem1.p1.5.5.m5.1a"><msubsup id="A3.Thmtheorem1.p1.5.5.m5.1.1" xref="A3.Thmtheorem1.p1.5.5.m5.1.1.cmml"><mi class="ltx_font_mathcaligraphic" id="A3.Thmtheorem1.p1.5.5.m5.1.1.2.2" xref="A3.Thmtheorem1.p1.5.5.m5.1.1.2.2.cmml">ℬ</mi><mi id="A3.Thmtheorem1.p1.5.5.m5.1.1.2.3" xref="A3.Thmtheorem1.p1.5.5.m5.1.1.2.3.cmml">r</mi><mi id="A3.Thmtheorem1.p1.5.5.m5.1.1.3" xref="A3.Thmtheorem1.p1.5.5.m5.1.1.3.cmml">θ</mi></msubsup><annotation-xml encoding="MathML-Content" id="A3.Thmtheorem1.p1.5.5.m5.1b"><apply id="A3.Thmtheorem1.p1.5.5.m5.1.1.cmml" xref="A3.Thmtheorem1.p1.5.5.m5.1.1"><csymbol cd="ambiguous" id="A3.Thmtheorem1.p1.5.5.m5.1.1.1.cmml" xref="A3.Thmtheorem1.p1.5.5.m5.1.1">superscript</csymbol><apply id="A3.Thmtheorem1.p1.5.5.m5.1.1.2.cmml" xref="A3.Thmtheorem1.p1.5.5.m5.1.1"><csymbol cd="ambiguous" id="A3.Thmtheorem1.p1.5.5.m5.1.1.2.1.cmml" xref="A3.Thmtheorem1.p1.5.5.m5.1.1">subscript</csymbol><ci id="A3.Thmtheorem1.p1.5.5.m5.1.1.2.2.cmml" xref="A3.Thmtheorem1.p1.5.5.m5.1.1.2.2">ℬ</ci><ci id="A3.Thmtheorem1.p1.5.5.m5.1.1.2.3.cmml" xref="A3.Thmtheorem1.p1.5.5.m5.1.1.2.3">𝑟</ci></apply><ci id="A3.Thmtheorem1.p1.5.5.m5.1.1.3.cmml" xref="A3.Thmtheorem1.p1.5.5.m5.1.1.3">𝜃</ci></apply></annotation-xml><annotation encoding="application/x-tex" id="A3.Thmtheorem1.p1.5.5.m5.1c">\mathcal{B}_{r}^{\theta}</annotation></semantics></math>.</span></p>
</div>
</div>
<div id="A3.SS2.3" class="ltx_proof">
<h6 class="ltx_title ltx_runin ltx_font_italic ltx_title_proof">Proof.</h6>
<div id="A3.SS2.3.p1" class="ltx_para">
<p id="A3.SS2.3.p1.15" class="ltx_p">The proof is very similar to the proof of lemma 3.2 in <cite class="ltx_cite ltx_citemacro_citet">Garg et al. [<a href="#bib.bib11" title="" class="ltx_ref">11</a>]</cite>. We construct an infinite matrix <math id="A3.SS2.3.p1.1.m1.2" class="ltx_Math" alttext="P^{\theta}\in\mathbb{R}^{(\mathcal{S}\times\mathcal{A})\times(\mathcal{S}\times\mathcal{A})}" display="inline"><semantics id="A3.SS2.3.p1.1.m1.2a"><mrow id="A3.SS2.3.p1.1.m1.2.3" xref="A3.SS2.3.p1.1.m1.2.3.cmml"><msup id="A3.SS2.3.p1.1.m1.2.3.2" xref="A3.SS2.3.p1.1.m1.2.3.2.cmml"><mi id="A3.SS2.3.p1.1.m1.2.3.2.2" xref="A3.SS2.3.p1.1.m1.2.3.2.2.cmml">P</mi><mi id="A3.SS2.3.p1.1.m1.2.3.2.3" xref="A3.SS2.3.p1.1.m1.2.3.2.3.cmml">θ</mi></msup><mo id="A3.SS2.3.p1.1.m1.2.3.1" xref="A3.SS2.3.p1.1.m1.2.3.1.cmml">∈</mo><msup id="A3.SS2.3.p1.1.m1.2.3.3" xref="A3.SS2.3.p1.1.m1.2.3.3.cmml"><mi id="A3.SS2.3.p1.1.m1.2.3.3.2" xref="A3.SS2.3.p1.1.m1.2.3.3.2.cmml">ℝ</mi><mrow id="A3.SS2.3.p1.1.m1.2.2.2" xref="A3.SS2.3.p1.1.m1.2.2.2.cmml"><mrow id="A3.SS2.3.p1.1.m1.1.1.1.1.1" xref="A3.SS2.3.p1.1.m1.1.1.1.1.1.1.cmml"><mo stretchy="false" id="A3.SS2.3.p1.1.m1.1.1.1.1.1.2" xref="A3.SS2.3.p1.1.m1.1.1.1.1.1.1.cmml">(</mo><mrow id="A3.SS2.3.p1.1.m1.1.1.1.1.1.1" xref="A3.SS2.3.p1.1.m1.1.1.1.1.1.1.cmml"><mi class="ltx_font_mathcaligraphic" id="A3.SS2.3.p1.1.m1.1.1.1.1.1.1.2" xref="A3.SS2.3.p1.1.m1.1.1.1.1.1.1.2.cmml">𝒮</mi><mo lspace="0.222em" rspace="0.222em" id="A3.SS2.3.p1.1.m1.1.1.1.1.1.1.1" xref="A3.SS2.3.p1.1.m1.1.1.1.1.1.1.1.cmml">×</mo><mi class="ltx_font_mathcaligraphic" id="A3.SS2.3.p1.1.m1.1.1.1.1.1.1.3" xref="A3.SS2.3.p1.1.m1.1.1.1.1.1.1.3.cmml">𝒜</mi></mrow><mo rspace="0.055em" stretchy="false" id="A3.SS2.3.p1.1.m1.1.1.1.1.1.3" xref="A3.SS2.3.p1.1.m1.1.1.1.1.1.1.cmml">)</mo></mrow><mo rspace="0.222em" id="A3.SS2.3.p1.1.m1.2.2.2.3" xref="A3.SS2.3.p1.1.m1.2.2.2.3.cmml">×</mo><mrow id="A3.SS2.3.p1.1.m1.2.2.2.2.1" xref="A3.SS2.3.p1.1.m1.2.2.2.2.1.1.cmml"><mo stretchy="false" id="A3.SS2.3.p1.1.m1.2.2.2.2.1.2" xref="A3.SS2.3.p1.1.m1.2.2.2.2.1.1.cmml">(</mo><mrow id="A3.SS2.3.p1.1.m1.2.2.2.2.1.1" xref="A3.SS2.3.p1.1.m1.2.2.2.2.1.1.cmml"><mi class="ltx_font_mathcaligraphic" id="A3.SS2.3.p1.1.m1.2.2.2.2.1.1.2" xref="A3.SS2.3.p1.1.m1.2.2.2.2.1.1.2.cmml">𝒮</mi><mo lspace="0.222em" rspace="0.222em" id="A3.SS2.3.p1.1.m1.2.2.2.2.1.1.1" xref="A3.SS2.3.p1.1.m1.2.2.2.2.1.1.1.cmml">×</mo><mi class="ltx_font_mathcaligraphic" id="A3.SS2.3.p1.1.m1.2.2.2.2.1.1.3" xref="A3.SS2.3.p1.1.m1.2.2.2.2.1.1.3.cmml">𝒜</mi></mrow><mo stretchy="false" id="A3.SS2.3.p1.1.m1.2.2.2.2.1.3" xref="A3.SS2.3.p1.1.m1.2.2.2.2.1.1.cmml">)</mo></mrow></mrow></msup></mrow><annotation-xml encoding="MathML-Content" id="A3.SS2.3.p1.1.m1.2b"><apply id="A3.SS2.3.p1.1.m1.2.3.cmml" xref="A3.SS2.3.p1.1.m1.2.3"><in id="A3.SS2.3.p1.1.m1.2.3.1.cmml" xref="A3.SS2.3.p1.1.m1.2.3.1"></in><apply id="A3.SS2.3.p1.1.m1.2.3.2.cmml" xref="A3.SS2.3.p1.1.m1.2.3.2"><csymbol cd="ambiguous" id="A3.SS2.3.p1.1.m1.2.3.2.1.cmml" xref="A3.SS2.3.p1.1.m1.2.3.2">superscript</csymbol><ci id="A3.SS2.3.p1.1.m1.2.3.2.2.cmml" xref="A3.SS2.3.p1.1.m1.2.3.2.2">𝑃</ci><ci id="A3.SS2.3.p1.1.m1.2.3.2.3.cmml" xref="A3.SS2.3.p1.1.m1.2.3.2.3">𝜃</ci></apply><apply id="A3.SS2.3.p1.1.m1.2.3.3.cmml" xref="A3.SS2.3.p1.1.m1.2.3.3"><csymbol cd="ambiguous" id="A3.SS2.3.p1.1.m1.2.3.3.1.cmml" xref="A3.SS2.3.p1.1.m1.2.3.3">superscript</csymbol><ci id="A3.SS2.3.p1.1.m1.2.3.3.2.cmml" xref="A3.SS2.3.p1.1.m1.2.3.3.2">ℝ</ci><apply id="A3.SS2.3.p1.1.m1.2.2.2.cmml" xref="A3.SS2.3.p1.1.m1.2.2.2"><times id="A3.SS2.3.p1.1.m1.2.2.2.3.cmml" xref="A3.SS2.3.p1.1.m1.2.2.2.3"></times><apply id="A3.SS2.3.p1.1.m1.1.1.1.1.1.1.cmml" xref="A3.SS2.3.p1.1.m1.1.1.1.1.1"><times id="A3.SS2.3.p1.1.m1.1.1.1.1.1.1.1.cmml" xref="A3.SS2.3.p1.1.m1.1.1.1.1.1.1.1"></times><ci id="A3.SS2.3.p1.1.m1.1.1.1.1.1.1.2.cmml" xref="A3.SS2.3.p1.1.m1.1.1.1.1.1.1.2">𝒮</ci><ci id="A3.SS2.3.p1.1.m1.1.1.1.1.1.1.3.cmml" xref="A3.SS2.3.p1.1.m1.1.1.1.1.1.1.3">𝒜</ci></apply><apply id="A3.SS2.3.p1.1.m1.2.2.2.2.1.1.cmml" xref="A3.SS2.3.p1.1.m1.2.2.2.2.1"><times id="A3.SS2.3.p1.1.m1.2.2.2.2.1.1.1.cmml" xref="A3.SS2.3.p1.1.m1.2.2.2.2.1.1.1"></times><ci id="A3.SS2.3.p1.1.m1.2.2.2.2.1.1.2.cmml" xref="A3.SS2.3.p1.1.m1.2.2.2.2.1.1.2">𝒮</ci><ci id="A3.SS2.3.p1.1.m1.2.2.2.2.1.1.3.cmml" xref="A3.SS2.3.p1.1.m1.2.2.2.2.1.1.3">𝒜</ci></apply></apply></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="A3.SS2.3.p1.1.m1.2c">P^{\theta}\in\mathbb{R}^{(\mathcal{S}\times\mathcal{A})\times(\mathcal{S}\times\mathcal{A})}</annotation></semantics></math>, where <math id="A3.SS2.3.p1.2.m2.6" class="ltx_math_unparsed" alttext="(P^{\theta}f)(s,a)=\mathbb{E}_{s^{\prime}\sim\mathcal{P}(\cdot|s,a),a^{\prime}\sim p_{\theta}(\cdot|s^{\prime})}\left[f(s^{\prime},a^{\prime})\right]" display="inline"><semantics id="A3.SS2.3.p1.2.m2.6a"><mrow id="A3.SS2.3.p1.2.m2.6.6"><mrow id="A3.SS2.3.p1.2.m2.5.5.1"><mrow id="A3.SS2.3.p1.2.m2.5.5.1.1.1"><mo stretchy="false" id="A3.SS2.3.p1.2.m2.5.5.1.1.1.2">(</mo><mrow id="A3.SS2.3.p1.2.m2.5.5.1.1.1.1"><msup id="A3.SS2.3.p1.2.m2.5.5.1.1.1.1.2"><mi id="A3.SS2.3.p1.2.m2.5.5.1.1.1.1.2.2">P</mi><mi id="A3.SS2.3.p1.2.m2.5.5.1.1.1.1.2.3">θ</mi></msup><mo lspace="0em" rspace="0em" id="A3.SS2.3.p1.2.m2.5.5.1.1.1.1.1">​</mo><mi id="A3.SS2.3.p1.2.m2.5.5.1.1.1.1.3">f</mi></mrow><mo stretchy="false" id="A3.SS2.3.p1.2.m2.5.5.1.1.1.3">)</mo></mrow><mo lspace="0em" rspace="0em" id="A3.SS2.3.p1.2.m2.5.5.1.2">​</mo><mrow id="A3.SS2.3.p1.2.m2.5.5.1.3.2"><mo stretchy="false" id="A3.SS2.3.p1.2.m2.5.5.1.3.2.1">(</mo><mi id="A3.SS2.3.p1.2.m2.3.3">s</mi><mo id="A3.SS2.3.p1.2.m2.5.5.1.3.2.2">,</mo><mi id="A3.SS2.3.p1.2.m2.4.4">a</mi><mo stretchy="false" id="A3.SS2.3.p1.2.m2.5.5.1.3.2.3">)</mo></mrow></mrow><mo id="A3.SS2.3.p1.2.m2.6.6.3">=</mo><mrow id="A3.SS2.3.p1.2.m2.6.6.2"><msub id="A3.SS2.3.p1.2.m2.6.6.2.3"><mi id="A3.SS2.3.p1.2.m2.6.6.2.3.2">𝔼</mi><mrow id="A3.SS2.3.p1.2.m2.2.2.2"><msup id="A3.SS2.3.p1.2.m2.2.2.2.3"><mi id="A3.SS2.3.p1.2.m2.2.2.2.3.2">s</mi><mo id="A3.SS2.3.p1.2.m2.2.2.2.3.3">′</mo></msup><mo id="A3.SS2.3.p1.2.m2.2.2.2.4">∼</mo><mi class="ltx_font_mathcaligraphic" id="A3.SS2.3.p1.2.m2.2.2.2.5">𝒫</mi><mrow id="A3.SS2.3.p1.2.m2.2.2.2.6"><mo stretchy="false" id="A3.SS2.3.p1.2.m2.2.2.2.6.1">(</mo><mo lspace="0em" rspace="0em" id="A3.SS2.3.p1.2.m2.2.2.2.6.2">⋅</mo><mo fence="false" rspace="0.167em" stretchy="false" id="A3.SS2.3.p1.2.m2.2.2.2.6.3">|</mo><mi id="A3.SS2.3.p1.2.m2.1.1.1.1">s</mi><mo id="A3.SS2.3.p1.2.m2.2.2.2.6.4">,</mo><mi id="A3.SS2.3.p1.2.m2.2.2.2.2">a</mi><mo stretchy="false" id="A3.SS2.3.p1.2.m2.2.2.2.6.5">)</mo></mrow><mo id="A3.SS2.3.p1.2.m2.2.2.2.7">,</mo><msup id="A3.SS2.3.p1.2.m2.2.2.2.8"><mi id="A3.SS2.3.p1.2.m2.2.2.2.8.2">a</mi><mo id="A3.SS2.3.p1.2.m2.2.2.2.8.3">′</mo></msup><mo id="A3.SS2.3.p1.2.m2.2.2.2.9">∼</mo><msub id="A3.SS2.3.p1.2.m2.2.2.2.10"><mi id="A3.SS2.3.p1.2.m2.2.2.2.10.2">p</mi><mi id="A3.SS2.3.p1.2.m2.2.2.2.10.3">θ</mi></msub><mrow id="A3.SS2.3.p1.2.m2.2.2.2.11"><mo stretchy="false" id="A3.SS2.3.p1.2.m2.2.2.2.11.1">(</mo><mo lspace="0em" rspace="0em" id="A3.SS2.3.p1.2.m2.2.2.2.11.2">⋅</mo><mo fence="false" rspace="0.167em" stretchy="false" id="A3.SS2.3.p1.2.m2.2.2.2.11.3">|</mo><msup id="A3.SS2.3.p1.2.m2.2.2.2.11.4"><mi id="A3.SS2.3.p1.2.m2.2.2.2.11.4.2">s</mi><mo id="A3.SS2.3.p1.2.m2.2.2.2.11.4.3">′</mo></msup><mo stretchy="false" id="A3.SS2.3.p1.2.m2.2.2.2.11.5">)</mo></mrow></mrow></msub><mo lspace="0em" rspace="0em" id="A3.SS2.3.p1.2.m2.6.6.2.2">​</mo><mrow id="A3.SS2.3.p1.2.m2.6.6.2.1.1"><mo id="A3.SS2.3.p1.2.m2.6.6.2.1.1.2">[</mo><mrow id="A3.SS2.3.p1.2.m2.6.6.2.1.1.1"><mi id="A3.SS2.3.p1.2.m2.6.6.2.1.1.1.4">f</mi><mo lspace="0em" rspace="0em" id="A3.SS2.3.p1.2.m2.6.6.2.1.1.1.3">​</mo><mrow id="A3.SS2.3.p1.2.m2.6.6.2.1.1.1.2.2"><mo stretchy="false" id="A3.SS2.3.p1.2.m2.6.6.2.1.1.1.2.2.3">(</mo><msup id="A3.SS2.3.p1.2.m2.6.6.2.1.1.1.1.1.1"><mi id="A3.SS2.3.p1.2.m2.6.6.2.1.1.1.1.1.1.2">s</mi><mo id="A3.SS2.3.p1.2.m2.6.6.2.1.1.1.1.1.1.3">′</mo></msup><mo id="A3.SS2.3.p1.2.m2.6.6.2.1.1.1.2.2.4">,</mo><msup id="A3.SS2.3.p1.2.m2.6.6.2.1.1.1.2.2.2"><mi id="A3.SS2.3.p1.2.m2.6.6.2.1.1.1.2.2.2.2">a</mi><mo id="A3.SS2.3.p1.2.m2.6.6.2.1.1.1.2.2.2.3">′</mo></msup><mo stretchy="false" id="A3.SS2.3.p1.2.m2.6.6.2.1.1.1.2.2.5">)</mo></mrow></mrow><mo id="A3.SS2.3.p1.2.m2.6.6.2.1.1.3">]</mo></mrow></mrow></mrow><annotation encoding="application/x-tex" id="A3.SS2.3.p1.2.m2.6b">(P^{\theta}f)(s,a)=\mathbb{E}_{s^{\prime}\sim\mathcal{P}(\cdot|s,a),a^{\prime}\sim p_{\theta}(\cdot|s^{\prime})}\left[f(s^{\prime},a^{\prime})\right]</annotation></semantics></math>. The matrix <math id="A3.SS2.3.p1.3.m3.1" class="ltx_Math" alttext="P^{\theta}" display="inline"><semantics id="A3.SS2.3.p1.3.m3.1a"><msup id="A3.SS2.3.p1.3.m3.1.1" xref="A3.SS2.3.p1.3.m3.1.1.cmml"><mi id="A3.SS2.3.p1.3.m3.1.1.2" xref="A3.SS2.3.p1.3.m3.1.1.2.cmml">P</mi><mi id="A3.SS2.3.p1.3.m3.1.1.3" xref="A3.SS2.3.p1.3.m3.1.1.3.cmml">θ</mi></msup><annotation-xml encoding="MathML-Content" id="A3.SS2.3.p1.3.m3.1b"><apply id="A3.SS2.3.p1.3.m3.1.1.cmml" xref="A3.SS2.3.p1.3.m3.1.1"><csymbol cd="ambiguous" id="A3.SS2.3.p1.3.m3.1.1.1.cmml" xref="A3.SS2.3.p1.3.m3.1.1">superscript</csymbol><ci id="A3.SS2.3.p1.3.m3.1.1.2.cmml" xref="A3.SS2.3.p1.3.m3.1.1.2">𝑃</ci><ci id="A3.SS2.3.p1.3.m3.1.1.3.cmml" xref="A3.SS2.3.p1.3.m3.1.1.3">𝜃</ci></apply></annotation-xml><annotation encoding="application/x-tex" id="A3.SS2.3.p1.3.m3.1c">P^{\theta}</annotation></semantics></math> corresponds to the transition matrix for the given MDP and the policy <math id="A3.SS2.3.p1.4.m4.1" class="ltx_Math" alttext="\theta" display="inline"><semantics id="A3.SS2.3.p1.4.m4.1a"><mi id="A3.SS2.3.p1.4.m4.1.1" xref="A3.SS2.3.p1.4.m4.1.1.cmml">θ</mi><annotation-xml encoding="MathML-Content" id="A3.SS2.3.p1.4.m4.1b"><ci id="A3.SS2.3.p1.4.m4.1.1.cmml" xref="A3.SS2.3.p1.4.m4.1.1">𝜃</ci></annotation-xml><annotation encoding="application/x-tex" id="A3.SS2.3.p1.4.m4.1c">\theta</annotation></semantics></math>. We then have <math id="A3.SS2.3.p1.5.m5.1" class="ltx_Math" alttext="r=\mathcal{T}^{\theta}Q" display="inline"><semantics id="A3.SS2.3.p1.5.m5.1a"><mrow id="A3.SS2.3.p1.5.m5.1.1" xref="A3.SS2.3.p1.5.m5.1.1.cmml"><mi id="A3.SS2.3.p1.5.m5.1.1.2" xref="A3.SS2.3.p1.5.m5.1.1.2.cmml">r</mi><mo id="A3.SS2.3.p1.5.m5.1.1.1" xref="A3.SS2.3.p1.5.m5.1.1.1.cmml">=</mo><mrow id="A3.SS2.3.p1.5.m5.1.1.3" xref="A3.SS2.3.p1.5.m5.1.1.3.cmml"><msup id="A3.SS2.3.p1.5.m5.1.1.3.2" xref="A3.SS2.3.p1.5.m5.1.1.3.2.cmml"><mi class="ltx_font_mathcaligraphic" id="A3.SS2.3.p1.5.m5.1.1.3.2.2" xref="A3.SS2.3.p1.5.m5.1.1.3.2.2.cmml">𝒯</mi><mi id="A3.SS2.3.p1.5.m5.1.1.3.2.3" xref="A3.SS2.3.p1.5.m5.1.1.3.2.3.cmml">θ</mi></msup><mo lspace="0em" rspace="0em" id="A3.SS2.3.p1.5.m5.1.1.3.1" xref="A3.SS2.3.p1.5.m5.1.1.3.1.cmml">​</mo><mi id="A3.SS2.3.p1.5.m5.1.1.3.3" xref="A3.SS2.3.p1.5.m5.1.1.3.3.cmml">Q</mi></mrow></mrow><annotation-xml encoding="MathML-Content" id="A3.SS2.3.p1.5.m5.1b"><apply id="A3.SS2.3.p1.5.m5.1.1.cmml" xref="A3.SS2.3.p1.5.m5.1.1"><eq id="A3.SS2.3.p1.5.m5.1.1.1.cmml" xref="A3.SS2.3.p1.5.m5.1.1.1"></eq><ci id="A3.SS2.3.p1.5.m5.1.1.2.cmml" xref="A3.SS2.3.p1.5.m5.1.1.2">𝑟</ci><apply id="A3.SS2.3.p1.5.m5.1.1.3.cmml" xref="A3.SS2.3.p1.5.m5.1.1.3"><times id="A3.SS2.3.p1.5.m5.1.1.3.1.cmml" xref="A3.SS2.3.p1.5.m5.1.1.3.1"></times><apply id="A3.SS2.3.p1.5.m5.1.1.3.2.cmml" xref="A3.SS2.3.p1.5.m5.1.1.3.2"><csymbol cd="ambiguous" id="A3.SS2.3.p1.5.m5.1.1.3.2.1.cmml" xref="A3.SS2.3.p1.5.m5.1.1.3.2">superscript</csymbol><ci id="A3.SS2.3.p1.5.m5.1.1.3.2.2.cmml" xref="A3.SS2.3.p1.5.m5.1.1.3.2.2">𝒯</ci><ci id="A3.SS2.3.p1.5.m5.1.1.3.2.3.cmml" xref="A3.SS2.3.p1.5.m5.1.1.3.2.3">𝜃</ci></apply><ci id="A3.SS2.3.p1.5.m5.1.1.3.3.cmml" xref="A3.SS2.3.p1.5.m5.1.1.3.3">𝑄</ci></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="A3.SS2.3.p1.5.m5.1c">r=\mathcal{T}^{\theta}Q</annotation></semantics></math>, for any <math id="A3.SS2.3.p1.6.m6.1" class="ltx_Math" alttext="Q" display="inline"><semantics id="A3.SS2.3.p1.6.m6.1a"><mi id="A3.SS2.3.p1.6.m6.1.1" xref="A3.SS2.3.p1.6.m6.1.1.cmml">Q</mi><annotation-xml encoding="MathML-Content" id="A3.SS2.3.p1.6.m6.1b"><ci id="A3.SS2.3.p1.6.m6.1.1.cmml" xref="A3.SS2.3.p1.6.m6.1.1">𝑄</ci></annotation-xml><annotation encoding="application/x-tex" id="A3.SS2.3.p1.6.m6.1c">Q</annotation></semantics></math>. Then, <math id="A3.SS2.3.p1.7.m7.1" class="ltx_Math" alttext="\boldsymbol{r}=\boldsymbol{Q}-\gamma P^{\theta}(\boldsymbol{Q}-\log\boldsymbol{p_{\theta}})" display="inline"><semantics id="A3.SS2.3.p1.7.m7.1a"><mrow id="A3.SS2.3.p1.7.m7.1.1" xref="A3.SS2.3.p1.7.m7.1.1.cmml"><mi id="A3.SS2.3.p1.7.m7.1.1.3" xref="A3.SS2.3.p1.7.m7.1.1.3.cmml">𝒓</mi><mo id="A3.SS2.3.p1.7.m7.1.1.2" xref="A3.SS2.3.p1.7.m7.1.1.2.cmml">=</mo><mrow id="A3.SS2.3.p1.7.m7.1.1.1" xref="A3.SS2.3.p1.7.m7.1.1.1.cmml"><mi id="A3.SS2.3.p1.7.m7.1.1.1.3" xref="A3.SS2.3.p1.7.m7.1.1.1.3.cmml">𝑸</mi><mo id="A3.SS2.3.p1.7.m7.1.1.1.2" xref="A3.SS2.3.p1.7.m7.1.1.1.2.cmml">−</mo><mrow id="A3.SS2.3.p1.7.m7.1.1.1.1" xref="A3.SS2.3.p1.7.m7.1.1.1.1.cmml"><mi id="A3.SS2.3.p1.7.m7.1.1.1.1.3" xref="A3.SS2.3.p1.7.m7.1.1.1.1.3.cmml">γ</mi><mo lspace="0em" rspace="0em" id="A3.SS2.3.p1.7.m7.1.1.1.1.2" xref="A3.SS2.3.p1.7.m7.1.1.1.1.2.cmml">​</mo><msup id="A3.SS2.3.p1.7.m7.1.1.1.1.4" xref="A3.SS2.3.p1.7.m7.1.1.1.1.4.cmml"><mi id="A3.SS2.3.p1.7.m7.1.1.1.1.4.2" xref="A3.SS2.3.p1.7.m7.1.1.1.1.4.2.cmml">P</mi><mi id="A3.SS2.3.p1.7.m7.1.1.1.1.4.3" xref="A3.SS2.3.p1.7.m7.1.1.1.1.4.3.cmml">θ</mi></msup><mo lspace="0em" rspace="0em" id="A3.SS2.3.p1.7.m7.1.1.1.1.2a" xref="A3.SS2.3.p1.7.m7.1.1.1.1.2.cmml">​</mo><mrow id="A3.SS2.3.p1.7.m7.1.1.1.1.1.1" xref="A3.SS2.3.p1.7.m7.1.1.1.1.1.1.1.cmml"><mo stretchy="false" id="A3.SS2.3.p1.7.m7.1.1.1.1.1.1.2" xref="A3.SS2.3.p1.7.m7.1.1.1.1.1.1.1.cmml">(</mo><mrow id="A3.SS2.3.p1.7.m7.1.1.1.1.1.1.1" xref="A3.SS2.3.p1.7.m7.1.1.1.1.1.1.1.cmml"><mi id="A3.SS2.3.p1.7.m7.1.1.1.1.1.1.1.2" xref="A3.SS2.3.p1.7.m7.1.1.1.1.1.1.1.2.cmml">𝑸</mi><mo id="A3.SS2.3.p1.7.m7.1.1.1.1.1.1.1.1" xref="A3.SS2.3.p1.7.m7.1.1.1.1.1.1.1.1.cmml">−</mo><mrow id="A3.SS2.3.p1.7.m7.1.1.1.1.1.1.1.3" xref="A3.SS2.3.p1.7.m7.1.1.1.1.1.1.1.3.cmml"><mi id="A3.SS2.3.p1.7.m7.1.1.1.1.1.1.1.3.1" xref="A3.SS2.3.p1.7.m7.1.1.1.1.1.1.1.3.1.cmml">log</mi><mo lspace="0.167em" id="A3.SS2.3.p1.7.m7.1.1.1.1.1.1.1.3a" xref="A3.SS2.3.p1.7.m7.1.1.1.1.1.1.1.3.cmml">⁡</mo><msub id="A3.SS2.3.p1.7.m7.1.1.1.1.1.1.1.3.2" xref="A3.SS2.3.p1.7.m7.1.1.1.1.1.1.1.3.2.cmml"><mi id="A3.SS2.3.p1.7.m7.1.1.1.1.1.1.1.3.2.2" xref="A3.SS2.3.p1.7.m7.1.1.1.1.1.1.1.3.2.2.cmml">𝒑</mi><mi id="A3.SS2.3.p1.7.m7.1.1.1.1.1.1.1.3.2.3" xref="A3.SS2.3.p1.7.m7.1.1.1.1.1.1.1.3.2.3.cmml">𝜽</mi></msub></mrow></mrow><mo stretchy="false" id="A3.SS2.3.p1.7.m7.1.1.1.1.1.1.3" xref="A3.SS2.3.p1.7.m7.1.1.1.1.1.1.1.cmml">)</mo></mrow></mrow></mrow></mrow><annotation-xml encoding="MathML-Content" id="A3.SS2.3.p1.7.m7.1b"><apply id="A3.SS2.3.p1.7.m7.1.1.cmml" xref="A3.SS2.3.p1.7.m7.1.1"><eq id="A3.SS2.3.p1.7.m7.1.1.2.cmml" xref="A3.SS2.3.p1.7.m7.1.1.2"></eq><ci id="A3.SS2.3.p1.7.m7.1.1.3.cmml" xref="A3.SS2.3.p1.7.m7.1.1.3">𝒓</ci><apply id="A3.SS2.3.p1.7.m7.1.1.1.cmml" xref="A3.SS2.3.p1.7.m7.1.1.1"><minus id="A3.SS2.3.p1.7.m7.1.1.1.2.cmml" xref="A3.SS2.3.p1.7.m7.1.1.1.2"></minus><ci id="A3.SS2.3.p1.7.m7.1.1.1.3.cmml" xref="A3.SS2.3.p1.7.m7.1.1.1.3">𝑸</ci><apply id="A3.SS2.3.p1.7.m7.1.1.1.1.cmml" xref="A3.SS2.3.p1.7.m7.1.1.1.1"><times id="A3.SS2.3.p1.7.m7.1.1.1.1.2.cmml" xref="A3.SS2.3.p1.7.m7.1.1.1.1.2"></times><ci id="A3.SS2.3.p1.7.m7.1.1.1.1.3.cmml" xref="A3.SS2.3.p1.7.m7.1.1.1.1.3">𝛾</ci><apply id="A3.SS2.3.p1.7.m7.1.1.1.1.4.cmml" xref="A3.SS2.3.p1.7.m7.1.1.1.1.4"><csymbol cd="ambiguous" id="A3.SS2.3.p1.7.m7.1.1.1.1.4.1.cmml" xref="A3.SS2.3.p1.7.m7.1.1.1.1.4">superscript</csymbol><ci id="A3.SS2.3.p1.7.m7.1.1.1.1.4.2.cmml" xref="A3.SS2.3.p1.7.m7.1.1.1.1.4.2">𝑃</ci><ci id="A3.SS2.3.p1.7.m7.1.1.1.1.4.3.cmml" xref="A3.SS2.3.p1.7.m7.1.1.1.1.4.3">𝜃</ci></apply><apply id="A3.SS2.3.p1.7.m7.1.1.1.1.1.1.1.cmml" xref="A3.SS2.3.p1.7.m7.1.1.1.1.1.1"><minus id="A3.SS2.3.p1.7.m7.1.1.1.1.1.1.1.1.cmml" xref="A3.SS2.3.p1.7.m7.1.1.1.1.1.1.1.1"></minus><ci id="A3.SS2.3.p1.7.m7.1.1.1.1.1.1.1.2.cmml" xref="A3.SS2.3.p1.7.m7.1.1.1.1.1.1.1.2">𝑸</ci><apply id="A3.SS2.3.p1.7.m7.1.1.1.1.1.1.1.3.cmml" xref="A3.SS2.3.p1.7.m7.1.1.1.1.1.1.1.3"><log id="A3.SS2.3.p1.7.m7.1.1.1.1.1.1.1.3.1.cmml" xref="A3.SS2.3.p1.7.m7.1.1.1.1.1.1.1.3.1"></log><apply id="A3.SS2.3.p1.7.m7.1.1.1.1.1.1.1.3.2.cmml" xref="A3.SS2.3.p1.7.m7.1.1.1.1.1.1.1.3.2"><csymbol cd="ambiguous" id="A3.SS2.3.p1.7.m7.1.1.1.1.1.1.1.3.2.1.cmml" xref="A3.SS2.3.p1.7.m7.1.1.1.1.1.1.1.3.2">subscript</csymbol><ci id="A3.SS2.3.p1.7.m7.1.1.1.1.1.1.1.3.2.2.cmml" xref="A3.SS2.3.p1.7.m7.1.1.1.1.1.1.1.3.2.2">𝒑</ci><ci id="A3.SS2.3.p1.7.m7.1.1.1.1.1.1.1.3.2.3.cmml" xref="A3.SS2.3.p1.7.m7.1.1.1.1.1.1.1.3.2.3">𝜽</ci></apply></apply></apply></apply></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="A3.SS2.3.p1.7.m7.1c">\boldsymbol{r}=\boldsymbol{Q}-\gamma P^{\theta}(\boldsymbol{Q}-\log\boldsymbol{p_{\theta}})</annotation></semantics></math>. Rearranging, we get <math id="A3.SS2.3.p1.8.m8.2" class="ltx_Math" alttext="\boldsymbol{Q}=(I-\gamma P^{\theta})^{-1}(\boldsymbol{r}-\log\boldsymbol{p_{\theta}})+\log\boldsymbol{p_{\theta}}" display="inline"><semantics id="A3.SS2.3.p1.8.m8.2a"><mrow id="A3.SS2.3.p1.8.m8.2.2" xref="A3.SS2.3.p1.8.m8.2.2.cmml"><mi id="A3.SS2.3.p1.8.m8.2.2.4" xref="A3.SS2.3.p1.8.m8.2.2.4.cmml">𝑸</mi><mo id="A3.SS2.3.p1.8.m8.2.2.3" xref="A3.SS2.3.p1.8.m8.2.2.3.cmml">=</mo><mrow id="A3.SS2.3.p1.8.m8.2.2.2" xref="A3.SS2.3.p1.8.m8.2.2.2.cmml"><mrow id="A3.SS2.3.p1.8.m8.2.2.2.2" xref="A3.SS2.3.p1.8.m8.2.2.2.2.cmml"><msup id="A3.SS2.3.p1.8.m8.1.1.1.1.1" xref="A3.SS2.3.p1.8.m8.1.1.1.1.1.cmml"><mrow id="A3.SS2.3.p1.8.m8.1.1.1.1.1.1.1" xref="A3.SS2.3.p1.8.m8.1.1.1.1.1.1.1.1.cmml"><mo stretchy="false" id="A3.SS2.3.p1.8.m8.1.1.1.1.1.1.1.2" xref="A3.SS2.3.p1.8.m8.1.1.1.1.1.1.1.1.cmml">(</mo><mrow id="A3.SS2.3.p1.8.m8.1.1.1.1.1.1.1.1" xref="A3.SS2.3.p1.8.m8.1.1.1.1.1.1.1.1.cmml"><mi id="A3.SS2.3.p1.8.m8.1.1.1.1.1.1.1.1.2" xref="A3.SS2.3.p1.8.m8.1.1.1.1.1.1.1.1.2.cmml">I</mi><mo id="A3.SS2.3.p1.8.m8.1.1.1.1.1.1.1.1.1" xref="A3.SS2.3.p1.8.m8.1.1.1.1.1.1.1.1.1.cmml">−</mo><mrow id="A3.SS2.3.p1.8.m8.1.1.1.1.1.1.1.1.3" xref="A3.SS2.3.p1.8.m8.1.1.1.1.1.1.1.1.3.cmml"><mi id="A3.SS2.3.p1.8.m8.1.1.1.1.1.1.1.1.3.2" xref="A3.SS2.3.p1.8.m8.1.1.1.1.1.1.1.1.3.2.cmml">γ</mi><mo lspace="0em" rspace="0em" id="A3.SS2.3.p1.8.m8.1.1.1.1.1.1.1.1.3.1" xref="A3.SS2.3.p1.8.m8.1.1.1.1.1.1.1.1.3.1.cmml">​</mo><msup id="A3.SS2.3.p1.8.m8.1.1.1.1.1.1.1.1.3.3" xref="A3.SS2.3.p1.8.m8.1.1.1.1.1.1.1.1.3.3.cmml"><mi id="A3.SS2.3.p1.8.m8.1.1.1.1.1.1.1.1.3.3.2" xref="A3.SS2.3.p1.8.m8.1.1.1.1.1.1.1.1.3.3.2.cmml">P</mi><mi id="A3.SS2.3.p1.8.m8.1.1.1.1.1.1.1.1.3.3.3" xref="A3.SS2.3.p1.8.m8.1.1.1.1.1.1.1.1.3.3.3.cmml">θ</mi></msup></mrow></mrow><mo stretchy="false" id="A3.SS2.3.p1.8.m8.1.1.1.1.1.1.1.3" xref="A3.SS2.3.p1.8.m8.1.1.1.1.1.1.1.1.cmml">)</mo></mrow><mrow id="A3.SS2.3.p1.8.m8.1.1.1.1.1.3" xref="A3.SS2.3.p1.8.m8.1.1.1.1.1.3.cmml"><mo id="A3.SS2.3.p1.8.m8.1.1.1.1.1.3a" xref="A3.SS2.3.p1.8.m8.1.1.1.1.1.3.cmml">−</mo><mn id="A3.SS2.3.p1.8.m8.1.1.1.1.1.3.2" xref="A3.SS2.3.p1.8.m8.1.1.1.1.1.3.2.cmml">1</mn></mrow></msup><mo lspace="0em" rspace="0em" id="A3.SS2.3.p1.8.m8.2.2.2.2.3" xref="A3.SS2.3.p1.8.m8.2.2.2.2.3.cmml">​</mo><mrow id="A3.SS2.3.p1.8.m8.2.2.2.2.2.1" xref="A3.SS2.3.p1.8.m8.2.2.2.2.2.1.1.cmml"><mo stretchy="false" id="A3.SS2.3.p1.8.m8.2.2.2.2.2.1.2" xref="A3.SS2.3.p1.8.m8.2.2.2.2.2.1.1.cmml">(</mo><mrow id="A3.SS2.3.p1.8.m8.2.2.2.2.2.1.1" xref="A3.SS2.3.p1.8.m8.2.2.2.2.2.1.1.cmml"><mi id="A3.SS2.3.p1.8.m8.2.2.2.2.2.1.1.2" xref="A3.SS2.3.p1.8.m8.2.2.2.2.2.1.1.2.cmml">𝒓</mi><mo id="A3.SS2.3.p1.8.m8.2.2.2.2.2.1.1.1" xref="A3.SS2.3.p1.8.m8.2.2.2.2.2.1.1.1.cmml">−</mo><mrow id="A3.SS2.3.p1.8.m8.2.2.2.2.2.1.1.3" xref="A3.SS2.3.p1.8.m8.2.2.2.2.2.1.1.3.cmml"><mi id="A3.SS2.3.p1.8.m8.2.2.2.2.2.1.1.3.1" xref="A3.SS2.3.p1.8.m8.2.2.2.2.2.1.1.3.1.cmml">log</mi><mo lspace="0.167em" id="A3.SS2.3.p1.8.m8.2.2.2.2.2.1.1.3a" xref="A3.SS2.3.p1.8.m8.2.2.2.2.2.1.1.3.cmml">⁡</mo><msub id="A3.SS2.3.p1.8.m8.2.2.2.2.2.1.1.3.2" xref="A3.SS2.3.p1.8.m8.2.2.2.2.2.1.1.3.2.cmml"><mi id="A3.SS2.3.p1.8.m8.2.2.2.2.2.1.1.3.2.2" xref="A3.SS2.3.p1.8.m8.2.2.2.2.2.1.1.3.2.2.cmml">𝒑</mi><mi id="A3.SS2.3.p1.8.m8.2.2.2.2.2.1.1.3.2.3" xref="A3.SS2.3.p1.8.m8.2.2.2.2.2.1.1.3.2.3.cmml">𝜽</mi></msub></mrow></mrow><mo stretchy="false" id="A3.SS2.3.p1.8.m8.2.2.2.2.2.1.3" xref="A3.SS2.3.p1.8.m8.2.2.2.2.2.1.1.cmml">)</mo></mrow></mrow><mo id="A3.SS2.3.p1.8.m8.2.2.2.3" xref="A3.SS2.3.p1.8.m8.2.2.2.3.cmml">+</mo><mrow id="A3.SS2.3.p1.8.m8.2.2.2.4" xref="A3.SS2.3.p1.8.m8.2.2.2.4.cmml"><mi id="A3.SS2.3.p1.8.m8.2.2.2.4.1" xref="A3.SS2.3.p1.8.m8.2.2.2.4.1.cmml">log</mi><mo lspace="0.167em" id="A3.SS2.3.p1.8.m8.2.2.2.4a" xref="A3.SS2.3.p1.8.m8.2.2.2.4.cmml">⁡</mo><msub id="A3.SS2.3.p1.8.m8.2.2.2.4.2" xref="A3.SS2.3.p1.8.m8.2.2.2.4.2.cmml"><mi id="A3.SS2.3.p1.8.m8.2.2.2.4.2.2" xref="A3.SS2.3.p1.8.m8.2.2.2.4.2.2.cmml">𝒑</mi><mi id="A3.SS2.3.p1.8.m8.2.2.2.4.2.3" xref="A3.SS2.3.p1.8.m8.2.2.2.4.2.3.cmml">𝜽</mi></msub></mrow></mrow></mrow><annotation-xml encoding="MathML-Content" id="A3.SS2.3.p1.8.m8.2b"><apply id="A3.SS2.3.p1.8.m8.2.2.cmml" xref="A3.SS2.3.p1.8.m8.2.2"><eq id="A3.SS2.3.p1.8.m8.2.2.3.cmml" xref="A3.SS2.3.p1.8.m8.2.2.3"></eq><ci id="A3.SS2.3.p1.8.m8.2.2.4.cmml" xref="A3.SS2.3.p1.8.m8.2.2.4">𝑸</ci><apply id="A3.SS2.3.p1.8.m8.2.2.2.cmml" xref="A3.SS2.3.p1.8.m8.2.2.2"><plus id="A3.SS2.3.p1.8.m8.2.2.2.3.cmml" xref="A3.SS2.3.p1.8.m8.2.2.2.3"></plus><apply id="A3.SS2.3.p1.8.m8.2.2.2.2.cmml" xref="A3.SS2.3.p1.8.m8.2.2.2.2"><times id="A3.SS2.3.p1.8.m8.2.2.2.2.3.cmml" xref="A3.SS2.3.p1.8.m8.2.2.2.2.3"></times><apply id="A3.SS2.3.p1.8.m8.1.1.1.1.1.cmml" xref="A3.SS2.3.p1.8.m8.1.1.1.1.1"><csymbol cd="ambiguous" id="A3.SS2.3.p1.8.m8.1.1.1.1.1.2.cmml" xref="A3.SS2.3.p1.8.m8.1.1.1.1.1">superscript</csymbol><apply id="A3.SS2.3.p1.8.m8.1.1.1.1.1.1.1.1.cmml" xref="A3.SS2.3.p1.8.m8.1.1.1.1.1.1.1"><minus id="A3.SS2.3.p1.8.m8.1.1.1.1.1.1.1.1.1.cmml" xref="A3.SS2.3.p1.8.m8.1.1.1.1.1.1.1.1.1"></minus><ci id="A3.SS2.3.p1.8.m8.1.1.1.1.1.1.1.1.2.cmml" xref="A3.SS2.3.p1.8.m8.1.1.1.1.1.1.1.1.2">𝐼</ci><apply id="A3.SS2.3.p1.8.m8.1.1.1.1.1.1.1.1.3.cmml" xref="A3.SS2.3.p1.8.m8.1.1.1.1.1.1.1.1.3"><times id="A3.SS2.3.p1.8.m8.1.1.1.1.1.1.1.1.3.1.cmml" xref="A3.SS2.3.p1.8.m8.1.1.1.1.1.1.1.1.3.1"></times><ci id="A3.SS2.3.p1.8.m8.1.1.1.1.1.1.1.1.3.2.cmml" xref="A3.SS2.3.p1.8.m8.1.1.1.1.1.1.1.1.3.2">𝛾</ci><apply id="A3.SS2.3.p1.8.m8.1.1.1.1.1.1.1.1.3.3.cmml" xref="A3.SS2.3.p1.8.m8.1.1.1.1.1.1.1.1.3.3"><csymbol cd="ambiguous" id="A3.SS2.3.p1.8.m8.1.1.1.1.1.1.1.1.3.3.1.cmml" xref="A3.SS2.3.p1.8.m8.1.1.1.1.1.1.1.1.3.3">superscript</csymbol><ci id="A3.SS2.3.p1.8.m8.1.1.1.1.1.1.1.1.3.3.2.cmml" xref="A3.SS2.3.p1.8.m8.1.1.1.1.1.1.1.1.3.3.2">𝑃</ci><ci id="A3.SS2.3.p1.8.m8.1.1.1.1.1.1.1.1.3.3.3.cmml" xref="A3.SS2.3.p1.8.m8.1.1.1.1.1.1.1.1.3.3.3">𝜃</ci></apply></apply></apply><apply id="A3.SS2.3.p1.8.m8.1.1.1.1.1.3.cmml" xref="A3.SS2.3.p1.8.m8.1.1.1.1.1.3"><minus id="A3.SS2.3.p1.8.m8.1.1.1.1.1.3.1.cmml" xref="A3.SS2.3.p1.8.m8.1.1.1.1.1.3"></minus><cn type="integer" id="A3.SS2.3.p1.8.m8.1.1.1.1.1.3.2.cmml" xref="A3.SS2.3.p1.8.m8.1.1.1.1.1.3.2">1</cn></apply></apply><apply id="A3.SS2.3.p1.8.m8.2.2.2.2.2.1.1.cmml" xref="A3.SS2.3.p1.8.m8.2.2.2.2.2.1"><minus id="A3.SS2.3.p1.8.m8.2.2.2.2.2.1.1.1.cmml" xref="A3.SS2.3.p1.8.m8.2.2.2.2.2.1.1.1"></minus><ci id="A3.SS2.3.p1.8.m8.2.2.2.2.2.1.1.2.cmml" xref="A3.SS2.3.p1.8.m8.2.2.2.2.2.1.1.2">𝒓</ci><apply id="A3.SS2.3.p1.8.m8.2.2.2.2.2.1.1.3.cmml" xref="A3.SS2.3.p1.8.m8.2.2.2.2.2.1.1.3"><log id="A3.SS2.3.p1.8.m8.2.2.2.2.2.1.1.3.1.cmml" xref="A3.SS2.3.p1.8.m8.2.2.2.2.2.1.1.3.1"></log><apply id="A3.SS2.3.p1.8.m8.2.2.2.2.2.1.1.3.2.cmml" xref="A3.SS2.3.p1.8.m8.2.2.2.2.2.1.1.3.2"><csymbol cd="ambiguous" id="A3.SS2.3.p1.8.m8.2.2.2.2.2.1.1.3.2.1.cmml" xref="A3.SS2.3.p1.8.m8.2.2.2.2.2.1.1.3.2">subscript</csymbol><ci id="A3.SS2.3.p1.8.m8.2.2.2.2.2.1.1.3.2.2.cmml" xref="A3.SS2.3.p1.8.m8.2.2.2.2.2.1.1.3.2.2">𝒑</ci><ci id="A3.SS2.3.p1.8.m8.2.2.2.2.2.1.1.3.2.3.cmml" xref="A3.SS2.3.p1.8.m8.2.2.2.2.2.1.1.3.2.3">𝜽</ci></apply></apply></apply></apply><apply id="A3.SS2.3.p1.8.m8.2.2.2.4.cmml" xref="A3.SS2.3.p1.8.m8.2.2.2.4"><log id="A3.SS2.3.p1.8.m8.2.2.2.4.1.cmml" xref="A3.SS2.3.p1.8.m8.2.2.2.4.1"></log><apply id="A3.SS2.3.p1.8.m8.2.2.2.4.2.cmml" xref="A3.SS2.3.p1.8.m8.2.2.2.4.2"><csymbol cd="ambiguous" id="A3.SS2.3.p1.8.m8.2.2.2.4.2.1.cmml" xref="A3.SS2.3.p1.8.m8.2.2.2.4.2">subscript</csymbol><ci id="A3.SS2.3.p1.8.m8.2.2.2.4.2.2.cmml" xref="A3.SS2.3.p1.8.m8.2.2.2.4.2.2">𝒑</ci><ci id="A3.SS2.3.p1.8.m8.2.2.2.4.2.3.cmml" xref="A3.SS2.3.p1.8.m8.2.2.2.4.2.3">𝜽</ci></apply></apply></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="A3.SS2.3.p1.8.m8.2c">\boldsymbol{Q}=(I-\gamma P^{\theta})^{-1}(\boldsymbol{r}-\log\boldsymbol{p_{\theta}})+\log\boldsymbol{p_{\theta}}</annotation></semantics></math>. We can do this since <math id="A3.SS2.3.p1.9.m9.1" class="ltx_Math" alttext="|\gamma P^{\theta}|_{\infty}&lt;1" display="inline"><semantics id="A3.SS2.3.p1.9.m9.1a"><mrow id="A3.SS2.3.p1.9.m9.1.1" xref="A3.SS2.3.p1.9.m9.1.1.cmml"><msub id="A3.SS2.3.p1.9.m9.1.1.1" xref="A3.SS2.3.p1.9.m9.1.1.1.cmml"><mrow id="A3.SS2.3.p1.9.m9.1.1.1.1.1" xref="A3.SS2.3.p1.9.m9.1.1.1.1.2.cmml"><mo stretchy="false" id="A3.SS2.3.p1.9.m9.1.1.1.1.1.2" xref="A3.SS2.3.p1.9.m9.1.1.1.1.2.1.cmml">|</mo><mrow id="A3.SS2.3.p1.9.m9.1.1.1.1.1.1" xref="A3.SS2.3.p1.9.m9.1.1.1.1.1.1.cmml"><mi id="A3.SS2.3.p1.9.m9.1.1.1.1.1.1.2" xref="A3.SS2.3.p1.9.m9.1.1.1.1.1.1.2.cmml">γ</mi><mo lspace="0em" rspace="0em" id="A3.SS2.3.p1.9.m9.1.1.1.1.1.1.1" xref="A3.SS2.3.p1.9.m9.1.1.1.1.1.1.1.cmml">​</mo><msup id="A3.SS2.3.p1.9.m9.1.1.1.1.1.1.3" xref="A3.SS2.3.p1.9.m9.1.1.1.1.1.1.3.cmml"><mi id="A3.SS2.3.p1.9.m9.1.1.1.1.1.1.3.2" xref="A3.SS2.3.p1.9.m9.1.1.1.1.1.1.3.2.cmml">P</mi><mi id="A3.SS2.3.p1.9.m9.1.1.1.1.1.1.3.3" xref="A3.SS2.3.p1.9.m9.1.1.1.1.1.1.3.3.cmml">θ</mi></msup></mrow><mo stretchy="false" id="A3.SS2.3.p1.9.m9.1.1.1.1.1.3" xref="A3.SS2.3.p1.9.m9.1.1.1.1.2.1.cmml">|</mo></mrow><mi mathvariant="normal" id="A3.SS2.3.p1.9.m9.1.1.1.3" xref="A3.SS2.3.p1.9.m9.1.1.1.3.cmml">∞</mi></msub><mo id="A3.SS2.3.p1.9.m9.1.1.2" xref="A3.SS2.3.p1.9.m9.1.1.2.cmml">&lt;</mo><mn id="A3.SS2.3.p1.9.m9.1.1.3" xref="A3.SS2.3.p1.9.m9.1.1.3.cmml">1</mn></mrow><annotation-xml encoding="MathML-Content" id="A3.SS2.3.p1.9.m9.1b"><apply id="A3.SS2.3.p1.9.m9.1.1.cmml" xref="A3.SS2.3.p1.9.m9.1.1"><lt id="A3.SS2.3.p1.9.m9.1.1.2.cmml" xref="A3.SS2.3.p1.9.m9.1.1.2"></lt><apply id="A3.SS2.3.p1.9.m9.1.1.1.cmml" xref="A3.SS2.3.p1.9.m9.1.1.1"><csymbol cd="ambiguous" id="A3.SS2.3.p1.9.m9.1.1.1.2.cmml" xref="A3.SS2.3.p1.9.m9.1.1.1">subscript</csymbol><apply id="A3.SS2.3.p1.9.m9.1.1.1.1.2.cmml" xref="A3.SS2.3.p1.9.m9.1.1.1.1.1"><abs id="A3.SS2.3.p1.9.m9.1.1.1.1.2.1.cmml" xref="A3.SS2.3.p1.9.m9.1.1.1.1.1.2"></abs><apply id="A3.SS2.3.p1.9.m9.1.1.1.1.1.1.cmml" xref="A3.SS2.3.p1.9.m9.1.1.1.1.1.1"><times id="A3.SS2.3.p1.9.m9.1.1.1.1.1.1.1.cmml" xref="A3.SS2.3.p1.9.m9.1.1.1.1.1.1.1"></times><ci id="A3.SS2.3.p1.9.m9.1.1.1.1.1.1.2.cmml" xref="A3.SS2.3.p1.9.m9.1.1.1.1.1.1.2">𝛾</ci><apply id="A3.SS2.3.p1.9.m9.1.1.1.1.1.1.3.cmml" xref="A3.SS2.3.p1.9.m9.1.1.1.1.1.1.3"><csymbol cd="ambiguous" id="A3.SS2.3.p1.9.m9.1.1.1.1.1.1.3.1.cmml" xref="A3.SS2.3.p1.9.m9.1.1.1.1.1.1.3">superscript</csymbol><ci id="A3.SS2.3.p1.9.m9.1.1.1.1.1.1.3.2.cmml" xref="A3.SS2.3.p1.9.m9.1.1.1.1.1.1.3.2">𝑃</ci><ci id="A3.SS2.3.p1.9.m9.1.1.1.1.1.1.3.3.cmml" xref="A3.SS2.3.p1.9.m9.1.1.1.1.1.1.3.3">𝜃</ci></apply></apply></apply><infinity id="A3.SS2.3.p1.9.m9.1.1.1.3.cmml" xref="A3.SS2.3.p1.9.m9.1.1.1.3"></infinity></apply><cn type="integer" id="A3.SS2.3.p1.9.m9.1.1.3.cmml" xref="A3.SS2.3.p1.9.m9.1.1.3">1</cn></apply></annotation-xml><annotation encoding="application/x-tex" id="A3.SS2.3.p1.9.m9.1c">|\gamma P^{\theta}|_{\infty}&lt;1</annotation></semantics></math> if <math id="A3.SS2.3.p1.10.m10.1" class="ltx_Math" alttext="\gamma&lt;1" display="inline"><semantics id="A3.SS2.3.p1.10.m10.1a"><mrow id="A3.SS2.3.p1.10.m10.1.1" xref="A3.SS2.3.p1.10.m10.1.1.cmml"><mi id="A3.SS2.3.p1.10.m10.1.1.2" xref="A3.SS2.3.p1.10.m10.1.1.2.cmml">γ</mi><mo id="A3.SS2.3.p1.10.m10.1.1.1" xref="A3.SS2.3.p1.10.m10.1.1.1.cmml">&lt;</mo><mn id="A3.SS2.3.p1.10.m10.1.1.3" xref="A3.SS2.3.p1.10.m10.1.1.3.cmml">1</mn></mrow><annotation-xml encoding="MathML-Content" id="A3.SS2.3.p1.10.m10.1b"><apply id="A3.SS2.3.p1.10.m10.1.1.cmml" xref="A3.SS2.3.p1.10.m10.1.1"><lt id="A3.SS2.3.p1.10.m10.1.1.1.cmml" xref="A3.SS2.3.p1.10.m10.1.1.1"></lt><ci id="A3.SS2.3.p1.10.m10.1.1.2.cmml" xref="A3.SS2.3.p1.10.m10.1.1.2">𝛾</ci><cn type="integer" id="A3.SS2.3.p1.10.m10.1.1.3.cmml" xref="A3.SS2.3.p1.10.m10.1.1.3">1</cn></apply></annotation-xml><annotation encoding="application/x-tex" id="A3.SS2.3.p1.10.m10.1c">\gamma&lt;1</annotation></semantics></math>, and so <math id="A3.SS2.3.p1.11.m11.1" class="ltx_Math" alttext="I-\gamma P^{\theta}" display="inline"><semantics id="A3.SS2.3.p1.11.m11.1a"><mrow id="A3.SS2.3.p1.11.m11.1.1" xref="A3.SS2.3.p1.11.m11.1.1.cmml"><mi id="A3.SS2.3.p1.11.m11.1.1.2" xref="A3.SS2.3.p1.11.m11.1.1.2.cmml">I</mi><mo id="A3.SS2.3.p1.11.m11.1.1.1" xref="A3.SS2.3.p1.11.m11.1.1.1.cmml">−</mo><mrow id="A3.SS2.3.p1.11.m11.1.1.3" xref="A3.SS2.3.p1.11.m11.1.1.3.cmml"><mi id="A3.SS2.3.p1.11.m11.1.1.3.2" xref="A3.SS2.3.p1.11.m11.1.1.3.2.cmml">γ</mi><mo lspace="0em" rspace="0em" id="A3.SS2.3.p1.11.m11.1.1.3.1" xref="A3.SS2.3.p1.11.m11.1.1.3.1.cmml">​</mo><msup id="A3.SS2.3.p1.11.m11.1.1.3.3" xref="A3.SS2.3.p1.11.m11.1.1.3.3.cmml"><mi id="A3.SS2.3.p1.11.m11.1.1.3.3.2" xref="A3.SS2.3.p1.11.m11.1.1.3.3.2.cmml">P</mi><mi id="A3.SS2.3.p1.11.m11.1.1.3.3.3" xref="A3.SS2.3.p1.11.m11.1.1.3.3.3.cmml">θ</mi></msup></mrow></mrow><annotation-xml encoding="MathML-Content" id="A3.SS2.3.p1.11.m11.1b"><apply id="A3.SS2.3.p1.11.m11.1.1.cmml" xref="A3.SS2.3.p1.11.m11.1.1"><minus id="A3.SS2.3.p1.11.m11.1.1.1.cmml" xref="A3.SS2.3.p1.11.m11.1.1.1"></minus><ci id="A3.SS2.3.p1.11.m11.1.1.2.cmml" xref="A3.SS2.3.p1.11.m11.1.1.2">𝐼</ci><apply id="A3.SS2.3.p1.11.m11.1.1.3.cmml" xref="A3.SS2.3.p1.11.m11.1.1.3"><times id="A3.SS2.3.p1.11.m11.1.1.3.1.cmml" xref="A3.SS2.3.p1.11.m11.1.1.3.1"></times><ci id="A3.SS2.3.p1.11.m11.1.1.3.2.cmml" xref="A3.SS2.3.p1.11.m11.1.1.3.2">𝛾</ci><apply id="A3.SS2.3.p1.11.m11.1.1.3.3.cmml" xref="A3.SS2.3.p1.11.m11.1.1.3.3"><csymbol cd="ambiguous" id="A3.SS2.3.p1.11.m11.1.1.3.3.1.cmml" xref="A3.SS2.3.p1.11.m11.1.1.3.3">superscript</csymbol><ci id="A3.SS2.3.p1.11.m11.1.1.3.3.2.cmml" xref="A3.SS2.3.p1.11.m11.1.1.3.3.2">𝑃</ci><ci id="A3.SS2.3.p1.11.m11.1.1.3.3.3.cmml" xref="A3.SS2.3.p1.11.m11.1.1.3.3.3">𝜃</ci></apply></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="A3.SS2.3.p1.11.m11.1c">I-\gamma P^{\theta}</annotation></semantics></math> is invertible, even in this infinite-dimensional setting. We also see that <math id="A3.SS2.3.p1.12.m12.1" class="ltx_Math" alttext="\boldsymbol{Q}" display="inline"><semantics id="A3.SS2.3.p1.12.m12.1a"><mi id="A3.SS2.3.p1.12.m12.1.1" xref="A3.SS2.3.p1.12.m12.1.1.cmml">𝑸</mi><annotation-xml encoding="MathML-Content" id="A3.SS2.3.p1.12.m12.1b"><ci id="A3.SS2.3.p1.12.m12.1.1.cmml" xref="A3.SS2.3.p1.12.m12.1.1">𝑸</ci></annotation-xml><annotation encoding="application/x-tex" id="A3.SS2.3.p1.12.m12.1c">\boldsymbol{Q}</annotation></semantics></math> has a unique vector expansion <math id="A3.SS2.3.p1.13.m13.1" class="ltx_Math" alttext="\boldsymbol{Q}=\boldsymbol{r}+\gamma P^{\theta}(\boldsymbol{Q}-\log\boldsymbol{p_{\theta}})" display="inline"><semantics id="A3.SS2.3.p1.13.m13.1a"><mrow id="A3.SS2.3.p1.13.m13.1.1" xref="A3.SS2.3.p1.13.m13.1.1.cmml"><mi id="A3.SS2.3.p1.13.m13.1.1.3" xref="A3.SS2.3.p1.13.m13.1.1.3.cmml">𝑸</mi><mo id="A3.SS2.3.p1.13.m13.1.1.2" xref="A3.SS2.3.p1.13.m13.1.1.2.cmml">=</mo><mrow id="A3.SS2.3.p1.13.m13.1.1.1" xref="A3.SS2.3.p1.13.m13.1.1.1.cmml"><mi id="A3.SS2.3.p1.13.m13.1.1.1.3" xref="A3.SS2.3.p1.13.m13.1.1.1.3.cmml">𝒓</mi><mo id="A3.SS2.3.p1.13.m13.1.1.1.2" xref="A3.SS2.3.p1.13.m13.1.1.1.2.cmml">+</mo><mrow id="A3.SS2.3.p1.13.m13.1.1.1.1" xref="A3.SS2.3.p1.13.m13.1.1.1.1.cmml"><mi id="A3.SS2.3.p1.13.m13.1.1.1.1.3" xref="A3.SS2.3.p1.13.m13.1.1.1.1.3.cmml">γ</mi><mo lspace="0em" rspace="0em" id="A3.SS2.3.p1.13.m13.1.1.1.1.2" xref="A3.SS2.3.p1.13.m13.1.1.1.1.2.cmml">​</mo><msup id="A3.SS2.3.p1.13.m13.1.1.1.1.4" xref="A3.SS2.3.p1.13.m13.1.1.1.1.4.cmml"><mi id="A3.SS2.3.p1.13.m13.1.1.1.1.4.2" xref="A3.SS2.3.p1.13.m13.1.1.1.1.4.2.cmml">P</mi><mi id="A3.SS2.3.p1.13.m13.1.1.1.1.4.3" xref="A3.SS2.3.p1.13.m13.1.1.1.1.4.3.cmml">θ</mi></msup><mo lspace="0em" rspace="0em" id="A3.SS2.3.p1.13.m13.1.1.1.1.2a" xref="A3.SS2.3.p1.13.m13.1.1.1.1.2.cmml">​</mo><mrow id="A3.SS2.3.p1.13.m13.1.1.1.1.1.1" xref="A3.SS2.3.p1.13.m13.1.1.1.1.1.1.1.cmml"><mo stretchy="false" id="A3.SS2.3.p1.13.m13.1.1.1.1.1.1.2" xref="A3.SS2.3.p1.13.m13.1.1.1.1.1.1.1.cmml">(</mo><mrow id="A3.SS2.3.p1.13.m13.1.1.1.1.1.1.1" xref="A3.SS2.3.p1.13.m13.1.1.1.1.1.1.1.cmml"><mi id="A3.SS2.3.p1.13.m13.1.1.1.1.1.1.1.2" xref="A3.SS2.3.p1.13.m13.1.1.1.1.1.1.1.2.cmml">𝑸</mi><mo id="A3.SS2.3.p1.13.m13.1.1.1.1.1.1.1.1" xref="A3.SS2.3.p1.13.m13.1.1.1.1.1.1.1.1.cmml">−</mo><mrow id="A3.SS2.3.p1.13.m13.1.1.1.1.1.1.1.3" xref="A3.SS2.3.p1.13.m13.1.1.1.1.1.1.1.3.cmml"><mi id="A3.SS2.3.p1.13.m13.1.1.1.1.1.1.1.3.1" xref="A3.SS2.3.p1.13.m13.1.1.1.1.1.1.1.3.1.cmml">log</mi><mo lspace="0.167em" id="A3.SS2.3.p1.13.m13.1.1.1.1.1.1.1.3a" xref="A3.SS2.3.p1.13.m13.1.1.1.1.1.1.1.3.cmml">⁡</mo><msub id="A3.SS2.3.p1.13.m13.1.1.1.1.1.1.1.3.2" xref="A3.SS2.3.p1.13.m13.1.1.1.1.1.1.1.3.2.cmml"><mi id="A3.SS2.3.p1.13.m13.1.1.1.1.1.1.1.3.2.2" xref="A3.SS2.3.p1.13.m13.1.1.1.1.1.1.1.3.2.2.cmml">𝒑</mi><mi id="A3.SS2.3.p1.13.m13.1.1.1.1.1.1.1.3.2.3" xref="A3.SS2.3.p1.13.m13.1.1.1.1.1.1.1.3.2.3.cmml">𝜽</mi></msub></mrow></mrow><mo stretchy="false" id="A3.SS2.3.p1.13.m13.1.1.1.1.1.1.3" xref="A3.SS2.3.p1.13.m13.1.1.1.1.1.1.1.cmml">)</mo></mrow></mrow></mrow></mrow><annotation-xml encoding="MathML-Content" id="A3.SS2.3.p1.13.m13.1b"><apply id="A3.SS2.3.p1.13.m13.1.1.cmml" xref="A3.SS2.3.p1.13.m13.1.1"><eq id="A3.SS2.3.p1.13.m13.1.1.2.cmml" xref="A3.SS2.3.p1.13.m13.1.1.2"></eq><ci id="A3.SS2.3.p1.13.m13.1.1.3.cmml" xref="A3.SS2.3.p1.13.m13.1.1.3">𝑸</ci><apply id="A3.SS2.3.p1.13.m13.1.1.1.cmml" xref="A3.SS2.3.p1.13.m13.1.1.1"><plus id="A3.SS2.3.p1.13.m13.1.1.1.2.cmml" xref="A3.SS2.3.p1.13.m13.1.1.1.2"></plus><ci id="A3.SS2.3.p1.13.m13.1.1.1.3.cmml" xref="A3.SS2.3.p1.13.m13.1.1.1.3">𝒓</ci><apply id="A3.SS2.3.p1.13.m13.1.1.1.1.cmml" xref="A3.SS2.3.p1.13.m13.1.1.1.1"><times id="A3.SS2.3.p1.13.m13.1.1.1.1.2.cmml" xref="A3.SS2.3.p1.13.m13.1.1.1.1.2"></times><ci id="A3.SS2.3.p1.13.m13.1.1.1.1.3.cmml" xref="A3.SS2.3.p1.13.m13.1.1.1.1.3">𝛾</ci><apply id="A3.SS2.3.p1.13.m13.1.1.1.1.4.cmml" xref="A3.SS2.3.p1.13.m13.1.1.1.1.4"><csymbol cd="ambiguous" id="A3.SS2.3.p1.13.m13.1.1.1.1.4.1.cmml" xref="A3.SS2.3.p1.13.m13.1.1.1.1.4">superscript</csymbol><ci id="A3.SS2.3.p1.13.m13.1.1.1.1.4.2.cmml" xref="A3.SS2.3.p1.13.m13.1.1.1.1.4.2">𝑃</ci><ci id="A3.SS2.3.p1.13.m13.1.1.1.1.4.3.cmml" xref="A3.SS2.3.p1.13.m13.1.1.1.1.4.3">𝜃</ci></apply><apply id="A3.SS2.3.p1.13.m13.1.1.1.1.1.1.1.cmml" xref="A3.SS2.3.p1.13.m13.1.1.1.1.1.1"><minus id="A3.SS2.3.p1.13.m13.1.1.1.1.1.1.1.1.cmml" xref="A3.SS2.3.p1.13.m13.1.1.1.1.1.1.1.1"></minus><ci id="A3.SS2.3.p1.13.m13.1.1.1.1.1.1.1.2.cmml" xref="A3.SS2.3.p1.13.m13.1.1.1.1.1.1.1.2">𝑸</ci><apply id="A3.SS2.3.p1.13.m13.1.1.1.1.1.1.1.3.cmml" xref="A3.SS2.3.p1.13.m13.1.1.1.1.1.1.1.3"><log id="A3.SS2.3.p1.13.m13.1.1.1.1.1.1.1.3.1.cmml" xref="A3.SS2.3.p1.13.m13.1.1.1.1.1.1.1.3.1"></log><apply id="A3.SS2.3.p1.13.m13.1.1.1.1.1.1.1.3.2.cmml" xref="A3.SS2.3.p1.13.m13.1.1.1.1.1.1.1.3.2"><csymbol cd="ambiguous" id="A3.SS2.3.p1.13.m13.1.1.1.1.1.1.1.3.2.1.cmml" xref="A3.SS2.3.p1.13.m13.1.1.1.1.1.1.1.3.2">subscript</csymbol><ci id="A3.SS2.3.p1.13.m13.1.1.1.1.1.1.1.3.2.2.cmml" xref="A3.SS2.3.p1.13.m13.1.1.1.1.1.1.1.3.2.2">𝒑</ci><ci id="A3.SS2.3.p1.13.m13.1.1.1.1.1.1.1.3.2.3.cmml" xref="A3.SS2.3.p1.13.m13.1.1.1.1.1.1.1.3.2.3">𝜽</ci></apply></apply></apply></apply></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="A3.SS2.3.p1.13.m13.1c">\boldsymbol{Q}=\boldsymbol{r}+\gamma P^{\theta}(\boldsymbol{Q}-\log\boldsymbol{p_{\theta}})</annotation></semantics></math>. Since this is the (unique) vector expansion of <math id="A3.SS2.3.p1.14.m14.1" class="ltx_Math" alttext="\mathcal{B}_{r}^{\theta}" display="inline"><semantics id="A3.SS2.3.p1.14.m14.1a"><msubsup id="A3.SS2.3.p1.14.m14.1.1" xref="A3.SS2.3.p1.14.m14.1.1.cmml"><mi class="ltx_font_mathcaligraphic" id="A3.SS2.3.p1.14.m14.1.1.2.2" xref="A3.SS2.3.p1.14.m14.1.1.2.2.cmml">ℬ</mi><mi id="A3.SS2.3.p1.14.m14.1.1.2.3" xref="A3.SS2.3.p1.14.m14.1.1.2.3.cmml">r</mi><mi id="A3.SS2.3.p1.14.m14.1.1.3" xref="A3.SS2.3.p1.14.m14.1.1.3.cmml">θ</mi></msubsup><annotation-xml encoding="MathML-Content" id="A3.SS2.3.p1.14.m14.1b"><apply id="A3.SS2.3.p1.14.m14.1.1.cmml" xref="A3.SS2.3.p1.14.m14.1.1"><csymbol cd="ambiguous" id="A3.SS2.3.p1.14.m14.1.1.1.cmml" xref="A3.SS2.3.p1.14.m14.1.1">superscript</csymbol><apply id="A3.SS2.3.p1.14.m14.1.1.2.cmml" xref="A3.SS2.3.p1.14.m14.1.1"><csymbol cd="ambiguous" id="A3.SS2.3.p1.14.m14.1.1.2.1.cmml" xref="A3.SS2.3.p1.14.m14.1.1">subscript</csymbol><ci id="A3.SS2.3.p1.14.m14.1.1.2.2.cmml" xref="A3.SS2.3.p1.14.m14.1.1.2.2">ℬ</ci><ci id="A3.SS2.3.p1.14.m14.1.1.2.3.cmml" xref="A3.SS2.3.p1.14.m14.1.1.2.3">𝑟</ci></apply><ci id="A3.SS2.3.p1.14.m14.1.1.3.cmml" xref="A3.SS2.3.p1.14.m14.1.1.3">𝜃</ci></apply></annotation-xml><annotation encoding="application/x-tex" id="A3.SS2.3.p1.14.m14.1c">\mathcal{B}_{r}^{\theta}</annotation></semantics></math>, we have <math id="A3.SS2.3.p1.15.m15.1" class="ltx_Math" alttext="Q=(\mathcal{T}^{\theta})r=\mathcal{B}_{r}^{\theta}Q" display="inline"><semantics id="A3.SS2.3.p1.15.m15.1a"><mrow id="A3.SS2.3.p1.15.m15.1.1" xref="A3.SS2.3.p1.15.m15.1.1.cmml"><mi id="A3.SS2.3.p1.15.m15.1.1.3" xref="A3.SS2.3.p1.15.m15.1.1.3.cmml">Q</mi><mo id="A3.SS2.3.p1.15.m15.1.1.4" xref="A3.SS2.3.p1.15.m15.1.1.4.cmml">=</mo><mrow id="A3.SS2.3.p1.15.m15.1.1.1" xref="A3.SS2.3.p1.15.m15.1.1.1.cmml"><mrow id="A3.SS2.3.p1.15.m15.1.1.1.1.1" xref="A3.SS2.3.p1.15.m15.1.1.1.1.1.1.cmml"><mo stretchy="false" id="A3.SS2.3.p1.15.m15.1.1.1.1.1.2" xref="A3.SS2.3.p1.15.m15.1.1.1.1.1.1.cmml">(</mo><msup id="A3.SS2.3.p1.15.m15.1.1.1.1.1.1" xref="A3.SS2.3.p1.15.m15.1.1.1.1.1.1.cmml"><mi class="ltx_font_mathcaligraphic" id="A3.SS2.3.p1.15.m15.1.1.1.1.1.1.2" xref="A3.SS2.3.p1.15.m15.1.1.1.1.1.1.2.cmml">𝒯</mi><mi id="A3.SS2.3.p1.15.m15.1.1.1.1.1.1.3" xref="A3.SS2.3.p1.15.m15.1.1.1.1.1.1.3.cmml">θ</mi></msup><mo stretchy="false" id="A3.SS2.3.p1.15.m15.1.1.1.1.1.3" xref="A3.SS2.3.p1.15.m15.1.1.1.1.1.1.cmml">)</mo></mrow><mo lspace="0em" rspace="0em" id="A3.SS2.3.p1.15.m15.1.1.1.2" xref="A3.SS2.3.p1.15.m15.1.1.1.2.cmml">​</mo><mi id="A3.SS2.3.p1.15.m15.1.1.1.3" xref="A3.SS2.3.p1.15.m15.1.1.1.3.cmml">r</mi></mrow><mo id="A3.SS2.3.p1.15.m15.1.1.5" xref="A3.SS2.3.p1.15.m15.1.1.5.cmml">=</mo><mrow id="A3.SS2.3.p1.15.m15.1.1.6" xref="A3.SS2.3.p1.15.m15.1.1.6.cmml"><msubsup id="A3.SS2.3.p1.15.m15.1.1.6.2" xref="A3.SS2.3.p1.15.m15.1.1.6.2.cmml"><mi class="ltx_font_mathcaligraphic" id="A3.SS2.3.p1.15.m15.1.1.6.2.2.2" xref="A3.SS2.3.p1.15.m15.1.1.6.2.2.2.cmml">ℬ</mi><mi id="A3.SS2.3.p1.15.m15.1.1.6.2.2.3" xref="A3.SS2.3.p1.15.m15.1.1.6.2.2.3.cmml">r</mi><mi id="A3.SS2.3.p1.15.m15.1.1.6.2.3" xref="A3.SS2.3.p1.15.m15.1.1.6.2.3.cmml">θ</mi></msubsup><mo lspace="0em" rspace="0em" id="A3.SS2.3.p1.15.m15.1.1.6.1" xref="A3.SS2.3.p1.15.m15.1.1.6.1.cmml">​</mo><mi id="A3.SS2.3.p1.15.m15.1.1.6.3" xref="A3.SS2.3.p1.15.m15.1.1.6.3.cmml">Q</mi></mrow></mrow><annotation-xml encoding="MathML-Content" id="A3.SS2.3.p1.15.m15.1b"><apply id="A3.SS2.3.p1.15.m15.1.1.cmml" xref="A3.SS2.3.p1.15.m15.1.1"><and id="A3.SS2.3.p1.15.m15.1.1a.cmml" xref="A3.SS2.3.p1.15.m15.1.1"></and><apply id="A3.SS2.3.p1.15.m15.1.1b.cmml" xref="A3.SS2.3.p1.15.m15.1.1"><eq id="A3.SS2.3.p1.15.m15.1.1.4.cmml" xref="A3.SS2.3.p1.15.m15.1.1.4"></eq><ci id="A3.SS2.3.p1.15.m15.1.1.3.cmml" xref="A3.SS2.3.p1.15.m15.1.1.3">𝑄</ci><apply id="A3.SS2.3.p1.15.m15.1.1.1.cmml" xref="A3.SS2.3.p1.15.m15.1.1.1"><times id="A3.SS2.3.p1.15.m15.1.1.1.2.cmml" xref="A3.SS2.3.p1.15.m15.1.1.1.2"></times><apply id="A3.SS2.3.p1.15.m15.1.1.1.1.1.1.cmml" xref="A3.SS2.3.p1.15.m15.1.1.1.1.1"><csymbol cd="ambiguous" id="A3.SS2.3.p1.15.m15.1.1.1.1.1.1.1.cmml" xref="A3.SS2.3.p1.15.m15.1.1.1.1.1">superscript</csymbol><ci id="A3.SS2.3.p1.15.m15.1.1.1.1.1.1.2.cmml" xref="A3.SS2.3.p1.15.m15.1.1.1.1.1.1.2">𝒯</ci><ci id="A3.SS2.3.p1.15.m15.1.1.1.1.1.1.3.cmml" xref="A3.SS2.3.p1.15.m15.1.1.1.1.1.1.3">𝜃</ci></apply><ci id="A3.SS2.3.p1.15.m15.1.1.1.3.cmml" xref="A3.SS2.3.p1.15.m15.1.1.1.3">𝑟</ci></apply></apply><apply id="A3.SS2.3.p1.15.m15.1.1c.cmml" xref="A3.SS2.3.p1.15.m15.1.1"><eq id="A3.SS2.3.p1.15.m15.1.1.5.cmml" xref="A3.SS2.3.p1.15.m15.1.1.5"></eq><share href="#A3.SS2.3.p1.15.m15.1.1.1.cmml" id="A3.SS2.3.p1.15.m15.1.1d.cmml" xref="A3.SS2.3.p1.15.m15.1.1"></share><apply id="A3.SS2.3.p1.15.m15.1.1.6.cmml" xref="A3.SS2.3.p1.15.m15.1.1.6"><times id="A3.SS2.3.p1.15.m15.1.1.6.1.cmml" xref="A3.SS2.3.p1.15.m15.1.1.6.1"></times><apply id="A3.SS2.3.p1.15.m15.1.1.6.2.cmml" xref="A3.SS2.3.p1.15.m15.1.1.6.2"><csymbol cd="ambiguous" id="A3.SS2.3.p1.15.m15.1.1.6.2.1.cmml" xref="A3.SS2.3.p1.15.m15.1.1.6.2">superscript</csymbol><apply id="A3.SS2.3.p1.15.m15.1.1.6.2.2.cmml" xref="A3.SS2.3.p1.15.m15.1.1.6.2"><csymbol cd="ambiguous" id="A3.SS2.3.p1.15.m15.1.1.6.2.2.1.cmml" xref="A3.SS2.3.p1.15.m15.1.1.6.2">subscript</csymbol><ci id="A3.SS2.3.p1.15.m15.1.1.6.2.2.2.cmml" xref="A3.SS2.3.p1.15.m15.1.1.6.2.2.2">ℬ</ci><ci id="A3.SS2.3.p1.15.m15.1.1.6.2.2.3.cmml" xref="A3.SS2.3.p1.15.m15.1.1.6.2.2.3">𝑟</ci></apply><ci id="A3.SS2.3.p1.15.m15.1.1.6.2.3.cmml" xref="A3.SS2.3.p1.15.m15.1.1.6.2.3">𝜃</ci></apply><ci id="A3.SS2.3.p1.15.m15.1.1.6.3.cmml" xref="A3.SS2.3.p1.15.m15.1.1.6.3">𝑄</ci></apply></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="A3.SS2.3.p1.15.m15.1c">Q=(\mathcal{T}^{\theta})r=\mathcal{B}_{r}^{\theta}Q</annotation></semantics></math>
∎</p>
</div>
</div>
</section>
<section id="A3.SS3" class="ltx_subsection">
<h3 class="ltx_title ltx_title_subsection">
<span class="ltx_tag ltx_tag_subsection">C.3 </span>Telescoping Sum Proofs</h3>

<div id="A3.SS3.p1" class="ltx_para">
<p id="A3.SS3.p1.1" class="ltx_p">In this section we prove various theorems related to telescoping sums and value functions. These mostly follow from <cite class="ltx_cite ltx_citemacro_citet">Kostrikov et al. [<a href="#bib.bib18" title="" class="ltx_ref">18</a>]</cite> and <cite class="ltx_cite ltx_citemacro_cite">[<a href="#bib.bib11" title="" class="ltx_ref">11</a>]</cite>.</p>
</div>
<div id="A3.Thmtheorem2" class="ltx_theorem ltx_theorem_proposition">
<h6 class="ltx_title ltx_runin ltx_title_theorem">
<span class="ltx_tag ltx_tag_theorem"><span id="A3.Thmtheorem2.1.1.1" class="ltx_text ltx_font_bold">Proposition C.2</span></span><span id="A3.Thmtheorem2.2.2" class="ltx_text ltx_font_bold">.</span>
</h6>
<div id="A3.Thmtheorem2.p1" class="ltx_para">
<p id="A3.Thmtheorem2.p1.3" class="ltx_p"><span id="A3.Thmtheorem2.p1.3.3" class="ltx_text ltx_font_italic">For a policy <math id="A3.Thmtheorem2.p1.1.1.m1.1" class="ltx_Math" alttext="p_{\theta}" display="inline"><semantics id="A3.Thmtheorem2.p1.1.1.m1.1a"><msub id="A3.Thmtheorem2.p1.1.1.m1.1.1" xref="A3.Thmtheorem2.p1.1.1.m1.1.1.cmml"><mi id="A3.Thmtheorem2.p1.1.1.m1.1.1.2" xref="A3.Thmtheorem2.p1.1.1.m1.1.1.2.cmml">p</mi><mi id="A3.Thmtheorem2.p1.1.1.m1.1.1.3" xref="A3.Thmtheorem2.p1.1.1.m1.1.1.3.cmml">θ</mi></msub><annotation-xml encoding="MathML-Content" id="A3.Thmtheorem2.p1.1.1.m1.1b"><apply id="A3.Thmtheorem2.p1.1.1.m1.1.1.cmml" xref="A3.Thmtheorem2.p1.1.1.m1.1.1"><csymbol cd="ambiguous" id="A3.Thmtheorem2.p1.1.1.m1.1.1.1.cmml" xref="A3.Thmtheorem2.p1.1.1.m1.1.1">subscript</csymbol><ci id="A3.Thmtheorem2.p1.1.1.m1.1.1.2.cmml" xref="A3.Thmtheorem2.p1.1.1.m1.1.1.2">𝑝</ci><ci id="A3.Thmtheorem2.p1.1.1.m1.1.1.3.cmml" xref="A3.Thmtheorem2.p1.1.1.m1.1.1.3">𝜃</ci></apply></annotation-xml><annotation encoding="application/x-tex" id="A3.Thmtheorem2.p1.1.1.m1.1c">p_{\theta}</annotation></semantics></math>, initial state distribution <math id="A3.Thmtheorem2.p1.2.2.m2.1" class="ltx_Math" alttext="\mathcal{P}_{0}" display="inline"><semantics id="A3.Thmtheorem2.p1.2.2.m2.1a"><msub id="A3.Thmtheorem2.p1.2.2.m2.1.1" xref="A3.Thmtheorem2.p1.2.2.m2.1.1.cmml"><mi class="ltx_font_mathcaligraphic" id="A3.Thmtheorem2.p1.2.2.m2.1.1.2" xref="A3.Thmtheorem2.p1.2.2.m2.1.1.2.cmml">𝒫</mi><mn id="A3.Thmtheorem2.p1.2.2.m2.1.1.3" xref="A3.Thmtheorem2.p1.2.2.m2.1.1.3.cmml">0</mn></msub><annotation-xml encoding="MathML-Content" id="A3.Thmtheorem2.p1.2.2.m2.1b"><apply id="A3.Thmtheorem2.p1.2.2.m2.1.1.cmml" xref="A3.Thmtheorem2.p1.2.2.m2.1.1"><csymbol cd="ambiguous" id="A3.Thmtheorem2.p1.2.2.m2.1.1.1.cmml" xref="A3.Thmtheorem2.p1.2.2.m2.1.1">subscript</csymbol><ci id="A3.Thmtheorem2.p1.2.2.m2.1.1.2.cmml" xref="A3.Thmtheorem2.p1.2.2.m2.1.1.2">𝒫</ci><cn type="integer" id="A3.Thmtheorem2.p1.2.2.m2.1.1.3.cmml" xref="A3.Thmtheorem2.p1.2.2.m2.1.1.3">0</cn></apply></annotation-xml><annotation encoding="application/x-tex" id="A3.Thmtheorem2.p1.2.2.m2.1c">\mathcal{P}_{0}</annotation></semantics></math>, value function <math id="A3.Thmtheorem2.p1.3.3.m3.4" class="ltx_math_unparsed" alttext="V^{\theta}(s)=\mathbb{E}_{a\sim p_{\theta}(\cdot|s)}\left[Q(s,a)-\log p_{\theta}(a|s)\right]" display="inline"><semantics id="A3.Thmtheorem2.p1.3.3.m3.4a"><mrow id="A3.Thmtheorem2.p1.3.3.m3.4.4"><mrow id="A3.Thmtheorem2.p1.3.3.m3.4.4.3"><msup id="A3.Thmtheorem2.p1.3.3.m3.4.4.3.2"><mi id="A3.Thmtheorem2.p1.3.3.m3.4.4.3.2.2">V</mi><mi id="A3.Thmtheorem2.p1.3.3.m3.4.4.3.2.3">θ</mi></msup><mo lspace="0em" rspace="0em" id="A3.Thmtheorem2.p1.3.3.m3.4.4.3.1">​</mo><mrow id="A3.Thmtheorem2.p1.3.3.m3.4.4.3.3.2"><mo stretchy="false" id="A3.Thmtheorem2.p1.3.3.m3.4.4.3.3.2.1">(</mo><mi id="A3.Thmtheorem2.p1.3.3.m3.1.1">s</mi><mo stretchy="false" id="A3.Thmtheorem2.p1.3.3.m3.4.4.3.3.2.2">)</mo></mrow></mrow><mo id="A3.Thmtheorem2.p1.3.3.m3.4.4.2">=</mo><mrow id="A3.Thmtheorem2.p1.3.3.m3.4.4.1"><msub id="A3.Thmtheorem2.p1.3.3.m3.4.4.1.3"><mi id="A3.Thmtheorem2.p1.3.3.m3.4.4.1.3.2">𝔼</mi><mrow id="A3.Thmtheorem2.p1.3.3.m3.4.4.1.3.3"><mi id="A3.Thmtheorem2.p1.3.3.m3.4.4.1.3.3.1">a</mi><mo id="A3.Thmtheorem2.p1.3.3.m3.4.4.1.3.3.2">∼</mo><msub id="A3.Thmtheorem2.p1.3.3.m3.4.4.1.3.3.3"><mi id="A3.Thmtheorem2.p1.3.3.m3.4.4.1.3.3.3.2">p</mi><mi id="A3.Thmtheorem2.p1.3.3.m3.4.4.1.3.3.3.3">θ</mi></msub><mrow id="A3.Thmtheorem2.p1.3.3.m3.4.4.1.3.3.4"><mo stretchy="false" id="A3.Thmtheorem2.p1.3.3.m3.4.4.1.3.3.4.1">(</mo><mo lspace="0em" rspace="0em" id="A3.Thmtheorem2.p1.3.3.m3.4.4.1.3.3.4.2">⋅</mo><mo fence="false" rspace="0.167em" stretchy="false" id="A3.Thmtheorem2.p1.3.3.m3.4.4.1.3.3.4.3">|</mo><mi id="A3.Thmtheorem2.p1.3.3.m3.4.4.1.3.3.4.4">s</mi><mo stretchy="false" id="A3.Thmtheorem2.p1.3.3.m3.4.4.1.3.3.4.5">)</mo></mrow></mrow></msub><mo lspace="0em" rspace="0em" id="A3.Thmtheorem2.p1.3.3.m3.4.4.1.2">​</mo><mrow id="A3.Thmtheorem2.p1.3.3.m3.4.4.1.1.1"><mo id="A3.Thmtheorem2.p1.3.3.m3.4.4.1.1.1.2">[</mo><mrow id="A3.Thmtheorem2.p1.3.3.m3.4.4.1.1.1.1"><mrow id="A3.Thmtheorem2.p1.3.3.m3.4.4.1.1.1.1.3"><mi id="A3.Thmtheorem2.p1.3.3.m3.4.4.1.1.1.1.3.2">Q</mi><mo lspace="0em" rspace="0em" id="A3.Thmtheorem2.p1.3.3.m3.4.4.1.1.1.1.3.1">​</mo><mrow id="A3.Thmtheorem2.p1.3.3.m3.4.4.1.1.1.1.3.3.2"><mo stretchy="false" id="A3.Thmtheorem2.p1.3.3.m3.4.4.1.1.1.1.3.3.2.1">(</mo><mi id="A3.Thmtheorem2.p1.3.3.m3.2.2">s</mi><mo id="A3.Thmtheorem2.p1.3.3.m3.4.4.1.1.1.1.3.3.2.2">,</mo><mi id="A3.Thmtheorem2.p1.3.3.m3.3.3">a</mi><mo stretchy="false" id="A3.Thmtheorem2.p1.3.3.m3.4.4.1.1.1.1.3.3.2.3">)</mo></mrow></mrow><mo id="A3.Thmtheorem2.p1.3.3.m3.4.4.1.1.1.1.2">−</mo><mrow id="A3.Thmtheorem2.p1.3.3.m3.4.4.1.1.1.1.1"><mrow id="A3.Thmtheorem2.p1.3.3.m3.4.4.1.1.1.1.1.3"><mi id="A3.Thmtheorem2.p1.3.3.m3.4.4.1.1.1.1.1.3.1">log</mi><mo lspace="0.167em" id="A3.Thmtheorem2.p1.3.3.m3.4.4.1.1.1.1.1.3a">⁡</mo><msub id="A3.Thmtheorem2.p1.3.3.m3.4.4.1.1.1.1.1.3.2"><mi id="A3.Thmtheorem2.p1.3.3.m3.4.4.1.1.1.1.1.3.2.2">p</mi><mi id="A3.Thmtheorem2.p1.3.3.m3.4.4.1.1.1.1.1.3.2.3">θ</mi></msub></mrow><mo lspace="0em" rspace="0em" id="A3.Thmtheorem2.p1.3.3.m3.4.4.1.1.1.1.1.2">​</mo><mrow id="A3.Thmtheorem2.p1.3.3.m3.4.4.1.1.1.1.1.1.1"><mo stretchy="false" id="A3.Thmtheorem2.p1.3.3.m3.4.4.1.1.1.1.1.1.1.2">(</mo><mrow id="A3.Thmtheorem2.p1.3.3.m3.4.4.1.1.1.1.1.1.1.1"><mi id="A3.Thmtheorem2.p1.3.3.m3.4.4.1.1.1.1.1.1.1.1.2">a</mi><mo fence="false" id="A3.Thmtheorem2.p1.3.3.m3.4.4.1.1.1.1.1.1.1.1.1">|</mo><mi id="A3.Thmtheorem2.p1.3.3.m3.4.4.1.1.1.1.1.1.1.1.3">s</mi></mrow><mo stretchy="false" id="A3.Thmtheorem2.p1.3.3.m3.4.4.1.1.1.1.1.1.1.3">)</mo></mrow></mrow></mrow><mo id="A3.Thmtheorem2.p1.3.3.m3.4.4.1.1.1.3">]</mo></mrow></mrow></mrow><annotation encoding="application/x-tex" id="A3.Thmtheorem2.p1.3.3.m3.4b">V^{\theta}(s)=\mathbb{E}_{a\sim p_{\theta}(\cdot|s)}\left[Q(s,a)-\log p_{\theta}(a|s)\right]</annotation></semantics></math>, the following identities hold:</span></p>
<table id="A9.EGx12" class="ltx_equationgroup ltx_eqn_align ltx_eqn_table">

<tbody id="A3.E9"><tr class="ltx_equation ltx_eqn_row ltx_align_baseline">
<td class="ltx_eqn_cell ltx_eqn_center_padleft"></td>
<td class="ltx_td ltx_align_right ltx_eqn_cell"><math id="A3.E9.m1.6" class="ltx_Math" alttext="\displaystyle\mathbb{E}_{s,a\sim\rho_{\theta}}\left[(\mathcal{T}^{\theta}Q)(s,a)\right]+H[\rho_{\theta}]" display="inline"><semantics id="A3.E9.m1.6a"><mrow id="A3.E9.m1.6.6" xref="A3.E9.m1.6.6.cmml"><mrow id="A3.E9.m1.5.5.1" xref="A3.E9.m1.5.5.1.cmml"><msub id="A3.E9.m1.5.5.1.3" xref="A3.E9.m1.5.5.1.3.cmml"><mi id="A3.E9.m1.5.5.1.3.2" xref="A3.E9.m1.5.5.1.3.2.cmml">𝔼</mi><mrow id="A3.E9.m1.2.2.2" xref="A3.E9.m1.2.2.2.cmml"><mrow id="A3.E9.m1.2.2.2.4.2" xref="A3.E9.m1.2.2.2.4.1.cmml"><mi id="A3.E9.m1.1.1.1.1" xref="A3.E9.m1.1.1.1.1.cmml">s</mi><mo id="A3.E9.m1.2.2.2.4.2.1" xref="A3.E9.m1.2.2.2.4.1.cmml">,</mo><mi id="A3.E9.m1.2.2.2.2" xref="A3.E9.m1.2.2.2.2.cmml">a</mi></mrow><mo id="A3.E9.m1.2.2.2.3" xref="A3.E9.m1.2.2.2.3.cmml">∼</mo><msub id="A3.E9.m1.2.2.2.5" xref="A3.E9.m1.2.2.2.5.cmml"><mi id="A3.E9.m1.2.2.2.5.2" xref="A3.E9.m1.2.2.2.5.2.cmml">ρ</mi><mi id="A3.E9.m1.2.2.2.5.3" xref="A3.E9.m1.2.2.2.5.3.cmml">θ</mi></msub></mrow></msub><mo lspace="0em" rspace="0em" id="A3.E9.m1.5.5.1.2" xref="A3.E9.m1.5.5.1.2.cmml">​</mo><mrow id="A3.E9.m1.5.5.1.1.1" xref="A3.E9.m1.5.5.1.1.2.cmml"><mo id="A3.E9.m1.5.5.1.1.1.2" xref="A3.E9.m1.5.5.1.1.2.1.cmml">[</mo><mrow id="A3.E9.m1.5.5.1.1.1.1" xref="A3.E9.m1.5.5.1.1.1.1.cmml"><mrow id="A3.E9.m1.5.5.1.1.1.1.1.1" xref="A3.E9.m1.5.5.1.1.1.1.1.1.1.cmml"><mo stretchy="false" id="A3.E9.m1.5.5.1.1.1.1.1.1.2" xref="A3.E9.m1.5.5.1.1.1.1.1.1.1.cmml">(</mo><mrow id="A3.E9.m1.5.5.1.1.1.1.1.1.1" xref="A3.E9.m1.5.5.1.1.1.1.1.1.1.cmml"><msup id="A3.E9.m1.5.5.1.1.1.1.1.1.1.2" xref="A3.E9.m1.5.5.1.1.1.1.1.1.1.2.cmml"><mi class="ltx_font_mathcaligraphic" id="A3.E9.m1.5.5.1.1.1.1.1.1.1.2.2" xref="A3.E9.m1.5.5.1.1.1.1.1.1.1.2.2.cmml">𝒯</mi><mi id="A3.E9.m1.5.5.1.1.1.1.1.1.1.2.3" xref="A3.E9.m1.5.5.1.1.1.1.1.1.1.2.3.cmml">θ</mi></msup><mo lspace="0em" rspace="0em" id="A3.E9.m1.5.5.1.1.1.1.1.1.1.1" xref="A3.E9.m1.5.5.1.1.1.1.1.1.1.1.cmml">​</mo><mi id="A3.E9.m1.5.5.1.1.1.1.1.1.1.3" xref="A3.E9.m1.5.5.1.1.1.1.1.1.1.3.cmml">Q</mi></mrow><mo stretchy="false" id="A3.E9.m1.5.5.1.1.1.1.1.1.3" xref="A3.E9.m1.5.5.1.1.1.1.1.1.1.cmml">)</mo></mrow><mo lspace="0em" rspace="0em" id="A3.E9.m1.5.5.1.1.1.1.2" xref="A3.E9.m1.5.5.1.1.1.1.2.cmml">​</mo><mrow id="A3.E9.m1.5.5.1.1.1.1.3.2" xref="A3.E9.m1.5.5.1.1.1.1.3.1.cmml"><mo stretchy="false" id="A3.E9.m1.5.5.1.1.1.1.3.2.1" xref="A3.E9.m1.5.5.1.1.1.1.3.1.cmml">(</mo><mi id="A3.E9.m1.3.3" xref="A3.E9.m1.3.3.cmml">s</mi><mo id="A3.E9.m1.5.5.1.1.1.1.3.2.2" xref="A3.E9.m1.5.5.1.1.1.1.3.1.cmml">,</mo><mi id="A3.E9.m1.4.4" xref="A3.E9.m1.4.4.cmml">a</mi><mo stretchy="false" id="A3.E9.m1.5.5.1.1.1.1.3.2.3" xref="A3.E9.m1.5.5.1.1.1.1.3.1.cmml">)</mo></mrow></mrow><mo id="A3.E9.m1.5.5.1.1.1.3" xref="A3.E9.m1.5.5.1.1.2.1.cmml">]</mo></mrow></mrow><mo id="A3.E9.m1.6.6.3" xref="A3.E9.m1.6.6.3.cmml">+</mo><mrow id="A3.E9.m1.6.6.2" xref="A3.E9.m1.6.6.2.cmml"><mi id="A3.E9.m1.6.6.2.3" xref="A3.E9.m1.6.6.2.3.cmml">H</mi><mo lspace="0em" rspace="0em" id="A3.E9.m1.6.6.2.2" xref="A3.E9.m1.6.6.2.2.cmml">​</mo><mrow id="A3.E9.m1.6.6.2.1.1" xref="A3.E9.m1.6.6.2.1.2.cmml"><mo stretchy="false" id="A3.E9.m1.6.6.2.1.1.2" xref="A3.E9.m1.6.6.2.1.2.1.cmml">[</mo><msub id="A3.E9.m1.6.6.2.1.1.1" xref="A3.E9.m1.6.6.2.1.1.1.cmml"><mi id="A3.E9.m1.6.6.2.1.1.1.2" xref="A3.E9.m1.6.6.2.1.1.1.2.cmml">ρ</mi><mi id="A3.E9.m1.6.6.2.1.1.1.3" xref="A3.E9.m1.6.6.2.1.1.1.3.cmml">θ</mi></msub><mo stretchy="false" id="A3.E9.m1.6.6.2.1.1.3" xref="A3.E9.m1.6.6.2.1.2.1.cmml">]</mo></mrow></mrow></mrow><annotation-xml encoding="MathML-Content" id="A3.E9.m1.6b"><apply id="A3.E9.m1.6.6.cmml" xref="A3.E9.m1.6.6"><plus id="A3.E9.m1.6.6.3.cmml" xref="A3.E9.m1.6.6.3"></plus><apply id="A3.E9.m1.5.5.1.cmml" xref="A3.E9.m1.5.5.1"><times id="A3.E9.m1.5.5.1.2.cmml" xref="A3.E9.m1.5.5.1.2"></times><apply id="A3.E9.m1.5.5.1.3.cmml" xref="A3.E9.m1.5.5.1.3"><csymbol cd="ambiguous" id="A3.E9.m1.5.5.1.3.1.cmml" xref="A3.E9.m1.5.5.1.3">subscript</csymbol><ci id="A3.E9.m1.5.5.1.3.2.cmml" xref="A3.E9.m1.5.5.1.3.2">𝔼</ci><apply id="A3.E9.m1.2.2.2.cmml" xref="A3.E9.m1.2.2.2"><csymbol cd="latexml" id="A3.E9.m1.2.2.2.3.cmml" xref="A3.E9.m1.2.2.2.3">similar-to</csymbol><list id="A3.E9.m1.2.2.2.4.1.cmml" xref="A3.E9.m1.2.2.2.4.2"><ci id="A3.E9.m1.1.1.1.1.cmml" xref="A3.E9.m1.1.1.1.1">𝑠</ci><ci id="A3.E9.m1.2.2.2.2.cmml" xref="A3.E9.m1.2.2.2.2">𝑎</ci></list><apply id="A3.E9.m1.2.2.2.5.cmml" xref="A3.E9.m1.2.2.2.5"><csymbol cd="ambiguous" id="A3.E9.m1.2.2.2.5.1.cmml" xref="A3.E9.m1.2.2.2.5">subscript</csymbol><ci id="A3.E9.m1.2.2.2.5.2.cmml" xref="A3.E9.m1.2.2.2.5.2">𝜌</ci><ci id="A3.E9.m1.2.2.2.5.3.cmml" xref="A3.E9.m1.2.2.2.5.3">𝜃</ci></apply></apply></apply><apply id="A3.E9.m1.5.5.1.1.2.cmml" xref="A3.E9.m1.5.5.1.1.1"><csymbol cd="latexml" id="A3.E9.m1.5.5.1.1.2.1.cmml" xref="A3.E9.m1.5.5.1.1.1.2">delimited-[]</csymbol><apply id="A3.E9.m1.5.5.1.1.1.1.cmml" xref="A3.E9.m1.5.5.1.1.1.1"><times id="A3.E9.m1.5.5.1.1.1.1.2.cmml" xref="A3.E9.m1.5.5.1.1.1.1.2"></times><apply id="A3.E9.m1.5.5.1.1.1.1.1.1.1.cmml" xref="A3.E9.m1.5.5.1.1.1.1.1.1"><times id="A3.E9.m1.5.5.1.1.1.1.1.1.1.1.cmml" xref="A3.E9.m1.5.5.1.1.1.1.1.1.1.1"></times><apply id="A3.E9.m1.5.5.1.1.1.1.1.1.1.2.cmml" xref="A3.E9.m1.5.5.1.1.1.1.1.1.1.2"><csymbol cd="ambiguous" id="A3.E9.m1.5.5.1.1.1.1.1.1.1.2.1.cmml" xref="A3.E9.m1.5.5.1.1.1.1.1.1.1.2">superscript</csymbol><ci id="A3.E9.m1.5.5.1.1.1.1.1.1.1.2.2.cmml" xref="A3.E9.m1.5.5.1.1.1.1.1.1.1.2.2">𝒯</ci><ci id="A3.E9.m1.5.5.1.1.1.1.1.1.1.2.3.cmml" xref="A3.E9.m1.5.5.1.1.1.1.1.1.1.2.3">𝜃</ci></apply><ci id="A3.E9.m1.5.5.1.1.1.1.1.1.1.3.cmml" xref="A3.E9.m1.5.5.1.1.1.1.1.1.1.3">𝑄</ci></apply><interval closure="open" id="A3.E9.m1.5.5.1.1.1.1.3.1.cmml" xref="A3.E9.m1.5.5.1.1.1.1.3.2"><ci id="A3.E9.m1.3.3.cmml" xref="A3.E9.m1.3.3">𝑠</ci><ci id="A3.E9.m1.4.4.cmml" xref="A3.E9.m1.4.4">𝑎</ci></interval></apply></apply></apply><apply id="A3.E9.m1.6.6.2.cmml" xref="A3.E9.m1.6.6.2"><times id="A3.E9.m1.6.6.2.2.cmml" xref="A3.E9.m1.6.6.2.2"></times><ci id="A3.E9.m1.6.6.2.3.cmml" xref="A3.E9.m1.6.6.2.3">𝐻</ci><apply id="A3.E9.m1.6.6.2.1.2.cmml" xref="A3.E9.m1.6.6.2.1.1"><csymbol cd="latexml" id="A3.E9.m1.6.6.2.1.2.1.cmml" xref="A3.E9.m1.6.6.2.1.1.2">delimited-[]</csymbol><apply id="A3.E9.m1.6.6.2.1.1.1.cmml" xref="A3.E9.m1.6.6.2.1.1.1"><csymbol cd="ambiguous" id="A3.E9.m1.6.6.2.1.1.1.1.cmml" xref="A3.E9.m1.6.6.2.1.1.1">subscript</csymbol><ci id="A3.E9.m1.6.6.2.1.1.1.2.cmml" xref="A3.E9.m1.6.6.2.1.1.1.2">𝜌</ci><ci id="A3.E9.m1.6.6.2.1.1.1.3.cmml" xref="A3.E9.m1.6.6.2.1.1.1.3">𝜃</ci></apply></apply></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="A3.E9.m1.6c">\displaystyle\mathbb{E}_{s,a\sim\rho_{\theta}}\left[(\mathcal{T}^{\theta}Q)(s,a)\right]+H[\rho_{\theta}]</annotation></semantics></math></td>
<td class="ltx_td ltx_align_left ltx_eqn_cell"><math id="A3.E9.m2.2" class="ltx_Math" alttext="\displaystyle=(1-\gamma)\mathbb{E}_{s_{0}\sim\mathcal{P}_{0}}\left[V^{\theta}(s_{0})\right]" display="inline"><semantics id="A3.E9.m2.2a"><mrow id="A3.E9.m2.2.2" xref="A3.E9.m2.2.2.cmml"><mi id="A3.E9.m2.2.2.4" xref="A3.E9.m2.2.2.4.cmml"></mi><mo id="A3.E9.m2.2.2.3" xref="A3.E9.m2.2.2.3.cmml">=</mo><mrow id="A3.E9.m2.2.2.2" xref="A3.E9.m2.2.2.2.cmml"><mrow id="A3.E9.m2.1.1.1.1.1" xref="A3.E9.m2.1.1.1.1.1.1.cmml"><mo stretchy="false" id="A3.E9.m2.1.1.1.1.1.2" xref="A3.E9.m2.1.1.1.1.1.1.cmml">(</mo><mrow id="A3.E9.m2.1.1.1.1.1.1" xref="A3.E9.m2.1.1.1.1.1.1.cmml"><mn id="A3.E9.m2.1.1.1.1.1.1.2" xref="A3.E9.m2.1.1.1.1.1.1.2.cmml">1</mn><mo id="A3.E9.m2.1.1.1.1.1.1.1" xref="A3.E9.m2.1.1.1.1.1.1.1.cmml">−</mo><mi id="A3.E9.m2.1.1.1.1.1.1.3" xref="A3.E9.m2.1.1.1.1.1.1.3.cmml">γ</mi></mrow><mo stretchy="false" id="A3.E9.m2.1.1.1.1.1.3" xref="A3.E9.m2.1.1.1.1.1.1.cmml">)</mo></mrow><mo lspace="0em" rspace="0em" id="A3.E9.m2.2.2.2.3" xref="A3.E9.m2.2.2.2.3.cmml">​</mo><msub id="A3.E9.m2.2.2.2.4" xref="A3.E9.m2.2.2.2.4.cmml"><mi id="A3.E9.m2.2.2.2.4.2" xref="A3.E9.m2.2.2.2.4.2.cmml">𝔼</mi><mrow id="A3.E9.m2.2.2.2.4.3" xref="A3.E9.m2.2.2.2.4.3.cmml"><msub id="A3.E9.m2.2.2.2.4.3.2" xref="A3.E9.m2.2.2.2.4.3.2.cmml"><mi id="A3.E9.m2.2.2.2.4.3.2.2" xref="A3.E9.m2.2.2.2.4.3.2.2.cmml">s</mi><mn id="A3.E9.m2.2.2.2.4.3.2.3" xref="A3.E9.m2.2.2.2.4.3.2.3.cmml">0</mn></msub><mo id="A3.E9.m2.2.2.2.4.3.1" xref="A3.E9.m2.2.2.2.4.3.1.cmml">∼</mo><msub id="A3.E9.m2.2.2.2.4.3.3" xref="A3.E9.m2.2.2.2.4.3.3.cmml"><mi class="ltx_font_mathcaligraphic" id="A3.E9.m2.2.2.2.4.3.3.2" xref="A3.E9.m2.2.2.2.4.3.3.2.cmml">𝒫</mi><mn id="A3.E9.m2.2.2.2.4.3.3.3" xref="A3.E9.m2.2.2.2.4.3.3.3.cmml">0</mn></msub></mrow></msub><mo lspace="0em" rspace="0em" id="A3.E9.m2.2.2.2.3a" xref="A3.E9.m2.2.2.2.3.cmml">​</mo><mrow id="A3.E9.m2.2.2.2.2.1" xref="A3.E9.m2.2.2.2.2.2.cmml"><mo id="A3.E9.m2.2.2.2.2.1.2" xref="A3.E9.m2.2.2.2.2.2.1.cmml">[</mo><mrow id="A3.E9.m2.2.2.2.2.1.1" xref="A3.E9.m2.2.2.2.2.1.1.cmml"><msup id="A3.E9.m2.2.2.2.2.1.1.3" xref="A3.E9.m2.2.2.2.2.1.1.3.cmml"><mi id="A3.E9.m2.2.2.2.2.1.1.3.2" xref="A3.E9.m2.2.2.2.2.1.1.3.2.cmml">V</mi><mi id="A3.E9.m2.2.2.2.2.1.1.3.3" xref="A3.E9.m2.2.2.2.2.1.1.3.3.cmml">θ</mi></msup><mo lspace="0em" rspace="0em" id="A3.E9.m2.2.2.2.2.1.1.2" xref="A3.E9.m2.2.2.2.2.1.1.2.cmml">​</mo><mrow id="A3.E9.m2.2.2.2.2.1.1.1.1" xref="A3.E9.m2.2.2.2.2.1.1.1.1.1.cmml"><mo stretchy="false" id="A3.E9.m2.2.2.2.2.1.1.1.1.2" xref="A3.E9.m2.2.2.2.2.1.1.1.1.1.cmml">(</mo><msub id="A3.E9.m2.2.2.2.2.1.1.1.1.1" xref="A3.E9.m2.2.2.2.2.1.1.1.1.1.cmml"><mi id="A3.E9.m2.2.2.2.2.1.1.1.1.1.2" xref="A3.E9.m2.2.2.2.2.1.1.1.1.1.2.cmml">s</mi><mn id="A3.E9.m2.2.2.2.2.1.1.1.1.1.3" xref="A3.E9.m2.2.2.2.2.1.1.1.1.1.3.cmml">0</mn></msub><mo stretchy="false" id="A3.E9.m2.2.2.2.2.1.1.1.1.3" xref="A3.E9.m2.2.2.2.2.1.1.1.1.1.cmml">)</mo></mrow></mrow><mo id="A3.E9.m2.2.2.2.2.1.3" xref="A3.E9.m2.2.2.2.2.2.1.cmml">]</mo></mrow></mrow></mrow><annotation-xml encoding="MathML-Content" id="A3.E9.m2.2b"><apply id="A3.E9.m2.2.2.cmml" xref="A3.E9.m2.2.2"><eq id="A3.E9.m2.2.2.3.cmml" xref="A3.E9.m2.2.2.3"></eq><csymbol cd="latexml" id="A3.E9.m2.2.2.4.cmml" xref="A3.E9.m2.2.2.4">absent</csymbol><apply id="A3.E9.m2.2.2.2.cmml" xref="A3.E9.m2.2.2.2"><times id="A3.E9.m2.2.2.2.3.cmml" xref="A3.E9.m2.2.2.2.3"></times><apply id="A3.E9.m2.1.1.1.1.1.1.cmml" xref="A3.E9.m2.1.1.1.1.1"><minus id="A3.E9.m2.1.1.1.1.1.1.1.cmml" xref="A3.E9.m2.1.1.1.1.1.1.1"></minus><cn type="integer" id="A3.E9.m2.1.1.1.1.1.1.2.cmml" xref="A3.E9.m2.1.1.1.1.1.1.2">1</cn><ci id="A3.E9.m2.1.1.1.1.1.1.3.cmml" xref="A3.E9.m2.1.1.1.1.1.1.3">𝛾</ci></apply><apply id="A3.E9.m2.2.2.2.4.cmml" xref="A3.E9.m2.2.2.2.4"><csymbol cd="ambiguous" id="A3.E9.m2.2.2.2.4.1.cmml" xref="A3.E9.m2.2.2.2.4">subscript</csymbol><ci id="A3.E9.m2.2.2.2.4.2.cmml" xref="A3.E9.m2.2.2.2.4.2">𝔼</ci><apply id="A3.E9.m2.2.2.2.4.3.cmml" xref="A3.E9.m2.2.2.2.4.3"><csymbol cd="latexml" id="A3.E9.m2.2.2.2.4.3.1.cmml" xref="A3.E9.m2.2.2.2.4.3.1">similar-to</csymbol><apply id="A3.E9.m2.2.2.2.4.3.2.cmml" xref="A3.E9.m2.2.2.2.4.3.2"><csymbol cd="ambiguous" id="A3.E9.m2.2.2.2.4.3.2.1.cmml" xref="A3.E9.m2.2.2.2.4.3.2">subscript</csymbol><ci id="A3.E9.m2.2.2.2.4.3.2.2.cmml" xref="A3.E9.m2.2.2.2.4.3.2.2">𝑠</ci><cn type="integer" id="A3.E9.m2.2.2.2.4.3.2.3.cmml" xref="A3.E9.m2.2.2.2.4.3.2.3">0</cn></apply><apply id="A3.E9.m2.2.2.2.4.3.3.cmml" xref="A3.E9.m2.2.2.2.4.3.3"><csymbol cd="ambiguous" id="A3.E9.m2.2.2.2.4.3.3.1.cmml" xref="A3.E9.m2.2.2.2.4.3.3">subscript</csymbol><ci id="A3.E9.m2.2.2.2.4.3.3.2.cmml" xref="A3.E9.m2.2.2.2.4.3.3.2">𝒫</ci><cn type="integer" id="A3.E9.m2.2.2.2.4.3.3.3.cmml" xref="A3.E9.m2.2.2.2.4.3.3.3">0</cn></apply></apply></apply><apply id="A3.E9.m2.2.2.2.2.2.cmml" xref="A3.E9.m2.2.2.2.2.1"><csymbol cd="latexml" id="A3.E9.m2.2.2.2.2.2.1.cmml" xref="A3.E9.m2.2.2.2.2.1.2">delimited-[]</csymbol><apply id="A3.E9.m2.2.2.2.2.1.1.cmml" xref="A3.E9.m2.2.2.2.2.1.1"><times id="A3.E9.m2.2.2.2.2.1.1.2.cmml" xref="A3.E9.m2.2.2.2.2.1.1.2"></times><apply id="A3.E9.m2.2.2.2.2.1.1.3.cmml" xref="A3.E9.m2.2.2.2.2.1.1.3"><csymbol cd="ambiguous" id="A3.E9.m2.2.2.2.2.1.1.3.1.cmml" xref="A3.E9.m2.2.2.2.2.1.1.3">superscript</csymbol><ci id="A3.E9.m2.2.2.2.2.1.1.3.2.cmml" xref="A3.E9.m2.2.2.2.2.1.1.3.2">𝑉</ci><ci id="A3.E9.m2.2.2.2.2.1.1.3.3.cmml" xref="A3.E9.m2.2.2.2.2.1.1.3.3">𝜃</ci></apply><apply id="A3.E9.m2.2.2.2.2.1.1.1.1.1.cmml" xref="A3.E9.m2.2.2.2.2.1.1.1.1"><csymbol cd="ambiguous" id="A3.E9.m2.2.2.2.2.1.1.1.1.1.1.cmml" xref="A3.E9.m2.2.2.2.2.1.1.1.1">subscript</csymbol><ci id="A3.E9.m2.2.2.2.2.1.1.1.1.1.2.cmml" xref="A3.E9.m2.2.2.2.2.1.1.1.1.1.2">𝑠</ci><cn type="integer" id="A3.E9.m2.2.2.2.2.1.1.1.1.1.3.cmml" xref="A3.E9.m2.2.2.2.2.1.1.1.1.1.3">0</cn></apply></apply></apply></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="A3.E9.m2.2c">\displaystyle=(1-\gamma)\mathbb{E}_{s_{0}\sim\mathcal{P}_{0}}\left[V^{\theta}(s_{0})\right]</annotation></semantics></math></td>
<td class="ltx_eqn_cell ltx_eqn_center_padright"></td>
<td rowspan="1" class="ltx_eqn_cell ltx_eqn_eqno ltx_align_middle ltx_align_right"><span class="ltx_tag ltx_tag_equation ltx_align_right">(9)</span></td>
</tr></tbody>
<tbody id="A3.E10"><tr class="ltx_equation ltx_eqn_row ltx_align_baseline">
<td class="ltx_eqn_cell ltx_eqn_center_padleft"></td>
<td class="ltx_td ltx_eqn_cell"></td>
<td class="ltx_td ltx_align_left ltx_eqn_cell"><math id="A3.E10.m1.4" class="ltx_Math" alttext="\displaystyle=\mathbb{E}_{s,s^{\prime}\sim\rho}\left[V^{\theta}(s)-\gamma V^{\theta}(s^{\prime})\right]," display="inline"><semantics id="A3.E10.m1.4a"><mrow id="A3.E10.m1.4.4.1" xref="A3.E10.m1.4.4.1.1.cmml"><mrow id="A3.E10.m1.4.4.1.1" xref="A3.E10.m1.4.4.1.1.cmml"><mi id="A3.E10.m1.4.4.1.1.3" xref="A3.E10.m1.4.4.1.1.3.cmml"></mi><mo id="A3.E10.m1.4.4.1.1.2" xref="A3.E10.m1.4.4.1.1.2.cmml">=</mo><mrow id="A3.E10.m1.4.4.1.1.1" xref="A3.E10.m1.4.4.1.1.1.cmml"><msub id="A3.E10.m1.4.4.1.1.1.3" xref="A3.E10.m1.4.4.1.1.1.3.cmml"><mi id="A3.E10.m1.4.4.1.1.1.3.2" xref="A3.E10.m1.4.4.1.1.1.3.2.cmml">𝔼</mi><mrow id="A3.E10.m1.2.2.2" xref="A3.E10.m1.2.2.2.cmml"><mrow id="A3.E10.m1.2.2.2.2.1" xref="A3.E10.m1.2.2.2.2.2.cmml"><mi id="A3.E10.m1.1.1.1.1" xref="A3.E10.m1.1.1.1.1.cmml">s</mi><mo id="A3.E10.m1.2.2.2.2.1.2" xref="A3.E10.m1.2.2.2.2.2.cmml">,</mo><msup id="A3.E10.m1.2.2.2.2.1.1" xref="A3.E10.m1.2.2.2.2.1.1.cmml"><mi id="A3.E10.m1.2.2.2.2.1.1.2" xref="A3.E10.m1.2.2.2.2.1.1.2.cmml">s</mi><mo id="A3.E10.m1.2.2.2.2.1.1.3" xref="A3.E10.m1.2.2.2.2.1.1.3.cmml">′</mo></msup></mrow><mo id="A3.E10.m1.2.2.2.3" xref="A3.E10.m1.2.2.2.3.cmml">∼</mo><mi id="A3.E10.m1.2.2.2.4" xref="A3.E10.m1.2.2.2.4.cmml">ρ</mi></mrow></msub><mo lspace="0em" rspace="0em" id="A3.E10.m1.4.4.1.1.1.2" xref="A3.E10.m1.4.4.1.1.1.2.cmml">​</mo><mrow id="A3.E10.m1.4.4.1.1.1.1.1" xref="A3.E10.m1.4.4.1.1.1.1.2.cmml"><mo id="A3.E10.m1.4.4.1.1.1.1.1.2" xref="A3.E10.m1.4.4.1.1.1.1.2.1.cmml">[</mo><mrow id="A3.E10.m1.4.4.1.1.1.1.1.1" xref="A3.E10.m1.4.4.1.1.1.1.1.1.cmml"><mrow id="A3.E10.m1.4.4.1.1.1.1.1.1.3" xref="A3.E10.m1.4.4.1.1.1.1.1.1.3.cmml"><msup id="A3.E10.m1.4.4.1.1.1.1.1.1.3.2" xref="A3.E10.m1.4.4.1.1.1.1.1.1.3.2.cmml"><mi id="A3.E10.m1.4.4.1.1.1.1.1.1.3.2.2" xref="A3.E10.m1.4.4.1.1.1.1.1.1.3.2.2.cmml">V</mi><mi id="A3.E10.m1.4.4.1.1.1.1.1.1.3.2.3" xref="A3.E10.m1.4.4.1.1.1.1.1.1.3.2.3.cmml">θ</mi></msup><mo lspace="0em" rspace="0em" id="A3.E10.m1.4.4.1.1.1.1.1.1.3.1" xref="A3.E10.m1.4.4.1.1.1.1.1.1.3.1.cmml">​</mo><mrow id="A3.E10.m1.4.4.1.1.1.1.1.1.3.3.2" xref="A3.E10.m1.4.4.1.1.1.1.1.1.3.cmml"><mo stretchy="false" id="A3.E10.m1.4.4.1.1.1.1.1.1.3.3.2.1" xref="A3.E10.m1.4.4.1.1.1.1.1.1.3.cmml">(</mo><mi id="A3.E10.m1.3.3" xref="A3.E10.m1.3.3.cmml">s</mi><mo stretchy="false" id="A3.E10.m1.4.4.1.1.1.1.1.1.3.3.2.2" xref="A3.E10.m1.4.4.1.1.1.1.1.1.3.cmml">)</mo></mrow></mrow><mo id="A3.E10.m1.4.4.1.1.1.1.1.1.2" xref="A3.E10.m1.4.4.1.1.1.1.1.1.2.cmml">−</mo><mrow id="A3.E10.m1.4.4.1.1.1.1.1.1.1" xref="A3.E10.m1.4.4.1.1.1.1.1.1.1.cmml"><mi id="A3.E10.m1.4.4.1.1.1.1.1.1.1.3" xref="A3.E10.m1.4.4.1.1.1.1.1.1.1.3.cmml">γ</mi><mo lspace="0em" rspace="0em" id="A3.E10.m1.4.4.1.1.1.1.1.1.1.2" xref="A3.E10.m1.4.4.1.1.1.1.1.1.1.2.cmml">​</mo><msup id="A3.E10.m1.4.4.1.1.1.1.1.1.1.4" xref="A3.E10.m1.4.4.1.1.1.1.1.1.1.4.cmml"><mi id="A3.E10.m1.4.4.1.1.1.1.1.1.1.4.2" xref="A3.E10.m1.4.4.1.1.1.1.1.1.1.4.2.cmml">V</mi><mi id="A3.E10.m1.4.4.1.1.1.1.1.1.1.4.3" xref="A3.E10.m1.4.4.1.1.1.1.1.1.1.4.3.cmml">θ</mi></msup><mo lspace="0em" rspace="0em" id="A3.E10.m1.4.4.1.1.1.1.1.1.1.2a" xref="A3.E10.m1.4.4.1.1.1.1.1.1.1.2.cmml">​</mo><mrow id="A3.E10.m1.4.4.1.1.1.1.1.1.1.1.1" xref="A3.E10.m1.4.4.1.1.1.1.1.1.1.1.1.1.cmml"><mo stretchy="false" id="A3.E10.m1.4.4.1.1.1.1.1.1.1.1.1.2" xref="A3.E10.m1.4.4.1.1.1.1.1.1.1.1.1.1.cmml">(</mo><msup id="A3.E10.m1.4.4.1.1.1.1.1.1.1.1.1.1" xref="A3.E10.m1.4.4.1.1.1.1.1.1.1.1.1.1.cmml"><mi id="A3.E10.m1.4.4.1.1.1.1.1.1.1.1.1.1.2" xref="A3.E10.m1.4.4.1.1.1.1.1.1.1.1.1.1.2.cmml">s</mi><mo id="A3.E10.m1.4.4.1.1.1.1.1.1.1.1.1.1.3" xref="A3.E10.m1.4.4.1.1.1.1.1.1.1.1.1.1.3.cmml">′</mo></msup><mo stretchy="false" id="A3.E10.m1.4.4.1.1.1.1.1.1.1.1.1.3" xref="A3.E10.m1.4.4.1.1.1.1.1.1.1.1.1.1.cmml">)</mo></mrow></mrow></mrow><mo id="A3.E10.m1.4.4.1.1.1.1.1.3" xref="A3.E10.m1.4.4.1.1.1.1.2.1.cmml">]</mo></mrow></mrow></mrow><mo id="A3.E10.m1.4.4.1.2" xref="A3.E10.m1.4.4.1.1.cmml">,</mo></mrow><annotation-xml encoding="MathML-Content" id="A3.E10.m1.4b"><apply id="A3.E10.m1.4.4.1.1.cmml" xref="A3.E10.m1.4.4.1"><eq id="A3.E10.m1.4.4.1.1.2.cmml" xref="A3.E10.m1.4.4.1.1.2"></eq><csymbol cd="latexml" id="A3.E10.m1.4.4.1.1.3.cmml" xref="A3.E10.m1.4.4.1.1.3">absent</csymbol><apply id="A3.E10.m1.4.4.1.1.1.cmml" xref="A3.E10.m1.4.4.1.1.1"><times id="A3.E10.m1.4.4.1.1.1.2.cmml" xref="A3.E10.m1.4.4.1.1.1.2"></times><apply id="A3.E10.m1.4.4.1.1.1.3.cmml" xref="A3.E10.m1.4.4.1.1.1.3"><csymbol cd="ambiguous" id="A3.E10.m1.4.4.1.1.1.3.1.cmml" xref="A3.E10.m1.4.4.1.1.1.3">subscript</csymbol><ci id="A3.E10.m1.4.4.1.1.1.3.2.cmml" xref="A3.E10.m1.4.4.1.1.1.3.2">𝔼</ci><apply id="A3.E10.m1.2.2.2.cmml" xref="A3.E10.m1.2.2.2"><csymbol cd="latexml" id="A3.E10.m1.2.2.2.3.cmml" xref="A3.E10.m1.2.2.2.3">similar-to</csymbol><list id="A3.E10.m1.2.2.2.2.2.cmml" xref="A3.E10.m1.2.2.2.2.1"><ci id="A3.E10.m1.1.1.1.1.cmml" xref="A3.E10.m1.1.1.1.1">𝑠</ci><apply id="A3.E10.m1.2.2.2.2.1.1.cmml" xref="A3.E10.m1.2.2.2.2.1.1"><csymbol cd="ambiguous" id="A3.E10.m1.2.2.2.2.1.1.1.cmml" xref="A3.E10.m1.2.2.2.2.1.1">superscript</csymbol><ci id="A3.E10.m1.2.2.2.2.1.1.2.cmml" xref="A3.E10.m1.2.2.2.2.1.1.2">𝑠</ci><ci id="A3.E10.m1.2.2.2.2.1.1.3.cmml" xref="A3.E10.m1.2.2.2.2.1.1.3">′</ci></apply></list><ci id="A3.E10.m1.2.2.2.4.cmml" xref="A3.E10.m1.2.2.2.4">𝜌</ci></apply></apply><apply id="A3.E10.m1.4.4.1.1.1.1.2.cmml" xref="A3.E10.m1.4.4.1.1.1.1.1"><csymbol cd="latexml" id="A3.E10.m1.4.4.1.1.1.1.2.1.cmml" xref="A3.E10.m1.4.4.1.1.1.1.1.2">delimited-[]</csymbol><apply id="A3.E10.m1.4.4.1.1.1.1.1.1.cmml" xref="A3.E10.m1.4.4.1.1.1.1.1.1"><minus id="A3.E10.m1.4.4.1.1.1.1.1.1.2.cmml" xref="A3.E10.m1.4.4.1.1.1.1.1.1.2"></minus><apply id="A3.E10.m1.4.4.1.1.1.1.1.1.3.cmml" xref="A3.E10.m1.4.4.1.1.1.1.1.1.3"><times id="A3.E10.m1.4.4.1.1.1.1.1.1.3.1.cmml" xref="A3.E10.m1.4.4.1.1.1.1.1.1.3.1"></times><apply id="A3.E10.m1.4.4.1.1.1.1.1.1.3.2.cmml" xref="A3.E10.m1.4.4.1.1.1.1.1.1.3.2"><csymbol cd="ambiguous" id="A3.E10.m1.4.4.1.1.1.1.1.1.3.2.1.cmml" xref="A3.E10.m1.4.4.1.1.1.1.1.1.3.2">superscript</csymbol><ci id="A3.E10.m1.4.4.1.1.1.1.1.1.3.2.2.cmml" xref="A3.E10.m1.4.4.1.1.1.1.1.1.3.2.2">𝑉</ci><ci id="A3.E10.m1.4.4.1.1.1.1.1.1.3.2.3.cmml" xref="A3.E10.m1.4.4.1.1.1.1.1.1.3.2.3">𝜃</ci></apply><ci id="A3.E10.m1.3.3.cmml" xref="A3.E10.m1.3.3">𝑠</ci></apply><apply id="A3.E10.m1.4.4.1.1.1.1.1.1.1.cmml" xref="A3.E10.m1.4.4.1.1.1.1.1.1.1"><times id="A3.E10.m1.4.4.1.1.1.1.1.1.1.2.cmml" xref="A3.E10.m1.4.4.1.1.1.1.1.1.1.2"></times><ci id="A3.E10.m1.4.4.1.1.1.1.1.1.1.3.cmml" xref="A3.E10.m1.4.4.1.1.1.1.1.1.1.3">𝛾</ci><apply id="A3.E10.m1.4.4.1.1.1.1.1.1.1.4.cmml" xref="A3.E10.m1.4.4.1.1.1.1.1.1.1.4"><csymbol cd="ambiguous" id="A3.E10.m1.4.4.1.1.1.1.1.1.1.4.1.cmml" xref="A3.E10.m1.4.4.1.1.1.1.1.1.1.4">superscript</csymbol><ci id="A3.E10.m1.4.4.1.1.1.1.1.1.1.4.2.cmml" xref="A3.E10.m1.4.4.1.1.1.1.1.1.1.4.2">𝑉</ci><ci id="A3.E10.m1.4.4.1.1.1.1.1.1.1.4.3.cmml" xref="A3.E10.m1.4.4.1.1.1.1.1.1.1.4.3">𝜃</ci></apply><apply id="A3.E10.m1.4.4.1.1.1.1.1.1.1.1.1.1.cmml" xref="A3.E10.m1.4.4.1.1.1.1.1.1.1.1.1"><csymbol cd="ambiguous" id="A3.E10.m1.4.4.1.1.1.1.1.1.1.1.1.1.1.cmml" xref="A3.E10.m1.4.4.1.1.1.1.1.1.1.1.1">superscript</csymbol><ci id="A3.E10.m1.4.4.1.1.1.1.1.1.1.1.1.1.2.cmml" xref="A3.E10.m1.4.4.1.1.1.1.1.1.1.1.1.1.2">𝑠</ci><ci id="A3.E10.m1.4.4.1.1.1.1.1.1.1.1.1.1.3.cmml" xref="A3.E10.m1.4.4.1.1.1.1.1.1.1.1.1.1.3">′</ci></apply></apply></apply></apply></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="A3.E10.m1.4c">\displaystyle=\mathbb{E}_{s,s^{\prime}\sim\rho}\left[V^{\theta}(s)-\gamma V^{\theta}(s^{\prime})\right],</annotation></semantics></math></td>
<td class="ltx_eqn_cell ltx_eqn_center_padright"></td>
<td rowspan="1" class="ltx_eqn_cell ltx_eqn_eqno ltx_align_middle ltx_align_right"><span class="ltx_tag ltx_tag_equation ltx_align_right">(10)</span></td>
</tr></tbody>
</table>
<p id="A3.Thmtheorem2.p1.9" class="ltx_p"><span id="A3.Thmtheorem2.p1.9.6" class="ltx_text ltx_font_italic">where <math id="A3.Thmtheorem2.p1.4.1.m1.1" class="ltx_Math" alttext="\rho" display="inline"><semantics id="A3.Thmtheorem2.p1.4.1.m1.1a"><mi id="A3.Thmtheorem2.p1.4.1.m1.1.1" xref="A3.Thmtheorem2.p1.4.1.m1.1.1.cmml">ρ</mi><annotation-xml encoding="MathML-Content" id="A3.Thmtheorem2.p1.4.1.m1.1b"><ci id="A3.Thmtheorem2.p1.4.1.m1.1.1.cmml" xref="A3.Thmtheorem2.p1.4.1.m1.1.1">𝜌</ci></annotation-xml><annotation encoding="application/x-tex" id="A3.Thmtheorem2.p1.4.1.m1.1c">\rho</annotation></semantics></math> is any occupancy measure, and <math id="A3.Thmtheorem2.p1.5.2.m2.2" class="ltx_Math" alttext="s,s^{\prime}\sim\rho" display="inline"><semantics id="A3.Thmtheorem2.p1.5.2.m2.2a"><mrow id="A3.Thmtheorem2.p1.5.2.m2.2.2" xref="A3.Thmtheorem2.p1.5.2.m2.2.2.cmml"><mrow id="A3.Thmtheorem2.p1.5.2.m2.2.2.1.1" xref="A3.Thmtheorem2.p1.5.2.m2.2.2.1.2.cmml"><mi id="A3.Thmtheorem2.p1.5.2.m2.1.1" xref="A3.Thmtheorem2.p1.5.2.m2.1.1.cmml">s</mi><mo id="A3.Thmtheorem2.p1.5.2.m2.2.2.1.1.2" xref="A3.Thmtheorem2.p1.5.2.m2.2.2.1.2.cmml">,</mo><msup id="A3.Thmtheorem2.p1.5.2.m2.2.2.1.1.1" xref="A3.Thmtheorem2.p1.5.2.m2.2.2.1.1.1.cmml"><mi id="A3.Thmtheorem2.p1.5.2.m2.2.2.1.1.1.2" xref="A3.Thmtheorem2.p1.5.2.m2.2.2.1.1.1.2.cmml">s</mi><mo id="A3.Thmtheorem2.p1.5.2.m2.2.2.1.1.1.3" xref="A3.Thmtheorem2.p1.5.2.m2.2.2.1.1.1.3.cmml">′</mo></msup></mrow><mo id="A3.Thmtheorem2.p1.5.2.m2.2.2.2" xref="A3.Thmtheorem2.p1.5.2.m2.2.2.2.cmml">∼</mo><mi id="A3.Thmtheorem2.p1.5.2.m2.2.2.3" xref="A3.Thmtheorem2.p1.5.2.m2.2.2.3.cmml">ρ</mi></mrow><annotation-xml encoding="MathML-Content" id="A3.Thmtheorem2.p1.5.2.m2.2b"><apply id="A3.Thmtheorem2.p1.5.2.m2.2.2.cmml" xref="A3.Thmtheorem2.p1.5.2.m2.2.2"><csymbol cd="latexml" id="A3.Thmtheorem2.p1.5.2.m2.2.2.2.cmml" xref="A3.Thmtheorem2.p1.5.2.m2.2.2.2">similar-to</csymbol><list id="A3.Thmtheorem2.p1.5.2.m2.2.2.1.2.cmml" xref="A3.Thmtheorem2.p1.5.2.m2.2.2.1.1"><ci id="A3.Thmtheorem2.p1.5.2.m2.1.1.cmml" xref="A3.Thmtheorem2.p1.5.2.m2.1.1">𝑠</ci><apply id="A3.Thmtheorem2.p1.5.2.m2.2.2.1.1.1.cmml" xref="A3.Thmtheorem2.p1.5.2.m2.2.2.1.1.1"><csymbol cd="ambiguous" id="A3.Thmtheorem2.p1.5.2.m2.2.2.1.1.1.1.cmml" xref="A3.Thmtheorem2.p1.5.2.m2.2.2.1.1.1">superscript</csymbol><ci id="A3.Thmtheorem2.p1.5.2.m2.2.2.1.1.1.2.cmml" xref="A3.Thmtheorem2.p1.5.2.m2.2.2.1.1.1.2">𝑠</ci><ci id="A3.Thmtheorem2.p1.5.2.m2.2.2.1.1.1.3.cmml" xref="A3.Thmtheorem2.p1.5.2.m2.2.2.1.1.1.3">′</ci></apply></list><ci id="A3.Thmtheorem2.p1.5.2.m2.2.2.3.cmml" xref="A3.Thmtheorem2.p1.5.2.m2.2.2.3">𝜌</ci></apply></annotation-xml><annotation encoding="application/x-tex" id="A3.Thmtheorem2.p1.5.2.m2.2c">s,s^{\prime}\sim\rho</annotation></semantics></math> denotes sampling <math id="A3.Thmtheorem2.p1.6.3.m3.2" class="ltx_Math" alttext="s,a" display="inline"><semantics id="A3.Thmtheorem2.p1.6.3.m3.2a"><mrow id="A3.Thmtheorem2.p1.6.3.m3.2.3.2" xref="A3.Thmtheorem2.p1.6.3.m3.2.3.1.cmml"><mi id="A3.Thmtheorem2.p1.6.3.m3.1.1" xref="A3.Thmtheorem2.p1.6.3.m3.1.1.cmml">s</mi><mo id="A3.Thmtheorem2.p1.6.3.m3.2.3.2.1" xref="A3.Thmtheorem2.p1.6.3.m3.2.3.1.cmml">,</mo><mi id="A3.Thmtheorem2.p1.6.3.m3.2.2" xref="A3.Thmtheorem2.p1.6.3.m3.2.2.cmml">a</mi></mrow><annotation-xml encoding="MathML-Content" id="A3.Thmtheorem2.p1.6.3.m3.2b"><list id="A3.Thmtheorem2.p1.6.3.m3.2.3.1.cmml" xref="A3.Thmtheorem2.p1.6.3.m3.2.3.2"><ci id="A3.Thmtheorem2.p1.6.3.m3.1.1.cmml" xref="A3.Thmtheorem2.p1.6.3.m3.1.1">𝑠</ci><ci id="A3.Thmtheorem2.p1.6.3.m3.2.2.cmml" xref="A3.Thmtheorem2.p1.6.3.m3.2.2">𝑎</ci></list></annotation-xml><annotation encoding="application/x-tex" id="A3.Thmtheorem2.p1.6.3.m3.2c">s,a</annotation></semantics></math> from <math id="A3.Thmtheorem2.p1.7.4.m4.1" class="ltx_Math" alttext="\rho" display="inline"><semantics id="A3.Thmtheorem2.p1.7.4.m4.1a"><mi id="A3.Thmtheorem2.p1.7.4.m4.1.1" xref="A3.Thmtheorem2.p1.7.4.m4.1.1.cmml">ρ</mi><annotation-xml encoding="MathML-Content" id="A3.Thmtheorem2.p1.7.4.m4.1b"><ci id="A3.Thmtheorem2.p1.7.4.m4.1.1.cmml" xref="A3.Thmtheorem2.p1.7.4.m4.1.1">𝜌</ci></annotation-xml><annotation encoding="application/x-tex" id="A3.Thmtheorem2.p1.7.4.m4.1c">\rho</annotation></semantics></math> and <math id="A3.Thmtheorem2.p1.8.5.m5.1" class="ltx_Math" alttext="s^{\prime}" display="inline"><semantics id="A3.Thmtheorem2.p1.8.5.m5.1a"><msup id="A3.Thmtheorem2.p1.8.5.m5.1.1" xref="A3.Thmtheorem2.p1.8.5.m5.1.1.cmml"><mi id="A3.Thmtheorem2.p1.8.5.m5.1.1.2" xref="A3.Thmtheorem2.p1.8.5.m5.1.1.2.cmml">s</mi><mo id="A3.Thmtheorem2.p1.8.5.m5.1.1.3" xref="A3.Thmtheorem2.p1.8.5.m5.1.1.3.cmml">′</mo></msup><annotation-xml encoding="MathML-Content" id="A3.Thmtheorem2.p1.8.5.m5.1b"><apply id="A3.Thmtheorem2.p1.8.5.m5.1.1.cmml" xref="A3.Thmtheorem2.p1.8.5.m5.1.1"><csymbol cd="ambiguous" id="A3.Thmtheorem2.p1.8.5.m5.1.1.1.cmml" xref="A3.Thmtheorem2.p1.8.5.m5.1.1">superscript</csymbol><ci id="A3.Thmtheorem2.p1.8.5.m5.1.1.2.cmml" xref="A3.Thmtheorem2.p1.8.5.m5.1.1.2">𝑠</ci><ci id="A3.Thmtheorem2.p1.8.5.m5.1.1.3.cmml" xref="A3.Thmtheorem2.p1.8.5.m5.1.1.3">′</ci></apply></annotation-xml><annotation encoding="application/x-tex" id="A3.Thmtheorem2.p1.8.5.m5.1c">s^{\prime}</annotation></semantics></math> from <math id="A3.Thmtheorem2.p1.9.6.m6.2" class="ltx_Math" alttext="\mathcal{P}(a,s)" display="inline"><semantics id="A3.Thmtheorem2.p1.9.6.m6.2a"><mrow id="A3.Thmtheorem2.p1.9.6.m6.2.3" xref="A3.Thmtheorem2.p1.9.6.m6.2.3.cmml"><mi class="ltx_font_mathcaligraphic" id="A3.Thmtheorem2.p1.9.6.m6.2.3.2" xref="A3.Thmtheorem2.p1.9.6.m6.2.3.2.cmml">𝒫</mi><mo lspace="0em" rspace="0em" id="A3.Thmtheorem2.p1.9.6.m6.2.3.1" xref="A3.Thmtheorem2.p1.9.6.m6.2.3.1.cmml">​</mo><mrow id="A3.Thmtheorem2.p1.9.6.m6.2.3.3.2" xref="A3.Thmtheorem2.p1.9.6.m6.2.3.3.1.cmml"><mo stretchy="false" id="A3.Thmtheorem2.p1.9.6.m6.2.3.3.2.1" xref="A3.Thmtheorem2.p1.9.6.m6.2.3.3.1.cmml">(</mo><mi id="A3.Thmtheorem2.p1.9.6.m6.1.1" xref="A3.Thmtheorem2.p1.9.6.m6.1.1.cmml">a</mi><mo id="A3.Thmtheorem2.p1.9.6.m6.2.3.3.2.2" xref="A3.Thmtheorem2.p1.9.6.m6.2.3.3.1.cmml">,</mo><mi id="A3.Thmtheorem2.p1.9.6.m6.2.2" xref="A3.Thmtheorem2.p1.9.6.m6.2.2.cmml">s</mi><mo stretchy="false" id="A3.Thmtheorem2.p1.9.6.m6.2.3.3.2.3" xref="A3.Thmtheorem2.p1.9.6.m6.2.3.3.1.cmml">)</mo></mrow></mrow><annotation-xml encoding="MathML-Content" id="A3.Thmtheorem2.p1.9.6.m6.2b"><apply id="A3.Thmtheorem2.p1.9.6.m6.2.3.cmml" xref="A3.Thmtheorem2.p1.9.6.m6.2.3"><times id="A3.Thmtheorem2.p1.9.6.m6.2.3.1.cmml" xref="A3.Thmtheorem2.p1.9.6.m6.2.3.1"></times><ci id="A3.Thmtheorem2.p1.9.6.m6.2.3.2.cmml" xref="A3.Thmtheorem2.p1.9.6.m6.2.3.2">𝒫</ci><interval closure="open" id="A3.Thmtheorem2.p1.9.6.m6.2.3.3.1.cmml" xref="A3.Thmtheorem2.p1.9.6.m6.2.3.3.2"><ci id="A3.Thmtheorem2.p1.9.6.m6.1.1.cmml" xref="A3.Thmtheorem2.p1.9.6.m6.1.1">𝑎</ci><ci id="A3.Thmtheorem2.p1.9.6.m6.2.2.cmml" xref="A3.Thmtheorem2.p1.9.6.m6.2.2">𝑠</ci></interval></apply></annotation-xml><annotation encoding="application/x-tex" id="A3.Thmtheorem2.p1.9.6.m6.2c">\mathcal{P}(a,s)</annotation></semantics></math>.</span></p>
</div>
</div>
<div id="A3.SS3.1" class="ltx_proof">
<h6 class="ltx_title ltx_runin ltx_font_italic ltx_title_proof">Proof.</h6>
<div id="A3.SS3.1.p1" class="ltx_para">
<p id="A3.SS3.1.p1.5" class="ltx_p">We have</p>
<table id="A9.EGx13" class="ltx_equationgroup ltx_eqn_align ltx_eqn_table">

<tbody id="A3.E11"><tr class="ltx_equation ltx_eqn_row ltx_align_baseline">
<td class="ltx_eqn_cell ltx_eqn_center_padleft"></td>
<td class="ltx_td ltx_align_right ltx_eqn_cell"><math id="A3.E11.m1.6" class="ltx_Math" alttext="\displaystyle\mathbb{E}_{s,a\sim\rho_{\theta}}\left[(\mathcal{T}^{\theta})Q(s,a)\right]+H\left[p_{\theta}\right]" display="inline"><semantics id="A3.E11.m1.6a"><mrow id="A3.E11.m1.6.6" xref="A3.E11.m1.6.6.cmml"><mrow id="A3.E11.m1.5.5.1" xref="A3.E11.m1.5.5.1.cmml"><msub id="A3.E11.m1.5.5.1.3" xref="A3.E11.m1.5.5.1.3.cmml"><mi id="A3.E11.m1.5.5.1.3.2" xref="A3.E11.m1.5.5.1.3.2.cmml">𝔼</mi><mrow id="A3.E11.m1.2.2.2" xref="A3.E11.m1.2.2.2.cmml"><mrow id="A3.E11.m1.2.2.2.4.2" xref="A3.E11.m1.2.2.2.4.1.cmml"><mi id="A3.E11.m1.1.1.1.1" xref="A3.E11.m1.1.1.1.1.cmml">s</mi><mo id="A3.E11.m1.2.2.2.4.2.1" xref="A3.E11.m1.2.2.2.4.1.cmml">,</mo><mi id="A3.E11.m1.2.2.2.2" xref="A3.E11.m1.2.2.2.2.cmml">a</mi></mrow><mo id="A3.E11.m1.2.2.2.3" xref="A3.E11.m1.2.2.2.3.cmml">∼</mo><msub id="A3.E11.m1.2.2.2.5" xref="A3.E11.m1.2.2.2.5.cmml"><mi id="A3.E11.m1.2.2.2.5.2" xref="A3.E11.m1.2.2.2.5.2.cmml">ρ</mi><mi id="A3.E11.m1.2.2.2.5.3" xref="A3.E11.m1.2.2.2.5.3.cmml">θ</mi></msub></mrow></msub><mo lspace="0em" rspace="0em" id="A3.E11.m1.5.5.1.2" xref="A3.E11.m1.5.5.1.2.cmml">​</mo><mrow id="A3.E11.m1.5.5.1.1.1" xref="A3.E11.m1.5.5.1.1.2.cmml"><mo id="A3.E11.m1.5.5.1.1.1.2" xref="A3.E11.m1.5.5.1.1.2.1.cmml">[</mo><mrow id="A3.E11.m1.5.5.1.1.1.1" xref="A3.E11.m1.5.5.1.1.1.1.cmml"><mrow id="A3.E11.m1.5.5.1.1.1.1.1.1" xref="A3.E11.m1.5.5.1.1.1.1.1.1.1.cmml"><mo stretchy="false" id="A3.E11.m1.5.5.1.1.1.1.1.1.2" xref="A3.E11.m1.5.5.1.1.1.1.1.1.1.cmml">(</mo><msup id="A3.E11.m1.5.5.1.1.1.1.1.1.1" xref="A3.E11.m1.5.5.1.1.1.1.1.1.1.cmml"><mi class="ltx_font_mathcaligraphic" id="A3.E11.m1.5.5.1.1.1.1.1.1.1.2" xref="A3.E11.m1.5.5.1.1.1.1.1.1.1.2.cmml">𝒯</mi><mi id="A3.E11.m1.5.5.1.1.1.1.1.1.1.3" xref="A3.E11.m1.5.5.1.1.1.1.1.1.1.3.cmml">θ</mi></msup><mo stretchy="false" id="A3.E11.m1.5.5.1.1.1.1.1.1.3" xref="A3.E11.m1.5.5.1.1.1.1.1.1.1.cmml">)</mo></mrow><mo lspace="0em" rspace="0em" id="A3.E11.m1.5.5.1.1.1.1.2" xref="A3.E11.m1.5.5.1.1.1.1.2.cmml">​</mo><mi id="A3.E11.m1.5.5.1.1.1.1.3" xref="A3.E11.m1.5.5.1.1.1.1.3.cmml">Q</mi><mo lspace="0em" rspace="0em" id="A3.E11.m1.5.5.1.1.1.1.2a" xref="A3.E11.m1.5.5.1.1.1.1.2.cmml">​</mo><mrow id="A3.E11.m1.5.5.1.1.1.1.4.2" xref="A3.E11.m1.5.5.1.1.1.1.4.1.cmml"><mo stretchy="false" id="A3.E11.m1.5.5.1.1.1.1.4.2.1" xref="A3.E11.m1.5.5.1.1.1.1.4.1.cmml">(</mo><mi id="A3.E11.m1.3.3" xref="A3.E11.m1.3.3.cmml">s</mi><mo id="A3.E11.m1.5.5.1.1.1.1.4.2.2" xref="A3.E11.m1.5.5.1.1.1.1.4.1.cmml">,</mo><mi id="A3.E11.m1.4.4" xref="A3.E11.m1.4.4.cmml">a</mi><mo stretchy="false" id="A3.E11.m1.5.5.1.1.1.1.4.2.3" xref="A3.E11.m1.5.5.1.1.1.1.4.1.cmml">)</mo></mrow></mrow><mo id="A3.E11.m1.5.5.1.1.1.3" xref="A3.E11.m1.5.5.1.1.2.1.cmml">]</mo></mrow></mrow><mo id="A3.E11.m1.6.6.3" xref="A3.E11.m1.6.6.3.cmml">+</mo><mrow id="A3.E11.m1.6.6.2" xref="A3.E11.m1.6.6.2.cmml"><mi id="A3.E11.m1.6.6.2.3" xref="A3.E11.m1.6.6.2.3.cmml">H</mi><mo lspace="0em" rspace="0em" id="A3.E11.m1.6.6.2.2" xref="A3.E11.m1.6.6.2.2.cmml">​</mo><mrow id="A3.E11.m1.6.6.2.1.1" xref="A3.E11.m1.6.6.2.1.2.cmml"><mo id="A3.E11.m1.6.6.2.1.1.2" xref="A3.E11.m1.6.6.2.1.2.1.cmml">[</mo><msub id="A3.E11.m1.6.6.2.1.1.1" xref="A3.E11.m1.6.6.2.1.1.1.cmml"><mi id="A3.E11.m1.6.6.2.1.1.1.2" xref="A3.E11.m1.6.6.2.1.1.1.2.cmml">p</mi><mi id="A3.E11.m1.6.6.2.1.1.1.3" xref="A3.E11.m1.6.6.2.1.1.1.3.cmml">θ</mi></msub><mo id="A3.E11.m1.6.6.2.1.1.3" xref="A3.E11.m1.6.6.2.1.2.1.cmml">]</mo></mrow></mrow></mrow><annotation-xml encoding="MathML-Content" id="A3.E11.m1.6b"><apply id="A3.E11.m1.6.6.cmml" xref="A3.E11.m1.6.6"><plus id="A3.E11.m1.6.6.3.cmml" xref="A3.E11.m1.6.6.3"></plus><apply id="A3.E11.m1.5.5.1.cmml" xref="A3.E11.m1.5.5.1"><times id="A3.E11.m1.5.5.1.2.cmml" xref="A3.E11.m1.5.5.1.2"></times><apply id="A3.E11.m1.5.5.1.3.cmml" xref="A3.E11.m1.5.5.1.3"><csymbol cd="ambiguous" id="A3.E11.m1.5.5.1.3.1.cmml" xref="A3.E11.m1.5.5.1.3">subscript</csymbol><ci id="A3.E11.m1.5.5.1.3.2.cmml" xref="A3.E11.m1.5.5.1.3.2">𝔼</ci><apply id="A3.E11.m1.2.2.2.cmml" xref="A3.E11.m1.2.2.2"><csymbol cd="latexml" id="A3.E11.m1.2.2.2.3.cmml" xref="A3.E11.m1.2.2.2.3">similar-to</csymbol><list id="A3.E11.m1.2.2.2.4.1.cmml" xref="A3.E11.m1.2.2.2.4.2"><ci id="A3.E11.m1.1.1.1.1.cmml" xref="A3.E11.m1.1.1.1.1">𝑠</ci><ci id="A3.E11.m1.2.2.2.2.cmml" xref="A3.E11.m1.2.2.2.2">𝑎</ci></list><apply id="A3.E11.m1.2.2.2.5.cmml" xref="A3.E11.m1.2.2.2.5"><csymbol cd="ambiguous" id="A3.E11.m1.2.2.2.5.1.cmml" xref="A3.E11.m1.2.2.2.5">subscript</csymbol><ci id="A3.E11.m1.2.2.2.5.2.cmml" xref="A3.E11.m1.2.2.2.5.2">𝜌</ci><ci id="A3.E11.m1.2.2.2.5.3.cmml" xref="A3.E11.m1.2.2.2.5.3">𝜃</ci></apply></apply></apply><apply id="A3.E11.m1.5.5.1.1.2.cmml" xref="A3.E11.m1.5.5.1.1.1"><csymbol cd="latexml" id="A3.E11.m1.5.5.1.1.2.1.cmml" xref="A3.E11.m1.5.5.1.1.1.2">delimited-[]</csymbol><apply id="A3.E11.m1.5.5.1.1.1.1.cmml" xref="A3.E11.m1.5.5.1.1.1.1"><times id="A3.E11.m1.5.5.1.1.1.1.2.cmml" xref="A3.E11.m1.5.5.1.1.1.1.2"></times><apply id="A3.E11.m1.5.5.1.1.1.1.1.1.1.cmml" xref="A3.E11.m1.5.5.1.1.1.1.1.1"><csymbol cd="ambiguous" id="A3.E11.m1.5.5.1.1.1.1.1.1.1.1.cmml" xref="A3.E11.m1.5.5.1.1.1.1.1.1">superscript</csymbol><ci id="A3.E11.m1.5.5.1.1.1.1.1.1.1.2.cmml" xref="A3.E11.m1.5.5.1.1.1.1.1.1.1.2">𝒯</ci><ci id="A3.E11.m1.5.5.1.1.1.1.1.1.1.3.cmml" xref="A3.E11.m1.5.5.1.1.1.1.1.1.1.3">𝜃</ci></apply><ci id="A3.E11.m1.5.5.1.1.1.1.3.cmml" xref="A3.E11.m1.5.5.1.1.1.1.3">𝑄</ci><interval closure="open" id="A3.E11.m1.5.5.1.1.1.1.4.1.cmml" xref="A3.E11.m1.5.5.1.1.1.1.4.2"><ci id="A3.E11.m1.3.3.cmml" xref="A3.E11.m1.3.3">𝑠</ci><ci id="A3.E11.m1.4.4.cmml" xref="A3.E11.m1.4.4">𝑎</ci></interval></apply></apply></apply><apply id="A3.E11.m1.6.6.2.cmml" xref="A3.E11.m1.6.6.2"><times id="A3.E11.m1.6.6.2.2.cmml" xref="A3.E11.m1.6.6.2.2"></times><ci id="A3.E11.m1.6.6.2.3.cmml" xref="A3.E11.m1.6.6.2.3">𝐻</ci><apply id="A3.E11.m1.6.6.2.1.2.cmml" xref="A3.E11.m1.6.6.2.1.1"><csymbol cd="latexml" id="A3.E11.m1.6.6.2.1.2.1.cmml" xref="A3.E11.m1.6.6.2.1.1.2">delimited-[]</csymbol><apply id="A3.E11.m1.6.6.2.1.1.1.cmml" xref="A3.E11.m1.6.6.2.1.1.1"><csymbol cd="ambiguous" id="A3.E11.m1.6.6.2.1.1.1.1.cmml" xref="A3.E11.m1.6.6.2.1.1.1">subscript</csymbol><ci id="A3.E11.m1.6.6.2.1.1.1.2.cmml" xref="A3.E11.m1.6.6.2.1.1.1.2">𝑝</ci><ci id="A3.E11.m1.6.6.2.1.1.1.3.cmml" xref="A3.E11.m1.6.6.2.1.1.1.3">𝜃</ci></apply></apply></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="A3.E11.m1.6c">\displaystyle\mathbb{E}_{s,a\sim\rho_{\theta}}\left[(\mathcal{T}^{\theta})Q(s,a)\right]+H\left[p_{\theta}\right]</annotation></semantics></math></td>
<td class="ltx_td ltx_align_left ltx_eqn_cell"><math id="A3.E11.m2.7" class="ltx_Math" alttext="\displaystyle=\mathbb{E}_{s,a\sim\rho_{\theta}}\left[Q(a,s)-\gamma\mathbb{E}_{s^{\prime}\sim\mathcal{P}(s,a)}\left[V^{\theta}(s^{\prime})\right]-\log p_{\theta}(a|s)\right]" display="inline"><semantics id="A3.E11.m2.7a"><mrow id="A3.E11.m2.7.7" xref="A3.E11.m2.7.7.cmml"><mi id="A3.E11.m2.7.7.3" xref="A3.E11.m2.7.7.3.cmml"></mi><mo id="A3.E11.m2.7.7.2" xref="A3.E11.m2.7.7.2.cmml">=</mo><mrow id="A3.E11.m2.7.7.1" xref="A3.E11.m2.7.7.1.cmml"><msub id="A3.E11.m2.7.7.1.3" xref="A3.E11.m2.7.7.1.3.cmml"><mi id="A3.E11.m2.7.7.1.3.2" xref="A3.E11.m2.7.7.1.3.2.cmml">𝔼</mi><mrow id="A3.E11.m2.2.2.2" xref="A3.E11.m2.2.2.2.cmml"><mrow id="A3.E11.m2.2.2.2.4.2" xref="A3.E11.m2.2.2.2.4.1.cmml"><mi id="A3.E11.m2.1.1.1.1" xref="A3.E11.m2.1.1.1.1.cmml">s</mi><mo id="A3.E11.m2.2.2.2.4.2.1" xref="A3.E11.m2.2.2.2.4.1.cmml">,</mo><mi id="A3.E11.m2.2.2.2.2" xref="A3.E11.m2.2.2.2.2.cmml">a</mi></mrow><mo id="A3.E11.m2.2.2.2.3" xref="A3.E11.m2.2.2.2.3.cmml">∼</mo><msub id="A3.E11.m2.2.2.2.5" xref="A3.E11.m2.2.2.2.5.cmml"><mi id="A3.E11.m2.2.2.2.5.2" xref="A3.E11.m2.2.2.2.5.2.cmml">ρ</mi><mi id="A3.E11.m2.2.2.2.5.3" xref="A3.E11.m2.2.2.2.5.3.cmml">θ</mi></msub></mrow></msub><mo lspace="0em" rspace="0em" id="A3.E11.m2.7.7.1.2" xref="A3.E11.m2.7.7.1.2.cmml">​</mo><mrow id="A3.E11.m2.7.7.1.1.1" xref="A3.E11.m2.7.7.1.1.2.cmml"><mo id="A3.E11.m2.7.7.1.1.1.2" xref="A3.E11.m2.7.7.1.1.2.1.cmml">[</mo><mrow id="A3.E11.m2.7.7.1.1.1.1" xref="A3.E11.m2.7.7.1.1.1.1.cmml"><mrow id="A3.E11.m2.7.7.1.1.1.1.4" xref="A3.E11.m2.7.7.1.1.1.1.4.cmml"><mi id="A3.E11.m2.7.7.1.1.1.1.4.2" xref="A3.E11.m2.7.7.1.1.1.1.4.2.cmml">Q</mi><mo lspace="0em" rspace="0em" id="A3.E11.m2.7.7.1.1.1.1.4.1" xref="A3.E11.m2.7.7.1.1.1.1.4.1.cmml">​</mo><mrow id="A3.E11.m2.7.7.1.1.1.1.4.3.2" xref="A3.E11.m2.7.7.1.1.1.1.4.3.1.cmml"><mo stretchy="false" id="A3.E11.m2.7.7.1.1.1.1.4.3.2.1" xref="A3.E11.m2.7.7.1.1.1.1.4.3.1.cmml">(</mo><mi id="A3.E11.m2.5.5" xref="A3.E11.m2.5.5.cmml">a</mi><mo id="A3.E11.m2.7.7.1.1.1.1.4.3.2.2" xref="A3.E11.m2.7.7.1.1.1.1.4.3.1.cmml">,</mo><mi id="A3.E11.m2.6.6" xref="A3.E11.m2.6.6.cmml">s</mi><mo stretchy="false" id="A3.E11.m2.7.7.1.1.1.1.4.3.2.3" xref="A3.E11.m2.7.7.1.1.1.1.4.3.1.cmml">)</mo></mrow></mrow><mo id="A3.E11.m2.7.7.1.1.1.1.3" xref="A3.E11.m2.7.7.1.1.1.1.3.cmml">−</mo><mrow id="A3.E11.m2.7.7.1.1.1.1.1" xref="A3.E11.m2.7.7.1.1.1.1.1.cmml"><mi id="A3.E11.m2.7.7.1.1.1.1.1.3" xref="A3.E11.m2.7.7.1.1.1.1.1.3.cmml">γ</mi><mo lspace="0em" rspace="0em" id="A3.E11.m2.7.7.1.1.1.1.1.2" xref="A3.E11.m2.7.7.1.1.1.1.1.2.cmml">​</mo><msub id="A3.E11.m2.7.7.1.1.1.1.1.4" xref="A3.E11.m2.7.7.1.1.1.1.1.4.cmml"><mi id="A3.E11.m2.7.7.1.1.1.1.1.4.2" xref="A3.E11.m2.7.7.1.1.1.1.1.4.2.cmml">𝔼</mi><mrow id="A3.E11.m2.4.4.2" xref="A3.E11.m2.4.4.2.cmml"><msup id="A3.E11.m2.4.4.2.4" xref="A3.E11.m2.4.4.2.4.cmml"><mi id="A3.E11.m2.4.4.2.4.2" xref="A3.E11.m2.4.4.2.4.2.cmml">s</mi><mo id="A3.E11.m2.4.4.2.4.3" xref="A3.E11.m2.4.4.2.4.3.cmml">′</mo></msup><mo id="A3.E11.m2.4.4.2.3" xref="A3.E11.m2.4.4.2.3.cmml">∼</mo><mrow id="A3.E11.m2.4.4.2.5" xref="A3.E11.m2.4.4.2.5.cmml"><mi class="ltx_font_mathcaligraphic" id="A3.E11.m2.4.4.2.5.2" xref="A3.E11.m2.4.4.2.5.2.cmml">𝒫</mi><mo lspace="0em" rspace="0em" id="A3.E11.m2.4.4.2.5.1" xref="A3.E11.m2.4.4.2.5.1.cmml">​</mo><mrow id="A3.E11.m2.4.4.2.5.3.2" xref="A3.E11.m2.4.4.2.5.3.1.cmml"><mo stretchy="false" id="A3.E11.m2.4.4.2.5.3.2.1" xref="A3.E11.m2.4.4.2.5.3.1.cmml">(</mo><mi id="A3.E11.m2.3.3.1.1" xref="A3.E11.m2.3.3.1.1.cmml">s</mi><mo id="A3.E11.m2.4.4.2.5.3.2.2" xref="A3.E11.m2.4.4.2.5.3.1.cmml">,</mo><mi id="A3.E11.m2.4.4.2.2" xref="A3.E11.m2.4.4.2.2.cmml">a</mi><mo stretchy="false" id="A3.E11.m2.4.4.2.5.3.2.3" xref="A3.E11.m2.4.4.2.5.3.1.cmml">)</mo></mrow></mrow></mrow></msub><mo lspace="0em" rspace="0em" id="A3.E11.m2.7.7.1.1.1.1.1.2a" xref="A3.E11.m2.7.7.1.1.1.1.1.2.cmml">​</mo><mrow id="A3.E11.m2.7.7.1.1.1.1.1.1.1" xref="A3.E11.m2.7.7.1.1.1.1.1.1.2.cmml"><mo id="A3.E11.m2.7.7.1.1.1.1.1.1.1.2" xref="A3.E11.m2.7.7.1.1.1.1.1.1.2.1.cmml">[</mo><mrow id="A3.E11.m2.7.7.1.1.1.1.1.1.1.1" xref="A3.E11.m2.7.7.1.1.1.1.1.1.1.1.cmml"><msup id="A3.E11.m2.7.7.1.1.1.1.1.1.1.1.3" xref="A3.E11.m2.7.7.1.1.1.1.1.1.1.1.3.cmml"><mi id="A3.E11.m2.7.7.1.1.1.1.1.1.1.1.3.2" xref="A3.E11.m2.7.7.1.1.1.1.1.1.1.1.3.2.cmml">V</mi><mi id="A3.E11.m2.7.7.1.1.1.1.1.1.1.1.3.3" xref="A3.E11.m2.7.7.1.1.1.1.1.1.1.1.3.3.cmml">θ</mi></msup><mo lspace="0em" rspace="0em" id="A3.E11.m2.7.7.1.1.1.1.1.1.1.1.2" xref="A3.E11.m2.7.7.1.1.1.1.1.1.1.1.2.cmml">​</mo><mrow id="A3.E11.m2.7.7.1.1.1.1.1.1.1.1.1.1" xref="A3.E11.m2.7.7.1.1.1.1.1.1.1.1.1.1.1.cmml"><mo stretchy="false" id="A3.E11.m2.7.7.1.1.1.1.1.1.1.1.1.1.2" xref="A3.E11.m2.7.7.1.1.1.1.1.1.1.1.1.1.1.cmml">(</mo><msup id="A3.E11.m2.7.7.1.1.1.1.1.1.1.1.1.1.1" xref="A3.E11.m2.7.7.1.1.1.1.1.1.1.1.1.1.1.cmml"><mi id="A3.E11.m2.7.7.1.1.1.1.1.1.1.1.1.1.1.2" xref="A3.E11.m2.7.7.1.1.1.1.1.1.1.1.1.1.1.2.cmml">s</mi><mo id="A3.E11.m2.7.7.1.1.1.1.1.1.1.1.1.1.1.3" xref="A3.E11.m2.7.7.1.1.1.1.1.1.1.1.1.1.1.3.cmml">′</mo></msup><mo stretchy="false" id="A3.E11.m2.7.7.1.1.1.1.1.1.1.1.1.1.3" xref="A3.E11.m2.7.7.1.1.1.1.1.1.1.1.1.1.1.cmml">)</mo></mrow></mrow><mo id="A3.E11.m2.7.7.1.1.1.1.1.1.1.3" xref="A3.E11.m2.7.7.1.1.1.1.1.1.2.1.cmml">]</mo></mrow></mrow><mo id="A3.E11.m2.7.7.1.1.1.1.3a" xref="A3.E11.m2.7.7.1.1.1.1.3.cmml">−</mo><mrow id="A3.E11.m2.7.7.1.1.1.1.2" xref="A3.E11.m2.7.7.1.1.1.1.2.cmml"><mrow id="A3.E11.m2.7.7.1.1.1.1.2.3" xref="A3.E11.m2.7.7.1.1.1.1.2.3.cmml"><mi id="A3.E11.m2.7.7.1.1.1.1.2.3.1" xref="A3.E11.m2.7.7.1.1.1.1.2.3.1.cmml">log</mi><mo lspace="0.167em" id="A3.E11.m2.7.7.1.1.1.1.2.3a" xref="A3.E11.m2.7.7.1.1.1.1.2.3.cmml">⁡</mo><msub id="A3.E11.m2.7.7.1.1.1.1.2.3.2" xref="A3.E11.m2.7.7.1.1.1.1.2.3.2.cmml"><mi id="A3.E11.m2.7.7.1.1.1.1.2.3.2.2" xref="A3.E11.m2.7.7.1.1.1.1.2.3.2.2.cmml">p</mi><mi id="A3.E11.m2.7.7.1.1.1.1.2.3.2.3" xref="A3.E11.m2.7.7.1.1.1.1.2.3.2.3.cmml">θ</mi></msub></mrow><mo lspace="0em" rspace="0em" id="A3.E11.m2.7.7.1.1.1.1.2.2" xref="A3.E11.m2.7.7.1.1.1.1.2.2.cmml">​</mo><mrow id="A3.E11.m2.7.7.1.1.1.1.2.1.1" xref="A3.E11.m2.7.7.1.1.1.1.2.1.1.1.cmml"><mo stretchy="false" id="A3.E11.m2.7.7.1.1.1.1.2.1.1.2" xref="A3.E11.m2.7.7.1.1.1.1.2.1.1.1.cmml">(</mo><mrow id="A3.E11.m2.7.7.1.1.1.1.2.1.1.1" xref="A3.E11.m2.7.7.1.1.1.1.2.1.1.1.cmml"><mi id="A3.E11.m2.7.7.1.1.1.1.2.1.1.1.2" xref="A3.E11.m2.7.7.1.1.1.1.2.1.1.1.2.cmml">a</mi><mo fence="false" id="A3.E11.m2.7.7.1.1.1.1.2.1.1.1.1" xref="A3.E11.m2.7.7.1.1.1.1.2.1.1.1.1.cmml">|</mo><mi id="A3.E11.m2.7.7.1.1.1.1.2.1.1.1.3" xref="A3.E11.m2.7.7.1.1.1.1.2.1.1.1.3.cmml">s</mi></mrow><mo stretchy="false" id="A3.E11.m2.7.7.1.1.1.1.2.1.1.3" xref="A3.E11.m2.7.7.1.1.1.1.2.1.1.1.cmml">)</mo></mrow></mrow></mrow><mo id="A3.E11.m2.7.7.1.1.1.3" xref="A3.E11.m2.7.7.1.1.2.1.cmml">]</mo></mrow></mrow></mrow><annotation-xml encoding="MathML-Content" id="A3.E11.m2.7b"><apply id="A3.E11.m2.7.7.cmml" xref="A3.E11.m2.7.7"><eq id="A3.E11.m2.7.7.2.cmml" xref="A3.E11.m2.7.7.2"></eq><csymbol cd="latexml" id="A3.E11.m2.7.7.3.cmml" xref="A3.E11.m2.7.7.3">absent</csymbol><apply id="A3.E11.m2.7.7.1.cmml" xref="A3.E11.m2.7.7.1"><times id="A3.E11.m2.7.7.1.2.cmml" xref="A3.E11.m2.7.7.1.2"></times><apply id="A3.E11.m2.7.7.1.3.cmml" xref="A3.E11.m2.7.7.1.3"><csymbol cd="ambiguous" id="A3.E11.m2.7.7.1.3.1.cmml" xref="A3.E11.m2.7.7.1.3">subscript</csymbol><ci id="A3.E11.m2.7.7.1.3.2.cmml" xref="A3.E11.m2.7.7.1.3.2">𝔼</ci><apply id="A3.E11.m2.2.2.2.cmml" xref="A3.E11.m2.2.2.2"><csymbol cd="latexml" id="A3.E11.m2.2.2.2.3.cmml" xref="A3.E11.m2.2.2.2.3">similar-to</csymbol><list id="A3.E11.m2.2.2.2.4.1.cmml" xref="A3.E11.m2.2.2.2.4.2"><ci id="A3.E11.m2.1.1.1.1.cmml" xref="A3.E11.m2.1.1.1.1">𝑠</ci><ci id="A3.E11.m2.2.2.2.2.cmml" xref="A3.E11.m2.2.2.2.2">𝑎</ci></list><apply id="A3.E11.m2.2.2.2.5.cmml" xref="A3.E11.m2.2.2.2.5"><csymbol cd="ambiguous" id="A3.E11.m2.2.2.2.5.1.cmml" xref="A3.E11.m2.2.2.2.5">subscript</csymbol><ci id="A3.E11.m2.2.2.2.5.2.cmml" xref="A3.E11.m2.2.2.2.5.2">𝜌</ci><ci id="A3.E11.m2.2.2.2.5.3.cmml" xref="A3.E11.m2.2.2.2.5.3">𝜃</ci></apply></apply></apply><apply id="A3.E11.m2.7.7.1.1.2.cmml" xref="A3.E11.m2.7.7.1.1.1"><csymbol cd="latexml" id="A3.E11.m2.7.7.1.1.2.1.cmml" xref="A3.E11.m2.7.7.1.1.1.2">delimited-[]</csymbol><apply id="A3.E11.m2.7.7.1.1.1.1.cmml" xref="A3.E11.m2.7.7.1.1.1.1"><minus id="A3.E11.m2.7.7.1.1.1.1.3.cmml" xref="A3.E11.m2.7.7.1.1.1.1.3"></minus><apply id="A3.E11.m2.7.7.1.1.1.1.4.cmml" xref="A3.E11.m2.7.7.1.1.1.1.4"><times id="A3.E11.m2.7.7.1.1.1.1.4.1.cmml" xref="A3.E11.m2.7.7.1.1.1.1.4.1"></times><ci id="A3.E11.m2.7.7.1.1.1.1.4.2.cmml" xref="A3.E11.m2.7.7.1.1.1.1.4.2">𝑄</ci><interval closure="open" id="A3.E11.m2.7.7.1.1.1.1.4.3.1.cmml" xref="A3.E11.m2.7.7.1.1.1.1.4.3.2"><ci id="A3.E11.m2.5.5.cmml" xref="A3.E11.m2.5.5">𝑎</ci><ci id="A3.E11.m2.6.6.cmml" xref="A3.E11.m2.6.6">𝑠</ci></interval></apply><apply id="A3.E11.m2.7.7.1.1.1.1.1.cmml" xref="A3.E11.m2.7.7.1.1.1.1.1"><times id="A3.E11.m2.7.7.1.1.1.1.1.2.cmml" xref="A3.E11.m2.7.7.1.1.1.1.1.2"></times><ci id="A3.E11.m2.7.7.1.1.1.1.1.3.cmml" xref="A3.E11.m2.7.7.1.1.1.1.1.3">𝛾</ci><apply id="A3.E11.m2.7.7.1.1.1.1.1.4.cmml" xref="A3.E11.m2.7.7.1.1.1.1.1.4"><csymbol cd="ambiguous" id="A3.E11.m2.7.7.1.1.1.1.1.4.1.cmml" xref="A3.E11.m2.7.7.1.1.1.1.1.4">subscript</csymbol><ci id="A3.E11.m2.7.7.1.1.1.1.1.4.2.cmml" xref="A3.E11.m2.7.7.1.1.1.1.1.4.2">𝔼</ci><apply id="A3.E11.m2.4.4.2.cmml" xref="A3.E11.m2.4.4.2"><csymbol cd="latexml" id="A3.E11.m2.4.4.2.3.cmml" xref="A3.E11.m2.4.4.2.3">similar-to</csymbol><apply id="A3.E11.m2.4.4.2.4.cmml" xref="A3.E11.m2.4.4.2.4"><csymbol cd="ambiguous" id="A3.E11.m2.4.4.2.4.1.cmml" xref="A3.E11.m2.4.4.2.4">superscript</csymbol><ci id="A3.E11.m2.4.4.2.4.2.cmml" xref="A3.E11.m2.4.4.2.4.2">𝑠</ci><ci id="A3.E11.m2.4.4.2.4.3.cmml" xref="A3.E11.m2.4.4.2.4.3">′</ci></apply><apply id="A3.E11.m2.4.4.2.5.cmml" xref="A3.E11.m2.4.4.2.5"><times id="A3.E11.m2.4.4.2.5.1.cmml" xref="A3.E11.m2.4.4.2.5.1"></times><ci id="A3.E11.m2.4.4.2.5.2.cmml" xref="A3.E11.m2.4.4.2.5.2">𝒫</ci><interval closure="open" id="A3.E11.m2.4.4.2.5.3.1.cmml" xref="A3.E11.m2.4.4.2.5.3.2"><ci id="A3.E11.m2.3.3.1.1.cmml" xref="A3.E11.m2.3.3.1.1">𝑠</ci><ci id="A3.E11.m2.4.4.2.2.cmml" xref="A3.E11.m2.4.4.2.2">𝑎</ci></interval></apply></apply></apply><apply id="A3.E11.m2.7.7.1.1.1.1.1.1.2.cmml" xref="A3.E11.m2.7.7.1.1.1.1.1.1.1"><csymbol cd="latexml" id="A3.E11.m2.7.7.1.1.1.1.1.1.2.1.cmml" xref="A3.E11.m2.7.7.1.1.1.1.1.1.1.2">delimited-[]</csymbol><apply id="A3.E11.m2.7.7.1.1.1.1.1.1.1.1.cmml" xref="A3.E11.m2.7.7.1.1.1.1.1.1.1.1"><times id="A3.E11.m2.7.7.1.1.1.1.1.1.1.1.2.cmml" xref="A3.E11.m2.7.7.1.1.1.1.1.1.1.1.2"></times><apply id="A3.E11.m2.7.7.1.1.1.1.1.1.1.1.3.cmml" xref="A3.E11.m2.7.7.1.1.1.1.1.1.1.1.3"><csymbol cd="ambiguous" id="A3.E11.m2.7.7.1.1.1.1.1.1.1.1.3.1.cmml" xref="A3.E11.m2.7.7.1.1.1.1.1.1.1.1.3">superscript</csymbol><ci id="A3.E11.m2.7.7.1.1.1.1.1.1.1.1.3.2.cmml" xref="A3.E11.m2.7.7.1.1.1.1.1.1.1.1.3.2">𝑉</ci><ci id="A3.E11.m2.7.7.1.1.1.1.1.1.1.1.3.3.cmml" xref="A3.E11.m2.7.7.1.1.1.1.1.1.1.1.3.3">𝜃</ci></apply><apply id="A3.E11.m2.7.7.1.1.1.1.1.1.1.1.1.1.1.cmml" xref="A3.E11.m2.7.7.1.1.1.1.1.1.1.1.1.1"><csymbol cd="ambiguous" id="A3.E11.m2.7.7.1.1.1.1.1.1.1.1.1.1.1.1.cmml" xref="A3.E11.m2.7.7.1.1.1.1.1.1.1.1.1.1">superscript</csymbol><ci id="A3.E11.m2.7.7.1.1.1.1.1.1.1.1.1.1.1.2.cmml" xref="A3.E11.m2.7.7.1.1.1.1.1.1.1.1.1.1.1.2">𝑠</ci><ci id="A3.E11.m2.7.7.1.1.1.1.1.1.1.1.1.1.1.3.cmml" xref="A3.E11.m2.7.7.1.1.1.1.1.1.1.1.1.1.1.3">′</ci></apply></apply></apply></apply><apply id="A3.E11.m2.7.7.1.1.1.1.2.cmml" xref="A3.E11.m2.7.7.1.1.1.1.2"><times id="A3.E11.m2.7.7.1.1.1.1.2.2.cmml" xref="A3.E11.m2.7.7.1.1.1.1.2.2"></times><apply id="A3.E11.m2.7.7.1.1.1.1.2.3.cmml" xref="A3.E11.m2.7.7.1.1.1.1.2.3"><log id="A3.E11.m2.7.7.1.1.1.1.2.3.1.cmml" xref="A3.E11.m2.7.7.1.1.1.1.2.3.1"></log><apply id="A3.E11.m2.7.7.1.1.1.1.2.3.2.cmml" xref="A3.E11.m2.7.7.1.1.1.1.2.3.2"><csymbol cd="ambiguous" id="A3.E11.m2.7.7.1.1.1.1.2.3.2.1.cmml" xref="A3.E11.m2.7.7.1.1.1.1.2.3.2">subscript</csymbol><ci id="A3.E11.m2.7.7.1.1.1.1.2.3.2.2.cmml" xref="A3.E11.m2.7.7.1.1.1.1.2.3.2.2">𝑝</ci><ci id="A3.E11.m2.7.7.1.1.1.1.2.3.2.3.cmml" xref="A3.E11.m2.7.7.1.1.1.1.2.3.2.3">𝜃</ci></apply></apply><apply id="A3.E11.m2.7.7.1.1.1.1.2.1.1.1.cmml" xref="A3.E11.m2.7.7.1.1.1.1.2.1.1"><csymbol cd="latexml" id="A3.E11.m2.7.7.1.1.1.1.2.1.1.1.1.cmml" xref="A3.E11.m2.7.7.1.1.1.1.2.1.1.1.1">conditional</csymbol><ci id="A3.E11.m2.7.7.1.1.1.1.2.1.1.1.2.cmml" xref="A3.E11.m2.7.7.1.1.1.1.2.1.1.1.2">𝑎</ci><ci id="A3.E11.m2.7.7.1.1.1.1.2.1.1.1.3.cmml" xref="A3.E11.m2.7.7.1.1.1.1.2.1.1.1.3">𝑠</ci></apply></apply></apply></apply></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="A3.E11.m2.7c">\displaystyle=\mathbb{E}_{s,a\sim\rho_{\theta}}\left[Q(a,s)-\gamma\mathbb{E}_{s^{\prime}\sim\mathcal{P}(s,a)}\left[V^{\theta}(s^{\prime})\right]-\log p_{\theta}(a|s)\right]</annotation></semantics></math></td>
<td class="ltx_eqn_cell ltx_eqn_center_padright"></td>
<td rowspan="1" class="ltx_eqn_cell ltx_eqn_eqno ltx_align_middle ltx_align_right"><span class="ltx_tag ltx_tag_equation ltx_align_right">(11)</span></td>
</tr></tbody>
<tbody id="A3.E12"><tr class="ltx_equation ltx_eqn_row ltx_align_baseline">
<td class="ltx_eqn_cell ltx_eqn_center_padleft"></td>
<td class="ltx_td ltx_eqn_cell"></td>
<td class="ltx_td ltx_align_left ltx_eqn_cell"><math id="A3.E12.m1.4" class="ltx_Math" alttext="\displaystyle=\mathbb{E}_{s,s^{\prime}\sim\rho_{\theta}}\left[V^{\theta}(s)-\gamma V^{\theta}(s^{\prime})\right]." display="inline"><semantics id="A3.E12.m1.4a"><mrow id="A3.E12.m1.4.4.1" xref="A3.E12.m1.4.4.1.1.cmml"><mrow id="A3.E12.m1.4.4.1.1" xref="A3.E12.m1.4.4.1.1.cmml"><mi id="A3.E12.m1.4.4.1.1.3" xref="A3.E12.m1.4.4.1.1.3.cmml"></mi><mo id="A3.E12.m1.4.4.1.1.2" xref="A3.E12.m1.4.4.1.1.2.cmml">=</mo><mrow id="A3.E12.m1.4.4.1.1.1" xref="A3.E12.m1.4.4.1.1.1.cmml"><msub id="A3.E12.m1.4.4.1.1.1.3" xref="A3.E12.m1.4.4.1.1.1.3.cmml"><mi id="A3.E12.m1.4.4.1.1.1.3.2" xref="A3.E12.m1.4.4.1.1.1.3.2.cmml">𝔼</mi><mrow id="A3.E12.m1.2.2.2" xref="A3.E12.m1.2.2.2.cmml"><mrow id="A3.E12.m1.2.2.2.2.1" xref="A3.E12.m1.2.2.2.2.2.cmml"><mi id="A3.E12.m1.1.1.1.1" xref="A3.E12.m1.1.1.1.1.cmml">s</mi><mo id="A3.E12.m1.2.2.2.2.1.2" xref="A3.E12.m1.2.2.2.2.2.cmml">,</mo><msup id="A3.E12.m1.2.2.2.2.1.1" xref="A3.E12.m1.2.2.2.2.1.1.cmml"><mi id="A3.E12.m1.2.2.2.2.1.1.2" xref="A3.E12.m1.2.2.2.2.1.1.2.cmml">s</mi><mo id="A3.E12.m1.2.2.2.2.1.1.3" xref="A3.E12.m1.2.2.2.2.1.1.3.cmml">′</mo></msup></mrow><mo id="A3.E12.m1.2.2.2.3" xref="A3.E12.m1.2.2.2.3.cmml">∼</mo><msub id="A3.E12.m1.2.2.2.4" xref="A3.E12.m1.2.2.2.4.cmml"><mi id="A3.E12.m1.2.2.2.4.2" xref="A3.E12.m1.2.2.2.4.2.cmml">ρ</mi><mi id="A3.E12.m1.2.2.2.4.3" xref="A3.E12.m1.2.2.2.4.3.cmml">θ</mi></msub></mrow></msub><mo lspace="0em" rspace="0em" id="A3.E12.m1.4.4.1.1.1.2" xref="A3.E12.m1.4.4.1.1.1.2.cmml">​</mo><mrow id="A3.E12.m1.4.4.1.1.1.1.1" xref="A3.E12.m1.4.4.1.1.1.1.2.cmml"><mo id="A3.E12.m1.4.4.1.1.1.1.1.2" xref="A3.E12.m1.4.4.1.1.1.1.2.1.cmml">[</mo><mrow id="A3.E12.m1.4.4.1.1.1.1.1.1" xref="A3.E12.m1.4.4.1.1.1.1.1.1.cmml"><mrow id="A3.E12.m1.4.4.1.1.1.1.1.1.3" xref="A3.E12.m1.4.4.1.1.1.1.1.1.3.cmml"><msup id="A3.E12.m1.4.4.1.1.1.1.1.1.3.2" xref="A3.E12.m1.4.4.1.1.1.1.1.1.3.2.cmml"><mi id="A3.E12.m1.4.4.1.1.1.1.1.1.3.2.2" xref="A3.E12.m1.4.4.1.1.1.1.1.1.3.2.2.cmml">V</mi><mi id="A3.E12.m1.4.4.1.1.1.1.1.1.3.2.3" xref="A3.E12.m1.4.4.1.1.1.1.1.1.3.2.3.cmml">θ</mi></msup><mo lspace="0em" rspace="0em" id="A3.E12.m1.4.4.1.1.1.1.1.1.3.1" xref="A3.E12.m1.4.4.1.1.1.1.1.1.3.1.cmml">​</mo><mrow id="A3.E12.m1.4.4.1.1.1.1.1.1.3.3.2" xref="A3.E12.m1.4.4.1.1.1.1.1.1.3.cmml"><mo stretchy="false" id="A3.E12.m1.4.4.1.1.1.1.1.1.3.3.2.1" xref="A3.E12.m1.4.4.1.1.1.1.1.1.3.cmml">(</mo><mi id="A3.E12.m1.3.3" xref="A3.E12.m1.3.3.cmml">s</mi><mo stretchy="false" id="A3.E12.m1.4.4.1.1.1.1.1.1.3.3.2.2" xref="A3.E12.m1.4.4.1.1.1.1.1.1.3.cmml">)</mo></mrow></mrow><mo id="A3.E12.m1.4.4.1.1.1.1.1.1.2" xref="A3.E12.m1.4.4.1.1.1.1.1.1.2.cmml">−</mo><mrow id="A3.E12.m1.4.4.1.1.1.1.1.1.1" xref="A3.E12.m1.4.4.1.1.1.1.1.1.1.cmml"><mi id="A3.E12.m1.4.4.1.1.1.1.1.1.1.3" xref="A3.E12.m1.4.4.1.1.1.1.1.1.1.3.cmml">γ</mi><mo lspace="0em" rspace="0em" id="A3.E12.m1.4.4.1.1.1.1.1.1.1.2" xref="A3.E12.m1.4.4.1.1.1.1.1.1.1.2.cmml">​</mo><msup id="A3.E12.m1.4.4.1.1.1.1.1.1.1.4" xref="A3.E12.m1.4.4.1.1.1.1.1.1.1.4.cmml"><mi id="A3.E12.m1.4.4.1.1.1.1.1.1.1.4.2" xref="A3.E12.m1.4.4.1.1.1.1.1.1.1.4.2.cmml">V</mi><mi id="A3.E12.m1.4.4.1.1.1.1.1.1.1.4.3" xref="A3.E12.m1.4.4.1.1.1.1.1.1.1.4.3.cmml">θ</mi></msup><mo lspace="0em" rspace="0em" id="A3.E12.m1.4.4.1.1.1.1.1.1.1.2a" xref="A3.E12.m1.4.4.1.1.1.1.1.1.1.2.cmml">​</mo><mrow id="A3.E12.m1.4.4.1.1.1.1.1.1.1.1.1" xref="A3.E12.m1.4.4.1.1.1.1.1.1.1.1.1.1.cmml"><mo stretchy="false" id="A3.E12.m1.4.4.1.1.1.1.1.1.1.1.1.2" xref="A3.E12.m1.4.4.1.1.1.1.1.1.1.1.1.1.cmml">(</mo><msup id="A3.E12.m1.4.4.1.1.1.1.1.1.1.1.1.1" xref="A3.E12.m1.4.4.1.1.1.1.1.1.1.1.1.1.cmml"><mi id="A3.E12.m1.4.4.1.1.1.1.1.1.1.1.1.1.2" xref="A3.E12.m1.4.4.1.1.1.1.1.1.1.1.1.1.2.cmml">s</mi><mo id="A3.E12.m1.4.4.1.1.1.1.1.1.1.1.1.1.3" xref="A3.E12.m1.4.4.1.1.1.1.1.1.1.1.1.1.3.cmml">′</mo></msup><mo stretchy="false" id="A3.E12.m1.4.4.1.1.1.1.1.1.1.1.1.3" xref="A3.E12.m1.4.4.1.1.1.1.1.1.1.1.1.1.cmml">)</mo></mrow></mrow></mrow><mo id="A3.E12.m1.4.4.1.1.1.1.1.3" xref="A3.E12.m1.4.4.1.1.1.1.2.1.cmml">]</mo></mrow></mrow></mrow><mo lspace="0em" id="A3.E12.m1.4.4.1.2" xref="A3.E12.m1.4.4.1.1.cmml">.</mo></mrow><annotation-xml encoding="MathML-Content" id="A3.E12.m1.4b"><apply id="A3.E12.m1.4.4.1.1.cmml" xref="A3.E12.m1.4.4.1"><eq id="A3.E12.m1.4.4.1.1.2.cmml" xref="A3.E12.m1.4.4.1.1.2"></eq><csymbol cd="latexml" id="A3.E12.m1.4.4.1.1.3.cmml" xref="A3.E12.m1.4.4.1.1.3">absent</csymbol><apply id="A3.E12.m1.4.4.1.1.1.cmml" xref="A3.E12.m1.4.4.1.1.1"><times id="A3.E12.m1.4.4.1.1.1.2.cmml" xref="A3.E12.m1.4.4.1.1.1.2"></times><apply id="A3.E12.m1.4.4.1.1.1.3.cmml" xref="A3.E12.m1.4.4.1.1.1.3"><csymbol cd="ambiguous" id="A3.E12.m1.4.4.1.1.1.3.1.cmml" xref="A3.E12.m1.4.4.1.1.1.3">subscript</csymbol><ci id="A3.E12.m1.4.4.1.1.1.3.2.cmml" xref="A3.E12.m1.4.4.1.1.1.3.2">𝔼</ci><apply id="A3.E12.m1.2.2.2.cmml" xref="A3.E12.m1.2.2.2"><csymbol cd="latexml" id="A3.E12.m1.2.2.2.3.cmml" xref="A3.E12.m1.2.2.2.3">similar-to</csymbol><list id="A3.E12.m1.2.2.2.2.2.cmml" xref="A3.E12.m1.2.2.2.2.1"><ci id="A3.E12.m1.1.1.1.1.cmml" xref="A3.E12.m1.1.1.1.1">𝑠</ci><apply id="A3.E12.m1.2.2.2.2.1.1.cmml" xref="A3.E12.m1.2.2.2.2.1.1"><csymbol cd="ambiguous" id="A3.E12.m1.2.2.2.2.1.1.1.cmml" xref="A3.E12.m1.2.2.2.2.1.1">superscript</csymbol><ci id="A3.E12.m1.2.2.2.2.1.1.2.cmml" xref="A3.E12.m1.2.2.2.2.1.1.2">𝑠</ci><ci id="A3.E12.m1.2.2.2.2.1.1.3.cmml" xref="A3.E12.m1.2.2.2.2.1.1.3">′</ci></apply></list><apply id="A3.E12.m1.2.2.2.4.cmml" xref="A3.E12.m1.2.2.2.4"><csymbol cd="ambiguous" id="A3.E12.m1.2.2.2.4.1.cmml" xref="A3.E12.m1.2.2.2.4">subscript</csymbol><ci id="A3.E12.m1.2.2.2.4.2.cmml" xref="A3.E12.m1.2.2.2.4.2">𝜌</ci><ci id="A3.E12.m1.2.2.2.4.3.cmml" xref="A3.E12.m1.2.2.2.4.3">𝜃</ci></apply></apply></apply><apply id="A3.E12.m1.4.4.1.1.1.1.2.cmml" xref="A3.E12.m1.4.4.1.1.1.1.1"><csymbol cd="latexml" id="A3.E12.m1.4.4.1.1.1.1.2.1.cmml" xref="A3.E12.m1.4.4.1.1.1.1.1.2">delimited-[]</csymbol><apply id="A3.E12.m1.4.4.1.1.1.1.1.1.cmml" xref="A3.E12.m1.4.4.1.1.1.1.1.1"><minus id="A3.E12.m1.4.4.1.1.1.1.1.1.2.cmml" xref="A3.E12.m1.4.4.1.1.1.1.1.1.2"></minus><apply id="A3.E12.m1.4.4.1.1.1.1.1.1.3.cmml" xref="A3.E12.m1.4.4.1.1.1.1.1.1.3"><times id="A3.E12.m1.4.4.1.1.1.1.1.1.3.1.cmml" xref="A3.E12.m1.4.4.1.1.1.1.1.1.3.1"></times><apply id="A3.E12.m1.4.4.1.1.1.1.1.1.3.2.cmml" xref="A3.E12.m1.4.4.1.1.1.1.1.1.3.2"><csymbol cd="ambiguous" id="A3.E12.m1.4.4.1.1.1.1.1.1.3.2.1.cmml" xref="A3.E12.m1.4.4.1.1.1.1.1.1.3.2">superscript</csymbol><ci id="A3.E12.m1.4.4.1.1.1.1.1.1.3.2.2.cmml" xref="A3.E12.m1.4.4.1.1.1.1.1.1.3.2.2">𝑉</ci><ci id="A3.E12.m1.4.4.1.1.1.1.1.1.3.2.3.cmml" xref="A3.E12.m1.4.4.1.1.1.1.1.1.3.2.3">𝜃</ci></apply><ci id="A3.E12.m1.3.3.cmml" xref="A3.E12.m1.3.3">𝑠</ci></apply><apply id="A3.E12.m1.4.4.1.1.1.1.1.1.1.cmml" xref="A3.E12.m1.4.4.1.1.1.1.1.1.1"><times id="A3.E12.m1.4.4.1.1.1.1.1.1.1.2.cmml" xref="A3.E12.m1.4.4.1.1.1.1.1.1.1.2"></times><ci id="A3.E12.m1.4.4.1.1.1.1.1.1.1.3.cmml" xref="A3.E12.m1.4.4.1.1.1.1.1.1.1.3">𝛾</ci><apply id="A3.E12.m1.4.4.1.1.1.1.1.1.1.4.cmml" xref="A3.E12.m1.4.4.1.1.1.1.1.1.1.4"><csymbol cd="ambiguous" id="A3.E12.m1.4.4.1.1.1.1.1.1.1.4.1.cmml" xref="A3.E12.m1.4.4.1.1.1.1.1.1.1.4">superscript</csymbol><ci id="A3.E12.m1.4.4.1.1.1.1.1.1.1.4.2.cmml" xref="A3.E12.m1.4.4.1.1.1.1.1.1.1.4.2">𝑉</ci><ci id="A3.E12.m1.4.4.1.1.1.1.1.1.1.4.3.cmml" xref="A3.E12.m1.4.4.1.1.1.1.1.1.1.4.3">𝜃</ci></apply><apply id="A3.E12.m1.4.4.1.1.1.1.1.1.1.1.1.1.cmml" xref="A3.E12.m1.4.4.1.1.1.1.1.1.1.1.1"><csymbol cd="ambiguous" id="A3.E12.m1.4.4.1.1.1.1.1.1.1.1.1.1.1.cmml" xref="A3.E12.m1.4.4.1.1.1.1.1.1.1.1.1">superscript</csymbol><ci id="A3.E12.m1.4.4.1.1.1.1.1.1.1.1.1.1.2.cmml" xref="A3.E12.m1.4.4.1.1.1.1.1.1.1.1.1.1.2">𝑠</ci><ci id="A3.E12.m1.4.4.1.1.1.1.1.1.1.1.1.1.3.cmml" xref="A3.E12.m1.4.4.1.1.1.1.1.1.1.1.1.1.3">′</ci></apply></apply></apply></apply></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="A3.E12.m1.4c">\displaystyle=\mathbb{E}_{s,s^{\prime}\sim\rho_{\theta}}\left[V^{\theta}(s)-\gamma V^{\theta}(s^{\prime})\right].</annotation></semantics></math></td>
<td class="ltx_eqn_cell ltx_eqn_center_padright"></td>
<td rowspan="1" class="ltx_eqn_cell ltx_eqn_eqno ltx_align_middle ltx_align_right"><span class="ltx_tag ltx_tag_equation ltx_align_right">(12)</span></td>
</tr></tbody>
</table>
<p id="A3.SS3.1.p1.6" class="ltx_p">By the definition of the occupancy measure and expanding, we have</p>
<table id="A9.EGx14" class="ltx_equationgroup ltx_eqn_align ltx_eqn_table">

<tbody id="A3.E13"><tr class="ltx_equation ltx_eqn_row ltx_align_baseline">
<td class="ltx_eqn_cell ltx_eqn_center_padleft"></td>
<td class="ltx_td ltx_align_right ltx_eqn_cell"><math id="A3.E13.m1.4" class="ltx_Math" alttext="\displaystyle\mathbb{E}_{s,s^{\prime}\sim\rho_{\theta}}\left[V^{\theta}(s)-\gamma V^{\theta}(s^{\prime})\right]" display="inline"><semantics id="A3.E13.m1.4a"><mrow id="A3.E13.m1.4.4" xref="A3.E13.m1.4.4.cmml"><msub id="A3.E13.m1.4.4.3" xref="A3.E13.m1.4.4.3.cmml"><mi id="A3.E13.m1.4.4.3.2" xref="A3.E13.m1.4.4.3.2.cmml">𝔼</mi><mrow id="A3.E13.m1.2.2.2" xref="A3.E13.m1.2.2.2.cmml"><mrow id="A3.E13.m1.2.2.2.2.1" xref="A3.E13.m1.2.2.2.2.2.cmml"><mi id="A3.E13.m1.1.1.1.1" xref="A3.E13.m1.1.1.1.1.cmml">s</mi><mo id="A3.E13.m1.2.2.2.2.1.2" xref="A3.E13.m1.2.2.2.2.2.cmml">,</mo><msup id="A3.E13.m1.2.2.2.2.1.1" xref="A3.E13.m1.2.2.2.2.1.1.cmml"><mi id="A3.E13.m1.2.2.2.2.1.1.2" xref="A3.E13.m1.2.2.2.2.1.1.2.cmml">s</mi><mo id="A3.E13.m1.2.2.2.2.1.1.3" xref="A3.E13.m1.2.2.2.2.1.1.3.cmml">′</mo></msup></mrow><mo id="A3.E13.m1.2.2.2.3" xref="A3.E13.m1.2.2.2.3.cmml">∼</mo><msub id="A3.E13.m1.2.2.2.4" xref="A3.E13.m1.2.2.2.4.cmml"><mi id="A3.E13.m1.2.2.2.4.2" xref="A3.E13.m1.2.2.2.4.2.cmml">ρ</mi><mi id="A3.E13.m1.2.2.2.4.3" xref="A3.E13.m1.2.2.2.4.3.cmml">θ</mi></msub></mrow></msub><mo lspace="0em" rspace="0em" id="A3.E13.m1.4.4.2" xref="A3.E13.m1.4.4.2.cmml">​</mo><mrow id="A3.E13.m1.4.4.1.1" xref="A3.E13.m1.4.4.1.2.cmml"><mo id="A3.E13.m1.4.4.1.1.2" xref="A3.E13.m1.4.4.1.2.1.cmml">[</mo><mrow id="A3.E13.m1.4.4.1.1.1" xref="A3.E13.m1.4.4.1.1.1.cmml"><mrow id="A3.E13.m1.4.4.1.1.1.3" xref="A3.E13.m1.4.4.1.1.1.3.cmml"><msup id="A3.E13.m1.4.4.1.1.1.3.2" xref="A3.E13.m1.4.4.1.1.1.3.2.cmml"><mi id="A3.E13.m1.4.4.1.1.1.3.2.2" xref="A3.E13.m1.4.4.1.1.1.3.2.2.cmml">V</mi><mi id="A3.E13.m1.4.4.1.1.1.3.2.3" xref="A3.E13.m1.4.4.1.1.1.3.2.3.cmml">θ</mi></msup><mo lspace="0em" rspace="0em" id="A3.E13.m1.4.4.1.1.1.3.1" xref="A3.E13.m1.4.4.1.1.1.3.1.cmml">​</mo><mrow id="A3.E13.m1.4.4.1.1.1.3.3.2" xref="A3.E13.m1.4.4.1.1.1.3.cmml"><mo stretchy="false" id="A3.E13.m1.4.4.1.1.1.3.3.2.1" xref="A3.E13.m1.4.4.1.1.1.3.cmml">(</mo><mi id="A3.E13.m1.3.3" xref="A3.E13.m1.3.3.cmml">s</mi><mo stretchy="false" id="A3.E13.m1.4.4.1.1.1.3.3.2.2" xref="A3.E13.m1.4.4.1.1.1.3.cmml">)</mo></mrow></mrow><mo id="A3.E13.m1.4.4.1.1.1.2" xref="A3.E13.m1.4.4.1.1.1.2.cmml">−</mo><mrow id="A3.E13.m1.4.4.1.1.1.1" xref="A3.E13.m1.4.4.1.1.1.1.cmml"><mi id="A3.E13.m1.4.4.1.1.1.1.3" xref="A3.E13.m1.4.4.1.1.1.1.3.cmml">γ</mi><mo lspace="0em" rspace="0em" id="A3.E13.m1.4.4.1.1.1.1.2" xref="A3.E13.m1.4.4.1.1.1.1.2.cmml">​</mo><msup id="A3.E13.m1.4.4.1.1.1.1.4" xref="A3.E13.m1.4.4.1.1.1.1.4.cmml"><mi id="A3.E13.m1.4.4.1.1.1.1.4.2" xref="A3.E13.m1.4.4.1.1.1.1.4.2.cmml">V</mi><mi id="A3.E13.m1.4.4.1.1.1.1.4.3" xref="A3.E13.m1.4.4.1.1.1.1.4.3.cmml">θ</mi></msup><mo lspace="0em" rspace="0em" id="A3.E13.m1.4.4.1.1.1.1.2a" xref="A3.E13.m1.4.4.1.1.1.1.2.cmml">​</mo><mrow id="A3.E13.m1.4.4.1.1.1.1.1.1" xref="A3.E13.m1.4.4.1.1.1.1.1.1.1.cmml"><mo stretchy="false" id="A3.E13.m1.4.4.1.1.1.1.1.1.2" xref="A3.E13.m1.4.4.1.1.1.1.1.1.1.cmml">(</mo><msup id="A3.E13.m1.4.4.1.1.1.1.1.1.1" xref="A3.E13.m1.4.4.1.1.1.1.1.1.1.cmml"><mi id="A3.E13.m1.4.4.1.1.1.1.1.1.1.2" xref="A3.E13.m1.4.4.1.1.1.1.1.1.1.2.cmml">s</mi><mo id="A3.E13.m1.4.4.1.1.1.1.1.1.1.3" xref="A3.E13.m1.4.4.1.1.1.1.1.1.1.3.cmml">′</mo></msup><mo stretchy="false" id="A3.E13.m1.4.4.1.1.1.1.1.1.3" xref="A3.E13.m1.4.4.1.1.1.1.1.1.1.cmml">)</mo></mrow></mrow></mrow><mo id="A3.E13.m1.4.4.1.1.3" xref="A3.E13.m1.4.4.1.2.1.cmml">]</mo></mrow></mrow><annotation-xml encoding="MathML-Content" id="A3.E13.m1.4b"><apply id="A3.E13.m1.4.4.cmml" xref="A3.E13.m1.4.4"><times id="A3.E13.m1.4.4.2.cmml" xref="A3.E13.m1.4.4.2"></times><apply id="A3.E13.m1.4.4.3.cmml" xref="A3.E13.m1.4.4.3"><csymbol cd="ambiguous" id="A3.E13.m1.4.4.3.1.cmml" xref="A3.E13.m1.4.4.3">subscript</csymbol><ci id="A3.E13.m1.4.4.3.2.cmml" xref="A3.E13.m1.4.4.3.2">𝔼</ci><apply id="A3.E13.m1.2.2.2.cmml" xref="A3.E13.m1.2.2.2"><csymbol cd="latexml" id="A3.E13.m1.2.2.2.3.cmml" xref="A3.E13.m1.2.2.2.3">similar-to</csymbol><list id="A3.E13.m1.2.2.2.2.2.cmml" xref="A3.E13.m1.2.2.2.2.1"><ci id="A3.E13.m1.1.1.1.1.cmml" xref="A3.E13.m1.1.1.1.1">𝑠</ci><apply id="A3.E13.m1.2.2.2.2.1.1.cmml" xref="A3.E13.m1.2.2.2.2.1.1"><csymbol cd="ambiguous" id="A3.E13.m1.2.2.2.2.1.1.1.cmml" xref="A3.E13.m1.2.2.2.2.1.1">superscript</csymbol><ci id="A3.E13.m1.2.2.2.2.1.1.2.cmml" xref="A3.E13.m1.2.2.2.2.1.1.2">𝑠</ci><ci id="A3.E13.m1.2.2.2.2.1.1.3.cmml" xref="A3.E13.m1.2.2.2.2.1.1.3">′</ci></apply></list><apply id="A3.E13.m1.2.2.2.4.cmml" xref="A3.E13.m1.2.2.2.4"><csymbol cd="ambiguous" id="A3.E13.m1.2.2.2.4.1.cmml" xref="A3.E13.m1.2.2.2.4">subscript</csymbol><ci id="A3.E13.m1.2.2.2.4.2.cmml" xref="A3.E13.m1.2.2.2.4.2">𝜌</ci><ci id="A3.E13.m1.2.2.2.4.3.cmml" xref="A3.E13.m1.2.2.2.4.3">𝜃</ci></apply></apply></apply><apply id="A3.E13.m1.4.4.1.2.cmml" xref="A3.E13.m1.4.4.1.1"><csymbol cd="latexml" id="A3.E13.m1.4.4.1.2.1.cmml" xref="A3.E13.m1.4.4.1.1.2">delimited-[]</csymbol><apply id="A3.E13.m1.4.4.1.1.1.cmml" xref="A3.E13.m1.4.4.1.1.1"><minus id="A3.E13.m1.4.4.1.1.1.2.cmml" xref="A3.E13.m1.4.4.1.1.1.2"></minus><apply id="A3.E13.m1.4.4.1.1.1.3.cmml" xref="A3.E13.m1.4.4.1.1.1.3"><times id="A3.E13.m1.4.4.1.1.1.3.1.cmml" xref="A3.E13.m1.4.4.1.1.1.3.1"></times><apply id="A3.E13.m1.4.4.1.1.1.3.2.cmml" xref="A3.E13.m1.4.4.1.1.1.3.2"><csymbol cd="ambiguous" id="A3.E13.m1.4.4.1.1.1.3.2.1.cmml" xref="A3.E13.m1.4.4.1.1.1.3.2">superscript</csymbol><ci id="A3.E13.m1.4.4.1.1.1.3.2.2.cmml" xref="A3.E13.m1.4.4.1.1.1.3.2.2">𝑉</ci><ci id="A3.E13.m1.4.4.1.1.1.3.2.3.cmml" xref="A3.E13.m1.4.4.1.1.1.3.2.3">𝜃</ci></apply><ci id="A3.E13.m1.3.3.cmml" xref="A3.E13.m1.3.3">𝑠</ci></apply><apply id="A3.E13.m1.4.4.1.1.1.1.cmml" xref="A3.E13.m1.4.4.1.1.1.1"><times id="A3.E13.m1.4.4.1.1.1.1.2.cmml" xref="A3.E13.m1.4.4.1.1.1.1.2"></times><ci id="A3.E13.m1.4.4.1.1.1.1.3.cmml" xref="A3.E13.m1.4.4.1.1.1.1.3">𝛾</ci><apply id="A3.E13.m1.4.4.1.1.1.1.4.cmml" xref="A3.E13.m1.4.4.1.1.1.1.4"><csymbol cd="ambiguous" id="A3.E13.m1.4.4.1.1.1.1.4.1.cmml" xref="A3.E13.m1.4.4.1.1.1.1.4">superscript</csymbol><ci id="A3.E13.m1.4.4.1.1.1.1.4.2.cmml" xref="A3.E13.m1.4.4.1.1.1.1.4.2">𝑉</ci><ci id="A3.E13.m1.4.4.1.1.1.1.4.3.cmml" xref="A3.E13.m1.4.4.1.1.1.1.4.3">𝜃</ci></apply><apply id="A3.E13.m1.4.4.1.1.1.1.1.1.1.cmml" xref="A3.E13.m1.4.4.1.1.1.1.1.1"><csymbol cd="ambiguous" id="A3.E13.m1.4.4.1.1.1.1.1.1.1.1.cmml" xref="A3.E13.m1.4.4.1.1.1.1.1.1">superscript</csymbol><ci id="A3.E13.m1.4.4.1.1.1.1.1.1.1.2.cmml" xref="A3.E13.m1.4.4.1.1.1.1.1.1.1.2">𝑠</ci><ci id="A3.E13.m1.4.4.1.1.1.1.1.1.1.3.cmml" xref="A3.E13.m1.4.4.1.1.1.1.1.1.1.3">′</ci></apply></apply></apply></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="A3.E13.m1.4c">\displaystyle\mathbb{E}_{s,s^{\prime}\sim\rho_{\theta}}\left[V^{\theta}(s)-\gamma V^{\theta}(s^{\prime})\right]</annotation></semantics></math></td>
<td class="ltx_td ltx_align_left ltx_eqn_cell"><math id="A3.E13.m2.2" class="ltx_Math" alttext="\displaystyle=(1-\gamma)\left[\left[\mathbb{E}[V^{\theta}(s_{0})]-\gamma\mathbb{E}[V^{\theta}(s_{1})]\right]+\gamma\left[\mathbb{E}[V^{\theta}(s_{1})]-\gamma\mathbb{E}[V^{\theta}(s_{2})]+\ldots\right]\right]" display="inline"><semantics id="A3.E13.m2.2a"><mrow id="A3.E13.m2.2.2" xref="A3.E13.m2.2.2.cmml"><mi id="A3.E13.m2.2.2.4" xref="A3.E13.m2.2.2.4.cmml"></mi><mo id="A3.E13.m2.2.2.3" xref="A3.E13.m2.2.2.3.cmml">=</mo><mrow id="A3.E13.m2.2.2.2" xref="A3.E13.m2.2.2.2.cmml"><mrow id="A3.E13.m2.1.1.1.1.1" xref="A3.E13.m2.1.1.1.1.1.1.cmml"><mo stretchy="false" id="A3.E13.m2.1.1.1.1.1.2" xref="A3.E13.m2.1.1.1.1.1.1.cmml">(</mo><mrow id="A3.E13.m2.1.1.1.1.1.1" xref="A3.E13.m2.1.1.1.1.1.1.cmml"><mn id="A3.E13.m2.1.1.1.1.1.1.2" xref="A3.E13.m2.1.1.1.1.1.1.2.cmml">1</mn><mo id="A3.E13.m2.1.1.1.1.1.1.1" xref="A3.E13.m2.1.1.1.1.1.1.1.cmml">−</mo><mi id="A3.E13.m2.1.1.1.1.1.1.3" xref="A3.E13.m2.1.1.1.1.1.1.3.cmml">γ</mi></mrow><mo stretchy="false" id="A3.E13.m2.1.1.1.1.1.3" xref="A3.E13.m2.1.1.1.1.1.1.cmml">)</mo></mrow><mo lspace="0em" rspace="0em" id="A3.E13.m2.2.2.2.3" xref="A3.E13.m2.2.2.2.3.cmml">​</mo><mrow id="A3.E13.m2.2.2.2.2.1" xref="A3.E13.m2.2.2.2.2.2.cmml"><mo id="A3.E13.m2.2.2.2.2.1.2" xref="A3.E13.m2.2.2.2.2.2.1.cmml">[</mo><mrow id="A3.E13.m2.2.2.2.2.1.1" xref="A3.E13.m2.2.2.2.2.1.1.cmml"><mrow id="A3.E13.m2.2.2.2.2.1.1.1.1" xref="A3.E13.m2.2.2.2.2.1.1.1.2.cmml"><mo id="A3.E13.m2.2.2.2.2.1.1.1.1.2" xref="A3.E13.m2.2.2.2.2.1.1.1.2.1.cmml">[</mo><mrow id="A3.E13.m2.2.2.2.2.1.1.1.1.1" xref="A3.E13.m2.2.2.2.2.1.1.1.1.1.cmml"><mrow id="A3.E13.m2.2.2.2.2.1.1.1.1.1.1" xref="A3.E13.m2.2.2.2.2.1.1.1.1.1.1.cmml"><mi id="A3.E13.m2.2.2.2.2.1.1.1.1.1.1.3" xref="A3.E13.m2.2.2.2.2.1.1.1.1.1.1.3.cmml">𝔼</mi><mo lspace="0em" rspace="0em" id="A3.E13.m2.2.2.2.2.1.1.1.1.1.1.2" xref="A3.E13.m2.2.2.2.2.1.1.1.1.1.1.2.cmml">​</mo><mrow id="A3.E13.m2.2.2.2.2.1.1.1.1.1.1.1.1" xref="A3.E13.m2.2.2.2.2.1.1.1.1.1.1.1.2.cmml"><mo stretchy="false" id="A3.E13.m2.2.2.2.2.1.1.1.1.1.1.1.1.2" xref="A3.E13.m2.2.2.2.2.1.1.1.1.1.1.1.2.1.cmml">[</mo><mrow id="A3.E13.m2.2.2.2.2.1.1.1.1.1.1.1.1.1" xref="A3.E13.m2.2.2.2.2.1.1.1.1.1.1.1.1.1.cmml"><msup id="A3.E13.m2.2.2.2.2.1.1.1.1.1.1.1.1.1.3" xref="A3.E13.m2.2.2.2.2.1.1.1.1.1.1.1.1.1.3.cmml"><mi id="A3.E13.m2.2.2.2.2.1.1.1.1.1.1.1.1.1.3.2" xref="A3.E13.m2.2.2.2.2.1.1.1.1.1.1.1.1.1.3.2.cmml">V</mi><mi id="A3.E13.m2.2.2.2.2.1.1.1.1.1.1.1.1.1.3.3" xref="A3.E13.m2.2.2.2.2.1.1.1.1.1.1.1.1.1.3.3.cmml">θ</mi></msup><mo lspace="0em" rspace="0em" id="A3.E13.m2.2.2.2.2.1.1.1.1.1.1.1.1.1.2" xref="A3.E13.m2.2.2.2.2.1.1.1.1.1.1.1.1.1.2.cmml">​</mo><mrow id="A3.E13.m2.2.2.2.2.1.1.1.1.1.1.1.1.1.1.1" xref="A3.E13.m2.2.2.2.2.1.1.1.1.1.1.1.1.1.1.1.1.cmml"><mo stretchy="false" id="A3.E13.m2.2.2.2.2.1.1.1.1.1.1.1.1.1.1.1.2" xref="A3.E13.m2.2.2.2.2.1.1.1.1.1.1.1.1.1.1.1.1.cmml">(</mo><msub id="A3.E13.m2.2.2.2.2.1.1.1.1.1.1.1.1.1.1.1.1" xref="A3.E13.m2.2.2.2.2.1.1.1.1.1.1.1.1.1.1.1.1.cmml"><mi id="A3.E13.m2.2.2.2.2.1.1.1.1.1.1.1.1.1.1.1.1.2" xref="A3.E13.m2.2.2.2.2.1.1.1.1.1.1.1.1.1.1.1.1.2.cmml">s</mi><mn id="A3.E13.m2.2.2.2.2.1.1.1.1.1.1.1.1.1.1.1.1.3" xref="A3.E13.m2.2.2.2.2.1.1.1.1.1.1.1.1.1.1.1.1.3.cmml">0</mn></msub><mo stretchy="false" id="A3.E13.m2.2.2.2.2.1.1.1.1.1.1.1.1.1.1.1.3" xref="A3.E13.m2.2.2.2.2.1.1.1.1.1.1.1.1.1.1.1.1.cmml">)</mo></mrow></mrow><mo stretchy="false" id="A3.E13.m2.2.2.2.2.1.1.1.1.1.1.1.1.3" xref="A3.E13.m2.2.2.2.2.1.1.1.1.1.1.1.2.1.cmml">]</mo></mrow></mrow><mo id="A3.E13.m2.2.2.2.2.1.1.1.1.1.3" xref="A3.E13.m2.2.2.2.2.1.1.1.1.1.3.cmml">−</mo><mrow id="A3.E13.m2.2.2.2.2.1.1.1.1.1.2" xref="A3.E13.m2.2.2.2.2.1.1.1.1.1.2.cmml"><mi id="A3.E13.m2.2.2.2.2.1.1.1.1.1.2.3" xref="A3.E13.m2.2.2.2.2.1.1.1.1.1.2.3.cmml">γ</mi><mo lspace="0em" rspace="0em" id="A3.E13.m2.2.2.2.2.1.1.1.1.1.2.2" xref="A3.E13.m2.2.2.2.2.1.1.1.1.1.2.2.cmml">​</mo><mi id="A3.E13.m2.2.2.2.2.1.1.1.1.1.2.4" xref="A3.E13.m2.2.2.2.2.1.1.1.1.1.2.4.cmml">𝔼</mi><mo lspace="0em" rspace="0em" id="A3.E13.m2.2.2.2.2.1.1.1.1.1.2.2a" xref="A3.E13.m2.2.2.2.2.1.1.1.1.1.2.2.cmml">​</mo><mrow id="A3.E13.m2.2.2.2.2.1.1.1.1.1.2.1.1" xref="A3.E13.m2.2.2.2.2.1.1.1.1.1.2.1.2.cmml"><mo stretchy="false" id="A3.E13.m2.2.2.2.2.1.1.1.1.1.2.1.1.2" xref="A3.E13.m2.2.2.2.2.1.1.1.1.1.2.1.2.1.cmml">[</mo><mrow id="A3.E13.m2.2.2.2.2.1.1.1.1.1.2.1.1.1" xref="A3.E13.m2.2.2.2.2.1.1.1.1.1.2.1.1.1.cmml"><msup id="A3.E13.m2.2.2.2.2.1.1.1.1.1.2.1.1.1.3" xref="A3.E13.m2.2.2.2.2.1.1.1.1.1.2.1.1.1.3.cmml"><mi id="A3.E13.m2.2.2.2.2.1.1.1.1.1.2.1.1.1.3.2" xref="A3.E13.m2.2.2.2.2.1.1.1.1.1.2.1.1.1.3.2.cmml">V</mi><mi id="A3.E13.m2.2.2.2.2.1.1.1.1.1.2.1.1.1.3.3" xref="A3.E13.m2.2.2.2.2.1.1.1.1.1.2.1.1.1.3.3.cmml">θ</mi></msup><mo lspace="0em" rspace="0em" id="A3.E13.m2.2.2.2.2.1.1.1.1.1.2.1.1.1.2" xref="A3.E13.m2.2.2.2.2.1.1.1.1.1.2.1.1.1.2.cmml">​</mo><mrow id="A3.E13.m2.2.2.2.2.1.1.1.1.1.2.1.1.1.1.1" xref="A3.E13.m2.2.2.2.2.1.1.1.1.1.2.1.1.1.1.1.1.cmml"><mo stretchy="false" id="A3.E13.m2.2.2.2.2.1.1.1.1.1.2.1.1.1.1.1.2" xref="A3.E13.m2.2.2.2.2.1.1.1.1.1.2.1.1.1.1.1.1.cmml">(</mo><msub id="A3.E13.m2.2.2.2.2.1.1.1.1.1.2.1.1.1.1.1.1" xref="A3.E13.m2.2.2.2.2.1.1.1.1.1.2.1.1.1.1.1.1.cmml"><mi id="A3.E13.m2.2.2.2.2.1.1.1.1.1.2.1.1.1.1.1.1.2" xref="A3.E13.m2.2.2.2.2.1.1.1.1.1.2.1.1.1.1.1.1.2.cmml">s</mi><mn id="A3.E13.m2.2.2.2.2.1.1.1.1.1.2.1.1.1.1.1.1.3" xref="A3.E13.m2.2.2.2.2.1.1.1.1.1.2.1.1.1.1.1.1.3.cmml">1</mn></msub><mo stretchy="false" id="A3.E13.m2.2.2.2.2.1.1.1.1.1.2.1.1.1.1.1.3" xref="A3.E13.m2.2.2.2.2.1.1.1.1.1.2.1.1.1.1.1.1.cmml">)</mo></mrow></mrow><mo stretchy="false" id="A3.E13.m2.2.2.2.2.1.1.1.1.1.2.1.1.3" xref="A3.E13.m2.2.2.2.2.1.1.1.1.1.2.1.2.1.cmml">]</mo></mrow></mrow></mrow><mo id="A3.E13.m2.2.2.2.2.1.1.1.1.3" xref="A3.E13.m2.2.2.2.2.1.1.1.2.1.cmml">]</mo></mrow><mo id="A3.E13.m2.2.2.2.2.1.1.3" xref="A3.E13.m2.2.2.2.2.1.1.3.cmml">+</mo><mrow id="A3.E13.m2.2.2.2.2.1.1.2" xref="A3.E13.m2.2.2.2.2.1.1.2.cmml"><mi id="A3.E13.m2.2.2.2.2.1.1.2.3" xref="A3.E13.m2.2.2.2.2.1.1.2.3.cmml">γ</mi><mo lspace="0em" rspace="0em" id="A3.E13.m2.2.2.2.2.1.1.2.2" xref="A3.E13.m2.2.2.2.2.1.1.2.2.cmml">​</mo><mrow id="A3.E13.m2.2.2.2.2.1.1.2.1.1" xref="A3.E13.m2.2.2.2.2.1.1.2.1.2.cmml"><mo id="A3.E13.m2.2.2.2.2.1.1.2.1.1.2" xref="A3.E13.m2.2.2.2.2.1.1.2.1.2.1.cmml">[</mo><mrow id="A3.E13.m2.2.2.2.2.1.1.2.1.1.1" xref="A3.E13.m2.2.2.2.2.1.1.2.1.1.1.cmml"><mrow id="A3.E13.m2.2.2.2.2.1.1.2.1.1.1.2" xref="A3.E13.m2.2.2.2.2.1.1.2.1.1.1.2.cmml"><mrow id="A3.E13.m2.2.2.2.2.1.1.2.1.1.1.1.1" xref="A3.E13.m2.2.2.2.2.1.1.2.1.1.1.1.1.cmml"><mi id="A3.E13.m2.2.2.2.2.1.1.2.1.1.1.1.1.3" xref="A3.E13.m2.2.2.2.2.1.1.2.1.1.1.1.1.3.cmml">𝔼</mi><mo lspace="0em" rspace="0em" id="A3.E13.m2.2.2.2.2.1.1.2.1.1.1.1.1.2" xref="A3.E13.m2.2.2.2.2.1.1.2.1.1.1.1.1.2.cmml">​</mo><mrow id="A3.E13.m2.2.2.2.2.1.1.2.1.1.1.1.1.1.1" xref="A3.E13.m2.2.2.2.2.1.1.2.1.1.1.1.1.1.2.cmml"><mo stretchy="false" id="A3.E13.m2.2.2.2.2.1.1.2.1.1.1.1.1.1.1.2" xref="A3.E13.m2.2.2.2.2.1.1.2.1.1.1.1.1.1.2.1.cmml">[</mo><mrow id="A3.E13.m2.2.2.2.2.1.1.2.1.1.1.1.1.1.1.1" xref="A3.E13.m2.2.2.2.2.1.1.2.1.1.1.1.1.1.1.1.cmml"><msup id="A3.E13.m2.2.2.2.2.1.1.2.1.1.1.1.1.1.1.1.3" xref="A3.E13.m2.2.2.2.2.1.1.2.1.1.1.1.1.1.1.1.3.cmml"><mi id="A3.E13.m2.2.2.2.2.1.1.2.1.1.1.1.1.1.1.1.3.2" xref="A3.E13.m2.2.2.2.2.1.1.2.1.1.1.1.1.1.1.1.3.2.cmml">V</mi><mi id="A3.E13.m2.2.2.2.2.1.1.2.1.1.1.1.1.1.1.1.3.3" xref="A3.E13.m2.2.2.2.2.1.1.2.1.1.1.1.1.1.1.1.3.3.cmml">θ</mi></msup><mo lspace="0em" rspace="0em" id="A3.E13.m2.2.2.2.2.1.1.2.1.1.1.1.1.1.1.1.2" xref="A3.E13.m2.2.2.2.2.1.1.2.1.1.1.1.1.1.1.1.2.cmml">​</mo><mrow id="A3.E13.m2.2.2.2.2.1.1.2.1.1.1.1.1.1.1.1.1.1" xref="A3.E13.m2.2.2.2.2.1.1.2.1.1.1.1.1.1.1.1.1.1.1.cmml"><mo stretchy="false" id="A3.E13.m2.2.2.2.2.1.1.2.1.1.1.1.1.1.1.1.1.1.2" xref="A3.E13.m2.2.2.2.2.1.1.2.1.1.1.1.1.1.1.1.1.1.1.cmml">(</mo><msub id="A3.E13.m2.2.2.2.2.1.1.2.1.1.1.1.1.1.1.1.1.1.1" xref="A3.E13.m2.2.2.2.2.1.1.2.1.1.1.1.1.1.1.1.1.1.1.cmml"><mi id="A3.E13.m2.2.2.2.2.1.1.2.1.1.1.1.1.1.1.1.1.1.1.2" xref="A3.E13.m2.2.2.2.2.1.1.2.1.1.1.1.1.1.1.1.1.1.1.2.cmml">s</mi><mn id="A3.E13.m2.2.2.2.2.1.1.2.1.1.1.1.1.1.1.1.1.1.1.3" xref="A3.E13.m2.2.2.2.2.1.1.2.1.1.1.1.1.1.1.1.1.1.1.3.cmml">1</mn></msub><mo stretchy="false" id="A3.E13.m2.2.2.2.2.1.1.2.1.1.1.1.1.1.1.1.1.1.3" xref="A3.E13.m2.2.2.2.2.1.1.2.1.1.1.1.1.1.1.1.1.1.1.cmml">)</mo></mrow></mrow><mo stretchy="false" id="A3.E13.m2.2.2.2.2.1.1.2.1.1.1.1.1.1.1.3" xref="A3.E13.m2.2.2.2.2.1.1.2.1.1.1.1.1.1.2.1.cmml">]</mo></mrow></mrow><mo id="A3.E13.m2.2.2.2.2.1.1.2.1.1.1.2.3" xref="A3.E13.m2.2.2.2.2.1.1.2.1.1.1.2.3.cmml">−</mo><mrow id="A3.E13.m2.2.2.2.2.1.1.2.1.1.1.2.2" xref="A3.E13.m2.2.2.2.2.1.1.2.1.1.1.2.2.cmml"><mi id="A3.E13.m2.2.2.2.2.1.1.2.1.1.1.2.2.3" xref="A3.E13.m2.2.2.2.2.1.1.2.1.1.1.2.2.3.cmml">γ</mi><mo lspace="0em" rspace="0em" id="A3.E13.m2.2.2.2.2.1.1.2.1.1.1.2.2.2" xref="A3.E13.m2.2.2.2.2.1.1.2.1.1.1.2.2.2.cmml">​</mo><mi id="A3.E13.m2.2.2.2.2.1.1.2.1.1.1.2.2.4" xref="A3.E13.m2.2.2.2.2.1.1.2.1.1.1.2.2.4.cmml">𝔼</mi><mo lspace="0em" rspace="0em" id="A3.E13.m2.2.2.2.2.1.1.2.1.1.1.2.2.2a" xref="A3.E13.m2.2.2.2.2.1.1.2.1.1.1.2.2.2.cmml">​</mo><mrow id="A3.E13.m2.2.2.2.2.1.1.2.1.1.1.2.2.1.1" xref="A3.E13.m2.2.2.2.2.1.1.2.1.1.1.2.2.1.2.cmml"><mo stretchy="false" id="A3.E13.m2.2.2.2.2.1.1.2.1.1.1.2.2.1.1.2" xref="A3.E13.m2.2.2.2.2.1.1.2.1.1.1.2.2.1.2.1.cmml">[</mo><mrow id="A3.E13.m2.2.2.2.2.1.1.2.1.1.1.2.2.1.1.1" xref="A3.E13.m2.2.2.2.2.1.1.2.1.1.1.2.2.1.1.1.cmml"><msup id="A3.E13.m2.2.2.2.2.1.1.2.1.1.1.2.2.1.1.1.3" xref="A3.E13.m2.2.2.2.2.1.1.2.1.1.1.2.2.1.1.1.3.cmml"><mi id="A3.E13.m2.2.2.2.2.1.1.2.1.1.1.2.2.1.1.1.3.2" xref="A3.E13.m2.2.2.2.2.1.1.2.1.1.1.2.2.1.1.1.3.2.cmml">V</mi><mi id="A3.E13.m2.2.2.2.2.1.1.2.1.1.1.2.2.1.1.1.3.3" xref="A3.E13.m2.2.2.2.2.1.1.2.1.1.1.2.2.1.1.1.3.3.cmml">θ</mi></msup><mo lspace="0em" rspace="0em" id="A3.E13.m2.2.2.2.2.1.1.2.1.1.1.2.2.1.1.1.2" xref="A3.E13.m2.2.2.2.2.1.1.2.1.1.1.2.2.1.1.1.2.cmml">​</mo><mrow id="A3.E13.m2.2.2.2.2.1.1.2.1.1.1.2.2.1.1.1.1.1" xref="A3.E13.m2.2.2.2.2.1.1.2.1.1.1.2.2.1.1.1.1.1.1.cmml"><mo stretchy="false" id="A3.E13.m2.2.2.2.2.1.1.2.1.1.1.2.2.1.1.1.1.1.2" xref="A3.E13.m2.2.2.2.2.1.1.2.1.1.1.2.2.1.1.1.1.1.1.cmml">(</mo><msub id="A3.E13.m2.2.2.2.2.1.1.2.1.1.1.2.2.1.1.1.1.1.1" xref="A3.E13.m2.2.2.2.2.1.1.2.1.1.1.2.2.1.1.1.1.1.1.cmml"><mi id="A3.E13.m2.2.2.2.2.1.1.2.1.1.1.2.2.1.1.1.1.1.1.2" xref="A3.E13.m2.2.2.2.2.1.1.2.1.1.1.2.2.1.1.1.1.1.1.2.cmml">s</mi><mn id="A3.E13.m2.2.2.2.2.1.1.2.1.1.1.2.2.1.1.1.1.1.1.3" xref="A3.E13.m2.2.2.2.2.1.1.2.1.1.1.2.2.1.1.1.1.1.1.3.cmml">2</mn></msub><mo stretchy="false" id="A3.E13.m2.2.2.2.2.1.1.2.1.1.1.2.2.1.1.1.1.1.3" xref="A3.E13.m2.2.2.2.2.1.1.2.1.1.1.2.2.1.1.1.1.1.1.cmml">)</mo></mrow></mrow><mo stretchy="false" id="A3.E13.m2.2.2.2.2.1.1.2.1.1.1.2.2.1.1.3" xref="A3.E13.m2.2.2.2.2.1.1.2.1.1.1.2.2.1.2.1.cmml">]</mo></mrow></mrow></mrow><mo id="A3.E13.m2.2.2.2.2.1.1.2.1.1.1.3" xref="A3.E13.m2.2.2.2.2.1.1.2.1.1.1.3.cmml">+</mo><mi mathvariant="normal" id="A3.E13.m2.2.2.2.2.1.1.2.1.1.1.4" xref="A3.E13.m2.2.2.2.2.1.1.2.1.1.1.4.cmml">…</mi></mrow><mo id="A3.E13.m2.2.2.2.2.1.1.2.1.1.3" xref="A3.E13.m2.2.2.2.2.1.1.2.1.2.1.cmml">]</mo></mrow></mrow></mrow><mo id="A3.E13.m2.2.2.2.2.1.3" xref="A3.E13.m2.2.2.2.2.2.1.cmml">]</mo></mrow></mrow></mrow><annotation-xml encoding="MathML-Content" id="A3.E13.m2.2b"><apply id="A3.E13.m2.2.2.cmml" xref="A3.E13.m2.2.2"><eq id="A3.E13.m2.2.2.3.cmml" xref="A3.E13.m2.2.2.3"></eq><csymbol cd="latexml" id="A3.E13.m2.2.2.4.cmml" xref="A3.E13.m2.2.2.4">absent</csymbol><apply id="A3.E13.m2.2.2.2.cmml" xref="A3.E13.m2.2.2.2"><times id="A3.E13.m2.2.2.2.3.cmml" xref="A3.E13.m2.2.2.2.3"></times><apply id="A3.E13.m2.1.1.1.1.1.1.cmml" xref="A3.E13.m2.1.1.1.1.1"><minus id="A3.E13.m2.1.1.1.1.1.1.1.cmml" xref="A3.E13.m2.1.1.1.1.1.1.1"></minus><cn type="integer" id="A3.E13.m2.1.1.1.1.1.1.2.cmml" xref="A3.E13.m2.1.1.1.1.1.1.2">1</cn><ci id="A3.E13.m2.1.1.1.1.1.1.3.cmml" xref="A3.E13.m2.1.1.1.1.1.1.3">𝛾</ci></apply><apply id="A3.E13.m2.2.2.2.2.2.cmml" xref="A3.E13.m2.2.2.2.2.1"><csymbol cd="latexml" id="A3.E13.m2.2.2.2.2.2.1.cmml" xref="A3.E13.m2.2.2.2.2.1.2">delimited-[]</csymbol><apply id="A3.E13.m2.2.2.2.2.1.1.cmml" xref="A3.E13.m2.2.2.2.2.1.1"><plus id="A3.E13.m2.2.2.2.2.1.1.3.cmml" xref="A3.E13.m2.2.2.2.2.1.1.3"></plus><apply id="A3.E13.m2.2.2.2.2.1.1.1.2.cmml" xref="A3.E13.m2.2.2.2.2.1.1.1.1"><csymbol cd="latexml" id="A3.E13.m2.2.2.2.2.1.1.1.2.1.cmml" xref="A3.E13.m2.2.2.2.2.1.1.1.1.2">delimited-[]</csymbol><apply id="A3.E13.m2.2.2.2.2.1.1.1.1.1.cmml" xref="A3.E13.m2.2.2.2.2.1.1.1.1.1"><minus id="A3.E13.m2.2.2.2.2.1.1.1.1.1.3.cmml" xref="A3.E13.m2.2.2.2.2.1.1.1.1.1.3"></minus><apply id="A3.E13.m2.2.2.2.2.1.1.1.1.1.1.cmml" xref="A3.E13.m2.2.2.2.2.1.1.1.1.1.1"><times id="A3.E13.m2.2.2.2.2.1.1.1.1.1.1.2.cmml" xref="A3.E13.m2.2.2.2.2.1.1.1.1.1.1.2"></times><ci id="A3.E13.m2.2.2.2.2.1.1.1.1.1.1.3.cmml" xref="A3.E13.m2.2.2.2.2.1.1.1.1.1.1.3">𝔼</ci><apply id="A3.E13.m2.2.2.2.2.1.1.1.1.1.1.1.2.cmml" xref="A3.E13.m2.2.2.2.2.1.1.1.1.1.1.1.1"><csymbol cd="latexml" id="A3.E13.m2.2.2.2.2.1.1.1.1.1.1.1.2.1.cmml" xref="A3.E13.m2.2.2.2.2.1.1.1.1.1.1.1.1.2">delimited-[]</csymbol><apply id="A3.E13.m2.2.2.2.2.1.1.1.1.1.1.1.1.1.cmml" xref="A3.E13.m2.2.2.2.2.1.1.1.1.1.1.1.1.1"><times id="A3.E13.m2.2.2.2.2.1.1.1.1.1.1.1.1.1.2.cmml" xref="A3.E13.m2.2.2.2.2.1.1.1.1.1.1.1.1.1.2"></times><apply id="A3.E13.m2.2.2.2.2.1.1.1.1.1.1.1.1.1.3.cmml" xref="A3.E13.m2.2.2.2.2.1.1.1.1.1.1.1.1.1.3"><csymbol cd="ambiguous" id="A3.E13.m2.2.2.2.2.1.1.1.1.1.1.1.1.1.3.1.cmml" xref="A3.E13.m2.2.2.2.2.1.1.1.1.1.1.1.1.1.3">superscript</csymbol><ci id="A3.E13.m2.2.2.2.2.1.1.1.1.1.1.1.1.1.3.2.cmml" xref="A3.E13.m2.2.2.2.2.1.1.1.1.1.1.1.1.1.3.2">𝑉</ci><ci id="A3.E13.m2.2.2.2.2.1.1.1.1.1.1.1.1.1.3.3.cmml" xref="A3.E13.m2.2.2.2.2.1.1.1.1.1.1.1.1.1.3.3">𝜃</ci></apply><apply id="A3.E13.m2.2.2.2.2.1.1.1.1.1.1.1.1.1.1.1.1.cmml" xref="A3.E13.m2.2.2.2.2.1.1.1.1.1.1.1.1.1.1.1"><csymbol cd="ambiguous" id="A3.E13.m2.2.2.2.2.1.1.1.1.1.1.1.1.1.1.1.1.1.cmml" xref="A3.E13.m2.2.2.2.2.1.1.1.1.1.1.1.1.1.1.1">subscript</csymbol><ci id="A3.E13.m2.2.2.2.2.1.1.1.1.1.1.1.1.1.1.1.1.2.cmml" xref="A3.E13.m2.2.2.2.2.1.1.1.1.1.1.1.1.1.1.1.1.2">𝑠</ci><cn type="integer" id="A3.E13.m2.2.2.2.2.1.1.1.1.1.1.1.1.1.1.1.1.3.cmml" xref="A3.E13.m2.2.2.2.2.1.1.1.1.1.1.1.1.1.1.1.1.3">0</cn></apply></apply></apply></apply><apply id="A3.E13.m2.2.2.2.2.1.1.1.1.1.2.cmml" xref="A3.E13.m2.2.2.2.2.1.1.1.1.1.2"><times id="A3.E13.m2.2.2.2.2.1.1.1.1.1.2.2.cmml" xref="A3.E13.m2.2.2.2.2.1.1.1.1.1.2.2"></times><ci id="A3.E13.m2.2.2.2.2.1.1.1.1.1.2.3.cmml" xref="A3.E13.m2.2.2.2.2.1.1.1.1.1.2.3">𝛾</ci><ci id="A3.E13.m2.2.2.2.2.1.1.1.1.1.2.4.cmml" xref="A3.E13.m2.2.2.2.2.1.1.1.1.1.2.4">𝔼</ci><apply id="A3.E13.m2.2.2.2.2.1.1.1.1.1.2.1.2.cmml" xref="A3.E13.m2.2.2.2.2.1.1.1.1.1.2.1.1"><csymbol cd="latexml" id="A3.E13.m2.2.2.2.2.1.1.1.1.1.2.1.2.1.cmml" xref="A3.E13.m2.2.2.2.2.1.1.1.1.1.2.1.1.2">delimited-[]</csymbol><apply id="A3.E13.m2.2.2.2.2.1.1.1.1.1.2.1.1.1.cmml" xref="A3.E13.m2.2.2.2.2.1.1.1.1.1.2.1.1.1"><times id="A3.E13.m2.2.2.2.2.1.1.1.1.1.2.1.1.1.2.cmml" xref="A3.E13.m2.2.2.2.2.1.1.1.1.1.2.1.1.1.2"></times><apply id="A3.E13.m2.2.2.2.2.1.1.1.1.1.2.1.1.1.3.cmml" xref="A3.E13.m2.2.2.2.2.1.1.1.1.1.2.1.1.1.3"><csymbol cd="ambiguous" id="A3.E13.m2.2.2.2.2.1.1.1.1.1.2.1.1.1.3.1.cmml" xref="A3.E13.m2.2.2.2.2.1.1.1.1.1.2.1.1.1.3">superscript</csymbol><ci id="A3.E13.m2.2.2.2.2.1.1.1.1.1.2.1.1.1.3.2.cmml" xref="A3.E13.m2.2.2.2.2.1.1.1.1.1.2.1.1.1.3.2">𝑉</ci><ci id="A3.E13.m2.2.2.2.2.1.1.1.1.1.2.1.1.1.3.3.cmml" xref="A3.E13.m2.2.2.2.2.1.1.1.1.1.2.1.1.1.3.3">𝜃</ci></apply><apply id="A3.E13.m2.2.2.2.2.1.1.1.1.1.2.1.1.1.1.1.1.cmml" xref="A3.E13.m2.2.2.2.2.1.1.1.1.1.2.1.1.1.1.1"><csymbol cd="ambiguous" id="A3.E13.m2.2.2.2.2.1.1.1.1.1.2.1.1.1.1.1.1.1.cmml" xref="A3.E13.m2.2.2.2.2.1.1.1.1.1.2.1.1.1.1.1">subscript</csymbol><ci id="A3.E13.m2.2.2.2.2.1.1.1.1.1.2.1.1.1.1.1.1.2.cmml" xref="A3.E13.m2.2.2.2.2.1.1.1.1.1.2.1.1.1.1.1.1.2">𝑠</ci><cn type="integer" id="A3.E13.m2.2.2.2.2.1.1.1.1.1.2.1.1.1.1.1.1.3.cmml" xref="A3.E13.m2.2.2.2.2.1.1.1.1.1.2.1.1.1.1.1.1.3">1</cn></apply></apply></apply></apply></apply></apply><apply id="A3.E13.m2.2.2.2.2.1.1.2.cmml" xref="A3.E13.m2.2.2.2.2.1.1.2"><times id="A3.E13.m2.2.2.2.2.1.1.2.2.cmml" xref="A3.E13.m2.2.2.2.2.1.1.2.2"></times><ci id="A3.E13.m2.2.2.2.2.1.1.2.3.cmml" xref="A3.E13.m2.2.2.2.2.1.1.2.3">𝛾</ci><apply id="A3.E13.m2.2.2.2.2.1.1.2.1.2.cmml" xref="A3.E13.m2.2.2.2.2.1.1.2.1.1"><csymbol cd="latexml" id="A3.E13.m2.2.2.2.2.1.1.2.1.2.1.cmml" xref="A3.E13.m2.2.2.2.2.1.1.2.1.1.2">delimited-[]</csymbol><apply id="A3.E13.m2.2.2.2.2.1.1.2.1.1.1.cmml" xref="A3.E13.m2.2.2.2.2.1.1.2.1.1.1"><plus id="A3.E13.m2.2.2.2.2.1.1.2.1.1.1.3.cmml" xref="A3.E13.m2.2.2.2.2.1.1.2.1.1.1.3"></plus><apply id="A3.E13.m2.2.2.2.2.1.1.2.1.1.1.2.cmml" xref="A3.E13.m2.2.2.2.2.1.1.2.1.1.1.2"><minus id="A3.E13.m2.2.2.2.2.1.1.2.1.1.1.2.3.cmml" xref="A3.E13.m2.2.2.2.2.1.1.2.1.1.1.2.3"></minus><apply id="A3.E13.m2.2.2.2.2.1.1.2.1.1.1.1.1.cmml" xref="A3.E13.m2.2.2.2.2.1.1.2.1.1.1.1.1"><times id="A3.E13.m2.2.2.2.2.1.1.2.1.1.1.1.1.2.cmml" xref="A3.E13.m2.2.2.2.2.1.1.2.1.1.1.1.1.2"></times><ci id="A3.E13.m2.2.2.2.2.1.1.2.1.1.1.1.1.3.cmml" xref="A3.E13.m2.2.2.2.2.1.1.2.1.1.1.1.1.3">𝔼</ci><apply id="A3.E13.m2.2.2.2.2.1.1.2.1.1.1.1.1.1.2.cmml" xref="A3.E13.m2.2.2.2.2.1.1.2.1.1.1.1.1.1.1"><csymbol cd="latexml" id="A3.E13.m2.2.2.2.2.1.1.2.1.1.1.1.1.1.2.1.cmml" xref="A3.E13.m2.2.2.2.2.1.1.2.1.1.1.1.1.1.1.2">delimited-[]</csymbol><apply id="A3.E13.m2.2.2.2.2.1.1.2.1.1.1.1.1.1.1.1.cmml" xref="A3.E13.m2.2.2.2.2.1.1.2.1.1.1.1.1.1.1.1"><times id="A3.E13.m2.2.2.2.2.1.1.2.1.1.1.1.1.1.1.1.2.cmml" xref="A3.E13.m2.2.2.2.2.1.1.2.1.1.1.1.1.1.1.1.2"></times><apply id="A3.E13.m2.2.2.2.2.1.1.2.1.1.1.1.1.1.1.1.3.cmml" xref="A3.E13.m2.2.2.2.2.1.1.2.1.1.1.1.1.1.1.1.3"><csymbol cd="ambiguous" id="A3.E13.m2.2.2.2.2.1.1.2.1.1.1.1.1.1.1.1.3.1.cmml" xref="A3.E13.m2.2.2.2.2.1.1.2.1.1.1.1.1.1.1.1.3">superscript</csymbol><ci id="A3.E13.m2.2.2.2.2.1.1.2.1.1.1.1.1.1.1.1.3.2.cmml" xref="A3.E13.m2.2.2.2.2.1.1.2.1.1.1.1.1.1.1.1.3.2">𝑉</ci><ci id="A3.E13.m2.2.2.2.2.1.1.2.1.1.1.1.1.1.1.1.3.3.cmml" xref="A3.E13.m2.2.2.2.2.1.1.2.1.1.1.1.1.1.1.1.3.3">𝜃</ci></apply><apply id="A3.E13.m2.2.2.2.2.1.1.2.1.1.1.1.1.1.1.1.1.1.1.cmml" xref="A3.E13.m2.2.2.2.2.1.1.2.1.1.1.1.1.1.1.1.1.1"><csymbol cd="ambiguous" id="A3.E13.m2.2.2.2.2.1.1.2.1.1.1.1.1.1.1.1.1.1.1.1.cmml" xref="A3.E13.m2.2.2.2.2.1.1.2.1.1.1.1.1.1.1.1.1.1">subscript</csymbol><ci id="A3.E13.m2.2.2.2.2.1.1.2.1.1.1.1.1.1.1.1.1.1.1.2.cmml" xref="A3.E13.m2.2.2.2.2.1.1.2.1.1.1.1.1.1.1.1.1.1.1.2">𝑠</ci><cn type="integer" id="A3.E13.m2.2.2.2.2.1.1.2.1.1.1.1.1.1.1.1.1.1.1.3.cmml" xref="A3.E13.m2.2.2.2.2.1.1.2.1.1.1.1.1.1.1.1.1.1.1.3">1</cn></apply></apply></apply></apply><apply id="A3.E13.m2.2.2.2.2.1.1.2.1.1.1.2.2.cmml" xref="A3.E13.m2.2.2.2.2.1.1.2.1.1.1.2.2"><times id="A3.E13.m2.2.2.2.2.1.1.2.1.1.1.2.2.2.cmml" xref="A3.E13.m2.2.2.2.2.1.1.2.1.1.1.2.2.2"></times><ci id="A3.E13.m2.2.2.2.2.1.1.2.1.1.1.2.2.3.cmml" xref="A3.E13.m2.2.2.2.2.1.1.2.1.1.1.2.2.3">𝛾</ci><ci id="A3.E13.m2.2.2.2.2.1.1.2.1.1.1.2.2.4.cmml" xref="A3.E13.m2.2.2.2.2.1.1.2.1.1.1.2.2.4">𝔼</ci><apply id="A3.E13.m2.2.2.2.2.1.1.2.1.1.1.2.2.1.2.cmml" xref="A3.E13.m2.2.2.2.2.1.1.2.1.1.1.2.2.1.1"><csymbol cd="latexml" id="A3.E13.m2.2.2.2.2.1.1.2.1.1.1.2.2.1.2.1.cmml" xref="A3.E13.m2.2.2.2.2.1.1.2.1.1.1.2.2.1.1.2">delimited-[]</csymbol><apply id="A3.E13.m2.2.2.2.2.1.1.2.1.1.1.2.2.1.1.1.cmml" xref="A3.E13.m2.2.2.2.2.1.1.2.1.1.1.2.2.1.1.1"><times id="A3.E13.m2.2.2.2.2.1.1.2.1.1.1.2.2.1.1.1.2.cmml" xref="A3.E13.m2.2.2.2.2.1.1.2.1.1.1.2.2.1.1.1.2"></times><apply id="A3.E13.m2.2.2.2.2.1.1.2.1.1.1.2.2.1.1.1.3.cmml" xref="A3.E13.m2.2.2.2.2.1.1.2.1.1.1.2.2.1.1.1.3"><csymbol cd="ambiguous" id="A3.E13.m2.2.2.2.2.1.1.2.1.1.1.2.2.1.1.1.3.1.cmml" xref="A3.E13.m2.2.2.2.2.1.1.2.1.1.1.2.2.1.1.1.3">superscript</csymbol><ci id="A3.E13.m2.2.2.2.2.1.1.2.1.1.1.2.2.1.1.1.3.2.cmml" xref="A3.E13.m2.2.2.2.2.1.1.2.1.1.1.2.2.1.1.1.3.2">𝑉</ci><ci id="A3.E13.m2.2.2.2.2.1.1.2.1.1.1.2.2.1.1.1.3.3.cmml" xref="A3.E13.m2.2.2.2.2.1.1.2.1.1.1.2.2.1.1.1.3.3">𝜃</ci></apply><apply id="A3.E13.m2.2.2.2.2.1.1.2.1.1.1.2.2.1.1.1.1.1.1.cmml" xref="A3.E13.m2.2.2.2.2.1.1.2.1.1.1.2.2.1.1.1.1.1"><csymbol cd="ambiguous" id="A3.E13.m2.2.2.2.2.1.1.2.1.1.1.2.2.1.1.1.1.1.1.1.cmml" xref="A3.E13.m2.2.2.2.2.1.1.2.1.1.1.2.2.1.1.1.1.1">subscript</csymbol><ci id="A3.E13.m2.2.2.2.2.1.1.2.1.1.1.2.2.1.1.1.1.1.1.2.cmml" xref="A3.E13.m2.2.2.2.2.1.1.2.1.1.1.2.2.1.1.1.1.1.1.2">𝑠</ci><cn type="integer" id="A3.E13.m2.2.2.2.2.1.1.2.1.1.1.2.2.1.1.1.1.1.1.3.cmml" xref="A3.E13.m2.2.2.2.2.1.1.2.1.1.1.2.2.1.1.1.1.1.1.3">2</cn></apply></apply></apply></apply></apply><ci id="A3.E13.m2.2.2.2.2.1.1.2.1.1.1.4.cmml" xref="A3.E13.m2.2.2.2.2.1.1.2.1.1.1.4">…</ci></apply></apply></apply></apply></apply></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="A3.E13.m2.2c">\displaystyle=(1-\gamma)\left[\left[\mathbb{E}[V^{\theta}(s_{0})]-\gamma\mathbb{E}[V^{\theta}(s_{1})]\right]+\gamma\left[\mathbb{E}[V^{\theta}(s_{1})]-\gamma\mathbb{E}[V^{\theta}(s_{2})]+\ldots\right]\right]</annotation></semantics></math></td>
<td class="ltx_eqn_cell ltx_eqn_center_padright"></td>
<td rowspan="1" class="ltx_eqn_cell ltx_eqn_eqno ltx_align_middle ltx_align_right"><span class="ltx_tag ltx_tag_equation ltx_align_right">(13)</span></td>
</tr></tbody>
<tbody id="A3.E14"><tr class="ltx_equation ltx_eqn_row ltx_align_baseline">
<td class="ltx_eqn_cell ltx_eqn_center_padleft"></td>
<td class="ltx_td ltx_eqn_cell"></td>
<td class="ltx_td ltx_align_left ltx_eqn_cell"><math id="A3.E14.m1.1" class="ltx_Math" alttext="\displaystyle=(1-\gamma)\mathbb{E}[V^{\theta}(s_{0})]." display="inline"><semantics id="A3.E14.m1.1a"><mrow id="A3.E14.m1.1.1.1" xref="A3.E14.m1.1.1.1.1.cmml"><mrow id="A3.E14.m1.1.1.1.1" xref="A3.E14.m1.1.1.1.1.cmml"><mi id="A3.E14.m1.1.1.1.1.4" xref="A3.E14.m1.1.1.1.1.4.cmml"></mi><mo id="A3.E14.m1.1.1.1.1.3" xref="A3.E14.m1.1.1.1.1.3.cmml">=</mo><mrow id="A3.E14.m1.1.1.1.1.2" xref="A3.E14.m1.1.1.1.1.2.cmml"><mrow id="A3.E14.m1.1.1.1.1.1.1.1" xref="A3.E14.m1.1.1.1.1.1.1.1.1.cmml"><mo stretchy="false" id="A3.E14.m1.1.1.1.1.1.1.1.2" xref="A3.E14.m1.1.1.1.1.1.1.1.1.cmml">(</mo><mrow id="A3.E14.m1.1.1.1.1.1.1.1.1" xref="A3.E14.m1.1.1.1.1.1.1.1.1.cmml"><mn id="A3.E14.m1.1.1.1.1.1.1.1.1.2" xref="A3.E14.m1.1.1.1.1.1.1.1.1.2.cmml">1</mn><mo id="A3.E14.m1.1.1.1.1.1.1.1.1.1" xref="A3.E14.m1.1.1.1.1.1.1.1.1.1.cmml">−</mo><mi id="A3.E14.m1.1.1.1.1.1.1.1.1.3" xref="A3.E14.m1.1.1.1.1.1.1.1.1.3.cmml">γ</mi></mrow><mo stretchy="false" id="A3.E14.m1.1.1.1.1.1.1.1.3" xref="A3.E14.m1.1.1.1.1.1.1.1.1.cmml">)</mo></mrow><mo lspace="0em" rspace="0em" id="A3.E14.m1.1.1.1.1.2.3" xref="A3.E14.m1.1.1.1.1.2.3.cmml">​</mo><mi id="A3.E14.m1.1.1.1.1.2.4" xref="A3.E14.m1.1.1.1.1.2.4.cmml">𝔼</mi><mo lspace="0em" rspace="0em" id="A3.E14.m1.1.1.1.1.2.3a" xref="A3.E14.m1.1.1.1.1.2.3.cmml">​</mo><mrow id="A3.E14.m1.1.1.1.1.2.2.1" xref="A3.E14.m1.1.1.1.1.2.2.2.cmml"><mo stretchy="false" id="A3.E14.m1.1.1.1.1.2.2.1.2" xref="A3.E14.m1.1.1.1.1.2.2.2.1.cmml">[</mo><mrow id="A3.E14.m1.1.1.1.1.2.2.1.1" xref="A3.E14.m1.1.1.1.1.2.2.1.1.cmml"><msup id="A3.E14.m1.1.1.1.1.2.2.1.1.3" xref="A3.E14.m1.1.1.1.1.2.2.1.1.3.cmml"><mi id="A3.E14.m1.1.1.1.1.2.2.1.1.3.2" xref="A3.E14.m1.1.1.1.1.2.2.1.1.3.2.cmml">V</mi><mi id="A3.E14.m1.1.1.1.1.2.2.1.1.3.3" xref="A3.E14.m1.1.1.1.1.2.2.1.1.3.3.cmml">θ</mi></msup><mo lspace="0em" rspace="0em" id="A3.E14.m1.1.1.1.1.2.2.1.1.2" xref="A3.E14.m1.1.1.1.1.2.2.1.1.2.cmml">​</mo><mrow id="A3.E14.m1.1.1.1.1.2.2.1.1.1.1" xref="A3.E14.m1.1.1.1.1.2.2.1.1.1.1.1.cmml"><mo stretchy="false" id="A3.E14.m1.1.1.1.1.2.2.1.1.1.1.2" xref="A3.E14.m1.1.1.1.1.2.2.1.1.1.1.1.cmml">(</mo><msub id="A3.E14.m1.1.1.1.1.2.2.1.1.1.1.1" xref="A3.E14.m1.1.1.1.1.2.2.1.1.1.1.1.cmml"><mi id="A3.E14.m1.1.1.1.1.2.2.1.1.1.1.1.2" xref="A3.E14.m1.1.1.1.1.2.2.1.1.1.1.1.2.cmml">s</mi><mn id="A3.E14.m1.1.1.1.1.2.2.1.1.1.1.1.3" xref="A3.E14.m1.1.1.1.1.2.2.1.1.1.1.1.3.cmml">0</mn></msub><mo stretchy="false" id="A3.E14.m1.1.1.1.1.2.2.1.1.1.1.3" xref="A3.E14.m1.1.1.1.1.2.2.1.1.1.1.1.cmml">)</mo></mrow></mrow><mo stretchy="false" id="A3.E14.m1.1.1.1.1.2.2.1.3" xref="A3.E14.m1.1.1.1.1.2.2.2.1.cmml">]</mo></mrow></mrow></mrow><mo lspace="0em" id="A3.E14.m1.1.1.1.2" xref="A3.E14.m1.1.1.1.1.cmml">.</mo></mrow><annotation-xml encoding="MathML-Content" id="A3.E14.m1.1b"><apply id="A3.E14.m1.1.1.1.1.cmml" xref="A3.E14.m1.1.1.1"><eq id="A3.E14.m1.1.1.1.1.3.cmml" xref="A3.E14.m1.1.1.1.1.3"></eq><csymbol cd="latexml" id="A3.E14.m1.1.1.1.1.4.cmml" xref="A3.E14.m1.1.1.1.1.4">absent</csymbol><apply id="A3.E14.m1.1.1.1.1.2.cmml" xref="A3.E14.m1.1.1.1.1.2"><times id="A3.E14.m1.1.1.1.1.2.3.cmml" xref="A3.E14.m1.1.1.1.1.2.3"></times><apply id="A3.E14.m1.1.1.1.1.1.1.1.1.cmml" xref="A3.E14.m1.1.1.1.1.1.1.1"><minus id="A3.E14.m1.1.1.1.1.1.1.1.1.1.cmml" xref="A3.E14.m1.1.1.1.1.1.1.1.1.1"></minus><cn type="integer" id="A3.E14.m1.1.1.1.1.1.1.1.1.2.cmml" xref="A3.E14.m1.1.1.1.1.1.1.1.1.2">1</cn><ci id="A3.E14.m1.1.1.1.1.1.1.1.1.3.cmml" xref="A3.E14.m1.1.1.1.1.1.1.1.1.3">𝛾</ci></apply><ci id="A3.E14.m1.1.1.1.1.2.4.cmml" xref="A3.E14.m1.1.1.1.1.2.4">𝔼</ci><apply id="A3.E14.m1.1.1.1.1.2.2.2.cmml" xref="A3.E14.m1.1.1.1.1.2.2.1"><csymbol cd="latexml" id="A3.E14.m1.1.1.1.1.2.2.2.1.cmml" xref="A3.E14.m1.1.1.1.1.2.2.1.2">delimited-[]</csymbol><apply id="A3.E14.m1.1.1.1.1.2.2.1.1.cmml" xref="A3.E14.m1.1.1.1.1.2.2.1.1"><times id="A3.E14.m1.1.1.1.1.2.2.1.1.2.cmml" xref="A3.E14.m1.1.1.1.1.2.2.1.1.2"></times><apply id="A3.E14.m1.1.1.1.1.2.2.1.1.3.cmml" xref="A3.E14.m1.1.1.1.1.2.2.1.1.3"><csymbol cd="ambiguous" id="A3.E14.m1.1.1.1.1.2.2.1.1.3.1.cmml" xref="A3.E14.m1.1.1.1.1.2.2.1.1.3">superscript</csymbol><ci id="A3.E14.m1.1.1.1.1.2.2.1.1.3.2.cmml" xref="A3.E14.m1.1.1.1.1.2.2.1.1.3.2">𝑉</ci><ci id="A3.E14.m1.1.1.1.1.2.2.1.1.3.3.cmml" xref="A3.E14.m1.1.1.1.1.2.2.1.1.3.3">𝜃</ci></apply><apply id="A3.E14.m1.1.1.1.1.2.2.1.1.1.1.1.cmml" xref="A3.E14.m1.1.1.1.1.2.2.1.1.1.1"><csymbol cd="ambiguous" id="A3.E14.m1.1.1.1.1.2.2.1.1.1.1.1.1.cmml" xref="A3.E14.m1.1.1.1.1.2.2.1.1.1.1">subscript</csymbol><ci id="A3.E14.m1.1.1.1.1.2.2.1.1.1.1.1.2.cmml" xref="A3.E14.m1.1.1.1.1.2.2.1.1.1.1.1.2">𝑠</ci><cn type="integer" id="A3.E14.m1.1.1.1.1.2.2.1.1.1.1.1.3.cmml" xref="A3.E14.m1.1.1.1.1.2.2.1.1.1.1.1.3">0</cn></apply></apply></apply></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="A3.E14.m1.1c">\displaystyle=(1-\gamma)\mathbb{E}[V^{\theta}(s_{0})].</annotation></semantics></math></td>
<td class="ltx_eqn_cell ltx_eqn_center_padright"></td>
<td rowspan="1" class="ltx_eqn_cell ltx_eqn_eqno ltx_align_middle ltx_align_right"><span class="ltx_tag ltx_tag_equation ltx_align_right">(14)</span></td>
</tr></tbody>
</table>
<p id="A3.SS3.1.p1.4" class="ltx_p">Because <math id="A3.SS3.1.p1.1.m1.1" class="ltx_Math" alttext="s_{0}" display="inline"><semantics id="A3.SS3.1.p1.1.m1.1a"><msub id="A3.SS3.1.p1.1.m1.1.1" xref="A3.SS3.1.p1.1.m1.1.1.cmml"><mi id="A3.SS3.1.p1.1.m1.1.1.2" xref="A3.SS3.1.p1.1.m1.1.1.2.cmml">s</mi><mn id="A3.SS3.1.p1.1.m1.1.1.3" xref="A3.SS3.1.p1.1.m1.1.1.3.cmml">0</mn></msub><annotation-xml encoding="MathML-Content" id="A3.SS3.1.p1.1.m1.1b"><apply id="A3.SS3.1.p1.1.m1.1.1.cmml" xref="A3.SS3.1.p1.1.m1.1.1"><csymbol cd="ambiguous" id="A3.SS3.1.p1.1.m1.1.1.1.cmml" xref="A3.SS3.1.p1.1.m1.1.1">subscript</csymbol><ci id="A3.SS3.1.p1.1.m1.1.1.2.cmml" xref="A3.SS3.1.p1.1.m1.1.1.2">𝑠</ci><cn type="integer" id="A3.SS3.1.p1.1.m1.1.1.3.cmml" xref="A3.SS3.1.p1.1.m1.1.1.3">0</cn></apply></annotation-xml><annotation encoding="application/x-tex" id="A3.SS3.1.p1.1.m1.1c">s_{0}</annotation></semantics></math> does not depend on <math id="A3.SS3.1.p1.2.m2.1" class="ltx_Math" alttext="\rho" display="inline"><semantics id="A3.SS3.1.p1.2.m2.1a"><mi id="A3.SS3.1.p1.2.m2.1.1" xref="A3.SS3.1.p1.2.m2.1.1.cmml">ρ</mi><annotation-xml encoding="MathML-Content" id="A3.SS3.1.p1.2.m2.1b"><ci id="A3.SS3.1.p1.2.m2.1.1.cmml" xref="A3.SS3.1.p1.2.m2.1.1">𝜌</ci></annotation-xml><annotation encoding="application/x-tex" id="A3.SS3.1.p1.2.m2.1c">\rho</annotation></semantics></math>, we can expand the sum in the opposite direction to show that <math id="A3.SS3.1.p1.3.m3.10" class="ltx_Math" alttext="\mathbb{E}_{s,a\sim\rho_{\theta}}\left[(\mathcal{T}^{\theta})Q(s,a)\right]+H\left[p_{\theta}\right]=\mathbb{E}_{s,s^{\prime}\sim\rho}\left[V^{\theta}(s)-\gamma V^{\theta}(s^{\prime})\right]" display="inline"><semantics id="A3.SS3.1.p1.3.m3.10a"><mrow id="A3.SS3.1.p1.3.m3.10.10" xref="A3.SS3.1.p1.3.m3.10.10.cmml"><mrow id="A3.SS3.1.p1.3.m3.9.9.2" xref="A3.SS3.1.p1.3.m3.9.9.2.cmml"><mrow id="A3.SS3.1.p1.3.m3.8.8.1.1" xref="A3.SS3.1.p1.3.m3.8.8.1.1.cmml"><msub id="A3.SS3.1.p1.3.m3.8.8.1.1.3" xref="A3.SS3.1.p1.3.m3.8.8.1.1.3.cmml"><mi id="A3.SS3.1.p1.3.m3.8.8.1.1.3.2" xref="A3.SS3.1.p1.3.m3.8.8.1.1.3.2.cmml">𝔼</mi><mrow id="A3.SS3.1.p1.3.m3.2.2.2" xref="A3.SS3.1.p1.3.m3.2.2.2.cmml"><mrow id="A3.SS3.1.p1.3.m3.2.2.2.4.2" xref="A3.SS3.1.p1.3.m3.2.2.2.4.1.cmml"><mi id="A3.SS3.1.p1.3.m3.1.1.1.1" xref="A3.SS3.1.p1.3.m3.1.1.1.1.cmml">s</mi><mo id="A3.SS3.1.p1.3.m3.2.2.2.4.2.1" xref="A3.SS3.1.p1.3.m3.2.2.2.4.1.cmml">,</mo><mi id="A3.SS3.1.p1.3.m3.2.2.2.2" xref="A3.SS3.1.p1.3.m3.2.2.2.2.cmml">a</mi></mrow><mo id="A3.SS3.1.p1.3.m3.2.2.2.3" xref="A3.SS3.1.p1.3.m3.2.2.2.3.cmml">∼</mo><msub id="A3.SS3.1.p1.3.m3.2.2.2.5" xref="A3.SS3.1.p1.3.m3.2.2.2.5.cmml"><mi id="A3.SS3.1.p1.3.m3.2.2.2.5.2" xref="A3.SS3.1.p1.3.m3.2.2.2.5.2.cmml">ρ</mi><mi id="A3.SS3.1.p1.3.m3.2.2.2.5.3" xref="A3.SS3.1.p1.3.m3.2.2.2.5.3.cmml">θ</mi></msub></mrow></msub><mo lspace="0em" rspace="0em" id="A3.SS3.1.p1.3.m3.8.8.1.1.2" xref="A3.SS3.1.p1.3.m3.8.8.1.1.2.cmml">​</mo><mrow id="A3.SS3.1.p1.3.m3.8.8.1.1.1.1" xref="A3.SS3.1.p1.3.m3.8.8.1.1.1.2.cmml"><mo id="A3.SS3.1.p1.3.m3.8.8.1.1.1.1.2" xref="A3.SS3.1.p1.3.m3.8.8.1.1.1.2.1.cmml">[</mo><mrow id="A3.SS3.1.p1.3.m3.8.8.1.1.1.1.1" xref="A3.SS3.1.p1.3.m3.8.8.1.1.1.1.1.cmml"><mrow id="A3.SS3.1.p1.3.m3.8.8.1.1.1.1.1.1.1" xref="A3.SS3.1.p1.3.m3.8.8.1.1.1.1.1.1.1.1.cmml"><mo stretchy="false" id="A3.SS3.1.p1.3.m3.8.8.1.1.1.1.1.1.1.2" xref="A3.SS3.1.p1.3.m3.8.8.1.1.1.1.1.1.1.1.cmml">(</mo><msup id="A3.SS3.1.p1.3.m3.8.8.1.1.1.1.1.1.1.1" xref="A3.SS3.1.p1.3.m3.8.8.1.1.1.1.1.1.1.1.cmml"><mi class="ltx_font_mathcaligraphic" id="A3.SS3.1.p1.3.m3.8.8.1.1.1.1.1.1.1.1.2" xref="A3.SS3.1.p1.3.m3.8.8.1.1.1.1.1.1.1.1.2.cmml">𝒯</mi><mi id="A3.SS3.1.p1.3.m3.8.8.1.1.1.1.1.1.1.1.3" xref="A3.SS3.1.p1.3.m3.8.8.1.1.1.1.1.1.1.1.3.cmml">θ</mi></msup><mo stretchy="false" id="A3.SS3.1.p1.3.m3.8.8.1.1.1.1.1.1.1.3" xref="A3.SS3.1.p1.3.m3.8.8.1.1.1.1.1.1.1.1.cmml">)</mo></mrow><mo lspace="0em" rspace="0em" id="A3.SS3.1.p1.3.m3.8.8.1.1.1.1.1.2" xref="A3.SS3.1.p1.3.m3.8.8.1.1.1.1.1.2.cmml">​</mo><mi id="A3.SS3.1.p1.3.m3.8.8.1.1.1.1.1.3" xref="A3.SS3.1.p1.3.m3.8.8.1.1.1.1.1.3.cmml">Q</mi><mo lspace="0em" rspace="0em" id="A3.SS3.1.p1.3.m3.8.8.1.1.1.1.1.2a" xref="A3.SS3.1.p1.3.m3.8.8.1.1.1.1.1.2.cmml">​</mo><mrow id="A3.SS3.1.p1.3.m3.8.8.1.1.1.1.1.4.2" xref="A3.SS3.1.p1.3.m3.8.8.1.1.1.1.1.4.1.cmml"><mo stretchy="false" id="A3.SS3.1.p1.3.m3.8.8.1.1.1.1.1.4.2.1" xref="A3.SS3.1.p1.3.m3.8.8.1.1.1.1.1.4.1.cmml">(</mo><mi id="A3.SS3.1.p1.3.m3.5.5" xref="A3.SS3.1.p1.3.m3.5.5.cmml">s</mi><mo id="A3.SS3.1.p1.3.m3.8.8.1.1.1.1.1.4.2.2" xref="A3.SS3.1.p1.3.m3.8.8.1.1.1.1.1.4.1.cmml">,</mo><mi id="A3.SS3.1.p1.3.m3.6.6" xref="A3.SS3.1.p1.3.m3.6.6.cmml">a</mi><mo stretchy="false" id="A3.SS3.1.p1.3.m3.8.8.1.1.1.1.1.4.2.3" xref="A3.SS3.1.p1.3.m3.8.8.1.1.1.1.1.4.1.cmml">)</mo></mrow></mrow><mo id="A3.SS3.1.p1.3.m3.8.8.1.1.1.1.3" xref="A3.SS3.1.p1.3.m3.8.8.1.1.1.2.1.cmml">]</mo></mrow></mrow><mo id="A3.SS3.1.p1.3.m3.9.9.2.3" xref="A3.SS3.1.p1.3.m3.9.9.2.3.cmml">+</mo><mrow id="A3.SS3.1.p1.3.m3.9.9.2.2" xref="A3.SS3.1.p1.3.m3.9.9.2.2.cmml"><mi id="A3.SS3.1.p1.3.m3.9.9.2.2.3" xref="A3.SS3.1.p1.3.m3.9.9.2.2.3.cmml">H</mi><mo lspace="0em" rspace="0em" id="A3.SS3.1.p1.3.m3.9.9.2.2.2" xref="A3.SS3.1.p1.3.m3.9.9.2.2.2.cmml">​</mo><mrow id="A3.SS3.1.p1.3.m3.9.9.2.2.1.1" xref="A3.SS3.1.p1.3.m3.9.9.2.2.1.2.cmml"><mo id="A3.SS3.1.p1.3.m3.9.9.2.2.1.1.2" xref="A3.SS3.1.p1.3.m3.9.9.2.2.1.2.1.cmml">[</mo><msub id="A3.SS3.1.p1.3.m3.9.9.2.2.1.1.1" xref="A3.SS3.1.p1.3.m3.9.9.2.2.1.1.1.cmml"><mi id="A3.SS3.1.p1.3.m3.9.9.2.2.1.1.1.2" xref="A3.SS3.1.p1.3.m3.9.9.2.2.1.1.1.2.cmml">p</mi><mi id="A3.SS3.1.p1.3.m3.9.9.2.2.1.1.1.3" xref="A3.SS3.1.p1.3.m3.9.9.2.2.1.1.1.3.cmml">θ</mi></msub><mo id="A3.SS3.1.p1.3.m3.9.9.2.2.1.1.3" xref="A3.SS3.1.p1.3.m3.9.9.2.2.1.2.1.cmml">]</mo></mrow></mrow></mrow><mo id="A3.SS3.1.p1.3.m3.10.10.4" xref="A3.SS3.1.p1.3.m3.10.10.4.cmml">=</mo><mrow id="A3.SS3.1.p1.3.m3.10.10.3" xref="A3.SS3.1.p1.3.m3.10.10.3.cmml"><msub id="A3.SS3.1.p1.3.m3.10.10.3.3" xref="A3.SS3.1.p1.3.m3.10.10.3.3.cmml"><mi id="A3.SS3.1.p1.3.m3.10.10.3.3.2" xref="A3.SS3.1.p1.3.m3.10.10.3.3.2.cmml">𝔼</mi><mrow id="A3.SS3.1.p1.3.m3.4.4.2" xref="A3.SS3.1.p1.3.m3.4.4.2.cmml"><mrow id="A3.SS3.1.p1.3.m3.4.4.2.2.1" xref="A3.SS3.1.p1.3.m3.4.4.2.2.2.cmml"><mi id="A3.SS3.1.p1.3.m3.3.3.1.1" xref="A3.SS3.1.p1.3.m3.3.3.1.1.cmml">s</mi><mo id="A3.SS3.1.p1.3.m3.4.4.2.2.1.2" xref="A3.SS3.1.p1.3.m3.4.4.2.2.2.cmml">,</mo><msup id="A3.SS3.1.p1.3.m3.4.4.2.2.1.1" xref="A3.SS3.1.p1.3.m3.4.4.2.2.1.1.cmml"><mi id="A3.SS3.1.p1.3.m3.4.4.2.2.1.1.2" xref="A3.SS3.1.p1.3.m3.4.4.2.2.1.1.2.cmml">s</mi><mo id="A3.SS3.1.p1.3.m3.4.4.2.2.1.1.3" xref="A3.SS3.1.p1.3.m3.4.4.2.2.1.1.3.cmml">′</mo></msup></mrow><mo id="A3.SS3.1.p1.3.m3.4.4.2.3" xref="A3.SS3.1.p1.3.m3.4.4.2.3.cmml">∼</mo><mi id="A3.SS3.1.p1.3.m3.4.4.2.4" xref="A3.SS3.1.p1.3.m3.4.4.2.4.cmml">ρ</mi></mrow></msub><mo lspace="0em" rspace="0em" id="A3.SS3.1.p1.3.m3.10.10.3.2" xref="A3.SS3.1.p1.3.m3.10.10.3.2.cmml">​</mo><mrow id="A3.SS3.1.p1.3.m3.10.10.3.1.1" xref="A3.SS3.1.p1.3.m3.10.10.3.1.2.cmml"><mo id="A3.SS3.1.p1.3.m3.10.10.3.1.1.2" xref="A3.SS3.1.p1.3.m3.10.10.3.1.2.1.cmml">[</mo><mrow id="A3.SS3.1.p1.3.m3.10.10.3.1.1.1" xref="A3.SS3.1.p1.3.m3.10.10.3.1.1.1.cmml"><mrow id="A3.SS3.1.p1.3.m3.10.10.3.1.1.1.3" xref="A3.SS3.1.p1.3.m3.10.10.3.1.1.1.3.cmml"><msup id="A3.SS3.1.p1.3.m3.10.10.3.1.1.1.3.2" xref="A3.SS3.1.p1.3.m3.10.10.3.1.1.1.3.2.cmml"><mi id="A3.SS3.1.p1.3.m3.10.10.3.1.1.1.3.2.2" xref="A3.SS3.1.p1.3.m3.10.10.3.1.1.1.3.2.2.cmml">V</mi><mi id="A3.SS3.1.p1.3.m3.10.10.3.1.1.1.3.2.3" xref="A3.SS3.1.p1.3.m3.10.10.3.1.1.1.3.2.3.cmml">θ</mi></msup><mo lspace="0em" rspace="0em" id="A3.SS3.1.p1.3.m3.10.10.3.1.1.1.3.1" xref="A3.SS3.1.p1.3.m3.10.10.3.1.1.1.3.1.cmml">​</mo><mrow id="A3.SS3.1.p1.3.m3.10.10.3.1.1.1.3.3.2" xref="A3.SS3.1.p1.3.m3.10.10.3.1.1.1.3.cmml"><mo stretchy="false" id="A3.SS3.1.p1.3.m3.10.10.3.1.1.1.3.3.2.1" xref="A3.SS3.1.p1.3.m3.10.10.3.1.1.1.3.cmml">(</mo><mi id="A3.SS3.1.p1.3.m3.7.7" xref="A3.SS3.1.p1.3.m3.7.7.cmml">s</mi><mo stretchy="false" id="A3.SS3.1.p1.3.m3.10.10.3.1.1.1.3.3.2.2" xref="A3.SS3.1.p1.3.m3.10.10.3.1.1.1.3.cmml">)</mo></mrow></mrow><mo id="A3.SS3.1.p1.3.m3.10.10.3.1.1.1.2" xref="A3.SS3.1.p1.3.m3.10.10.3.1.1.1.2.cmml">−</mo><mrow id="A3.SS3.1.p1.3.m3.10.10.3.1.1.1.1" xref="A3.SS3.1.p1.3.m3.10.10.3.1.1.1.1.cmml"><mi id="A3.SS3.1.p1.3.m3.10.10.3.1.1.1.1.3" xref="A3.SS3.1.p1.3.m3.10.10.3.1.1.1.1.3.cmml">γ</mi><mo lspace="0em" rspace="0em" id="A3.SS3.1.p1.3.m3.10.10.3.1.1.1.1.2" xref="A3.SS3.1.p1.3.m3.10.10.3.1.1.1.1.2.cmml">​</mo><msup id="A3.SS3.1.p1.3.m3.10.10.3.1.1.1.1.4" xref="A3.SS3.1.p1.3.m3.10.10.3.1.1.1.1.4.cmml"><mi id="A3.SS3.1.p1.3.m3.10.10.3.1.1.1.1.4.2" xref="A3.SS3.1.p1.3.m3.10.10.3.1.1.1.1.4.2.cmml">V</mi><mi id="A3.SS3.1.p1.3.m3.10.10.3.1.1.1.1.4.3" xref="A3.SS3.1.p1.3.m3.10.10.3.1.1.1.1.4.3.cmml">θ</mi></msup><mo lspace="0em" rspace="0em" id="A3.SS3.1.p1.3.m3.10.10.3.1.1.1.1.2a" xref="A3.SS3.1.p1.3.m3.10.10.3.1.1.1.1.2.cmml">​</mo><mrow id="A3.SS3.1.p1.3.m3.10.10.3.1.1.1.1.1.1" xref="A3.SS3.1.p1.3.m3.10.10.3.1.1.1.1.1.1.1.cmml"><mo stretchy="false" id="A3.SS3.1.p1.3.m3.10.10.3.1.1.1.1.1.1.2" xref="A3.SS3.1.p1.3.m3.10.10.3.1.1.1.1.1.1.1.cmml">(</mo><msup id="A3.SS3.1.p1.3.m3.10.10.3.1.1.1.1.1.1.1" xref="A3.SS3.1.p1.3.m3.10.10.3.1.1.1.1.1.1.1.cmml"><mi id="A3.SS3.1.p1.3.m3.10.10.3.1.1.1.1.1.1.1.2" xref="A3.SS3.1.p1.3.m3.10.10.3.1.1.1.1.1.1.1.2.cmml">s</mi><mo id="A3.SS3.1.p1.3.m3.10.10.3.1.1.1.1.1.1.1.3" xref="A3.SS3.1.p1.3.m3.10.10.3.1.1.1.1.1.1.1.3.cmml">′</mo></msup><mo stretchy="false" id="A3.SS3.1.p1.3.m3.10.10.3.1.1.1.1.1.1.3" xref="A3.SS3.1.p1.3.m3.10.10.3.1.1.1.1.1.1.1.cmml">)</mo></mrow></mrow></mrow><mo id="A3.SS3.1.p1.3.m3.10.10.3.1.1.3" xref="A3.SS3.1.p1.3.m3.10.10.3.1.2.1.cmml">]</mo></mrow></mrow></mrow><annotation-xml encoding="MathML-Content" id="A3.SS3.1.p1.3.m3.10b"><apply id="A3.SS3.1.p1.3.m3.10.10.cmml" xref="A3.SS3.1.p1.3.m3.10.10"><eq id="A3.SS3.1.p1.3.m3.10.10.4.cmml" xref="A3.SS3.1.p1.3.m3.10.10.4"></eq><apply id="A3.SS3.1.p1.3.m3.9.9.2.cmml" xref="A3.SS3.1.p1.3.m3.9.9.2"><plus id="A3.SS3.1.p1.3.m3.9.9.2.3.cmml" xref="A3.SS3.1.p1.3.m3.9.9.2.3"></plus><apply id="A3.SS3.1.p1.3.m3.8.8.1.1.cmml" xref="A3.SS3.1.p1.3.m3.8.8.1.1"><times id="A3.SS3.1.p1.3.m3.8.8.1.1.2.cmml" xref="A3.SS3.1.p1.3.m3.8.8.1.1.2"></times><apply id="A3.SS3.1.p1.3.m3.8.8.1.1.3.cmml" xref="A3.SS3.1.p1.3.m3.8.8.1.1.3"><csymbol cd="ambiguous" id="A3.SS3.1.p1.3.m3.8.8.1.1.3.1.cmml" xref="A3.SS3.1.p1.3.m3.8.8.1.1.3">subscript</csymbol><ci id="A3.SS3.1.p1.3.m3.8.8.1.1.3.2.cmml" xref="A3.SS3.1.p1.3.m3.8.8.1.1.3.2">𝔼</ci><apply id="A3.SS3.1.p1.3.m3.2.2.2.cmml" xref="A3.SS3.1.p1.3.m3.2.2.2"><csymbol cd="latexml" id="A3.SS3.1.p1.3.m3.2.2.2.3.cmml" xref="A3.SS3.1.p1.3.m3.2.2.2.3">similar-to</csymbol><list id="A3.SS3.1.p1.3.m3.2.2.2.4.1.cmml" xref="A3.SS3.1.p1.3.m3.2.2.2.4.2"><ci id="A3.SS3.1.p1.3.m3.1.1.1.1.cmml" xref="A3.SS3.1.p1.3.m3.1.1.1.1">𝑠</ci><ci id="A3.SS3.1.p1.3.m3.2.2.2.2.cmml" xref="A3.SS3.1.p1.3.m3.2.2.2.2">𝑎</ci></list><apply id="A3.SS3.1.p1.3.m3.2.2.2.5.cmml" xref="A3.SS3.1.p1.3.m3.2.2.2.5"><csymbol cd="ambiguous" id="A3.SS3.1.p1.3.m3.2.2.2.5.1.cmml" xref="A3.SS3.1.p1.3.m3.2.2.2.5">subscript</csymbol><ci id="A3.SS3.1.p1.3.m3.2.2.2.5.2.cmml" xref="A3.SS3.1.p1.3.m3.2.2.2.5.2">𝜌</ci><ci id="A3.SS3.1.p1.3.m3.2.2.2.5.3.cmml" xref="A3.SS3.1.p1.3.m3.2.2.2.5.3">𝜃</ci></apply></apply></apply><apply id="A3.SS3.1.p1.3.m3.8.8.1.1.1.2.cmml" xref="A3.SS3.1.p1.3.m3.8.8.1.1.1.1"><csymbol cd="latexml" id="A3.SS3.1.p1.3.m3.8.8.1.1.1.2.1.cmml" xref="A3.SS3.1.p1.3.m3.8.8.1.1.1.1.2">delimited-[]</csymbol><apply id="A3.SS3.1.p1.3.m3.8.8.1.1.1.1.1.cmml" xref="A3.SS3.1.p1.3.m3.8.8.1.1.1.1.1"><times id="A3.SS3.1.p1.3.m3.8.8.1.1.1.1.1.2.cmml" xref="A3.SS3.1.p1.3.m3.8.8.1.1.1.1.1.2"></times><apply id="A3.SS3.1.p1.3.m3.8.8.1.1.1.1.1.1.1.1.cmml" xref="A3.SS3.1.p1.3.m3.8.8.1.1.1.1.1.1.1"><csymbol cd="ambiguous" id="A3.SS3.1.p1.3.m3.8.8.1.1.1.1.1.1.1.1.1.cmml" xref="A3.SS3.1.p1.3.m3.8.8.1.1.1.1.1.1.1">superscript</csymbol><ci id="A3.SS3.1.p1.3.m3.8.8.1.1.1.1.1.1.1.1.2.cmml" xref="A3.SS3.1.p1.3.m3.8.8.1.1.1.1.1.1.1.1.2">𝒯</ci><ci id="A3.SS3.1.p1.3.m3.8.8.1.1.1.1.1.1.1.1.3.cmml" xref="A3.SS3.1.p1.3.m3.8.8.1.1.1.1.1.1.1.1.3">𝜃</ci></apply><ci id="A3.SS3.1.p1.3.m3.8.8.1.1.1.1.1.3.cmml" xref="A3.SS3.1.p1.3.m3.8.8.1.1.1.1.1.3">𝑄</ci><interval closure="open" id="A3.SS3.1.p1.3.m3.8.8.1.1.1.1.1.4.1.cmml" xref="A3.SS3.1.p1.3.m3.8.8.1.1.1.1.1.4.2"><ci id="A3.SS3.1.p1.3.m3.5.5.cmml" xref="A3.SS3.1.p1.3.m3.5.5">𝑠</ci><ci id="A3.SS3.1.p1.3.m3.6.6.cmml" xref="A3.SS3.1.p1.3.m3.6.6">𝑎</ci></interval></apply></apply></apply><apply id="A3.SS3.1.p1.3.m3.9.9.2.2.cmml" xref="A3.SS3.1.p1.3.m3.9.9.2.2"><times id="A3.SS3.1.p1.3.m3.9.9.2.2.2.cmml" xref="A3.SS3.1.p1.3.m3.9.9.2.2.2"></times><ci id="A3.SS3.1.p1.3.m3.9.9.2.2.3.cmml" xref="A3.SS3.1.p1.3.m3.9.9.2.2.3">𝐻</ci><apply id="A3.SS3.1.p1.3.m3.9.9.2.2.1.2.cmml" xref="A3.SS3.1.p1.3.m3.9.9.2.2.1.1"><csymbol cd="latexml" id="A3.SS3.1.p1.3.m3.9.9.2.2.1.2.1.cmml" xref="A3.SS3.1.p1.3.m3.9.9.2.2.1.1.2">delimited-[]</csymbol><apply id="A3.SS3.1.p1.3.m3.9.9.2.2.1.1.1.cmml" xref="A3.SS3.1.p1.3.m3.9.9.2.2.1.1.1"><csymbol cd="ambiguous" id="A3.SS3.1.p1.3.m3.9.9.2.2.1.1.1.1.cmml" xref="A3.SS3.1.p1.3.m3.9.9.2.2.1.1.1">subscript</csymbol><ci id="A3.SS3.1.p1.3.m3.9.9.2.2.1.1.1.2.cmml" xref="A3.SS3.1.p1.3.m3.9.9.2.2.1.1.1.2">𝑝</ci><ci id="A3.SS3.1.p1.3.m3.9.9.2.2.1.1.1.3.cmml" xref="A3.SS3.1.p1.3.m3.9.9.2.2.1.1.1.3">𝜃</ci></apply></apply></apply></apply><apply id="A3.SS3.1.p1.3.m3.10.10.3.cmml" xref="A3.SS3.1.p1.3.m3.10.10.3"><times id="A3.SS3.1.p1.3.m3.10.10.3.2.cmml" xref="A3.SS3.1.p1.3.m3.10.10.3.2"></times><apply id="A3.SS3.1.p1.3.m3.10.10.3.3.cmml" xref="A3.SS3.1.p1.3.m3.10.10.3.3"><csymbol cd="ambiguous" id="A3.SS3.1.p1.3.m3.10.10.3.3.1.cmml" xref="A3.SS3.1.p1.3.m3.10.10.3.3">subscript</csymbol><ci id="A3.SS3.1.p1.3.m3.10.10.3.3.2.cmml" xref="A3.SS3.1.p1.3.m3.10.10.3.3.2">𝔼</ci><apply id="A3.SS3.1.p1.3.m3.4.4.2.cmml" xref="A3.SS3.1.p1.3.m3.4.4.2"><csymbol cd="latexml" id="A3.SS3.1.p1.3.m3.4.4.2.3.cmml" xref="A3.SS3.1.p1.3.m3.4.4.2.3">similar-to</csymbol><list id="A3.SS3.1.p1.3.m3.4.4.2.2.2.cmml" xref="A3.SS3.1.p1.3.m3.4.4.2.2.1"><ci id="A3.SS3.1.p1.3.m3.3.3.1.1.cmml" xref="A3.SS3.1.p1.3.m3.3.3.1.1">𝑠</ci><apply id="A3.SS3.1.p1.3.m3.4.4.2.2.1.1.cmml" xref="A3.SS3.1.p1.3.m3.4.4.2.2.1.1"><csymbol cd="ambiguous" id="A3.SS3.1.p1.3.m3.4.4.2.2.1.1.1.cmml" xref="A3.SS3.1.p1.3.m3.4.4.2.2.1.1">superscript</csymbol><ci id="A3.SS3.1.p1.3.m3.4.4.2.2.1.1.2.cmml" xref="A3.SS3.1.p1.3.m3.4.4.2.2.1.1.2">𝑠</ci><ci id="A3.SS3.1.p1.3.m3.4.4.2.2.1.1.3.cmml" xref="A3.SS3.1.p1.3.m3.4.4.2.2.1.1.3">′</ci></apply></list><ci id="A3.SS3.1.p1.3.m3.4.4.2.4.cmml" xref="A3.SS3.1.p1.3.m3.4.4.2.4">𝜌</ci></apply></apply><apply id="A3.SS3.1.p1.3.m3.10.10.3.1.2.cmml" xref="A3.SS3.1.p1.3.m3.10.10.3.1.1"><csymbol cd="latexml" id="A3.SS3.1.p1.3.m3.10.10.3.1.2.1.cmml" xref="A3.SS3.1.p1.3.m3.10.10.3.1.1.2">delimited-[]</csymbol><apply id="A3.SS3.1.p1.3.m3.10.10.3.1.1.1.cmml" xref="A3.SS3.1.p1.3.m3.10.10.3.1.1.1"><minus id="A3.SS3.1.p1.3.m3.10.10.3.1.1.1.2.cmml" xref="A3.SS3.1.p1.3.m3.10.10.3.1.1.1.2"></minus><apply id="A3.SS3.1.p1.3.m3.10.10.3.1.1.1.3.cmml" xref="A3.SS3.1.p1.3.m3.10.10.3.1.1.1.3"><times id="A3.SS3.1.p1.3.m3.10.10.3.1.1.1.3.1.cmml" xref="A3.SS3.1.p1.3.m3.10.10.3.1.1.1.3.1"></times><apply id="A3.SS3.1.p1.3.m3.10.10.3.1.1.1.3.2.cmml" xref="A3.SS3.1.p1.3.m3.10.10.3.1.1.1.3.2"><csymbol cd="ambiguous" id="A3.SS3.1.p1.3.m3.10.10.3.1.1.1.3.2.1.cmml" xref="A3.SS3.1.p1.3.m3.10.10.3.1.1.1.3.2">superscript</csymbol><ci id="A3.SS3.1.p1.3.m3.10.10.3.1.1.1.3.2.2.cmml" xref="A3.SS3.1.p1.3.m3.10.10.3.1.1.1.3.2.2">𝑉</ci><ci id="A3.SS3.1.p1.3.m3.10.10.3.1.1.1.3.2.3.cmml" xref="A3.SS3.1.p1.3.m3.10.10.3.1.1.1.3.2.3">𝜃</ci></apply><ci id="A3.SS3.1.p1.3.m3.7.7.cmml" xref="A3.SS3.1.p1.3.m3.7.7">𝑠</ci></apply><apply id="A3.SS3.1.p1.3.m3.10.10.3.1.1.1.1.cmml" xref="A3.SS3.1.p1.3.m3.10.10.3.1.1.1.1"><times id="A3.SS3.1.p1.3.m3.10.10.3.1.1.1.1.2.cmml" xref="A3.SS3.1.p1.3.m3.10.10.3.1.1.1.1.2"></times><ci id="A3.SS3.1.p1.3.m3.10.10.3.1.1.1.1.3.cmml" xref="A3.SS3.1.p1.3.m3.10.10.3.1.1.1.1.3">𝛾</ci><apply id="A3.SS3.1.p1.3.m3.10.10.3.1.1.1.1.4.cmml" xref="A3.SS3.1.p1.3.m3.10.10.3.1.1.1.1.4"><csymbol cd="ambiguous" id="A3.SS3.1.p1.3.m3.10.10.3.1.1.1.1.4.1.cmml" xref="A3.SS3.1.p1.3.m3.10.10.3.1.1.1.1.4">superscript</csymbol><ci id="A3.SS3.1.p1.3.m3.10.10.3.1.1.1.1.4.2.cmml" xref="A3.SS3.1.p1.3.m3.10.10.3.1.1.1.1.4.2">𝑉</ci><ci id="A3.SS3.1.p1.3.m3.10.10.3.1.1.1.1.4.3.cmml" xref="A3.SS3.1.p1.3.m3.10.10.3.1.1.1.1.4.3">𝜃</ci></apply><apply id="A3.SS3.1.p1.3.m3.10.10.3.1.1.1.1.1.1.1.cmml" xref="A3.SS3.1.p1.3.m3.10.10.3.1.1.1.1.1.1"><csymbol cd="ambiguous" id="A3.SS3.1.p1.3.m3.10.10.3.1.1.1.1.1.1.1.1.cmml" xref="A3.SS3.1.p1.3.m3.10.10.3.1.1.1.1.1.1">superscript</csymbol><ci id="A3.SS3.1.p1.3.m3.10.10.3.1.1.1.1.1.1.1.2.cmml" xref="A3.SS3.1.p1.3.m3.10.10.3.1.1.1.1.1.1.1.2">𝑠</ci><ci id="A3.SS3.1.p1.3.m3.10.10.3.1.1.1.1.1.1.1.3.cmml" xref="A3.SS3.1.p1.3.m3.10.10.3.1.1.1.1.1.1.1.3">′</ci></apply></apply></apply></apply></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="A3.SS3.1.p1.3.m3.10c">\mathbb{E}_{s,a\sim\rho_{\theta}}\left[(\mathcal{T}^{\theta})Q(s,a)\right]+H\left[p_{\theta}\right]=\mathbb{E}_{s,s^{\prime}\sim\rho}\left[V^{\theta}(s)-\gamma V^{\theta}(s^{\prime})\right]</annotation></semantics></math> for any occupancy <math id="A3.SS3.1.p1.4.m4.1" class="ltx_Math" alttext="\rho" display="inline"><semantics id="A3.SS3.1.p1.4.m4.1a"><mi id="A3.SS3.1.p1.4.m4.1.1" xref="A3.SS3.1.p1.4.m4.1.1.cmml">ρ</mi><annotation-xml encoding="MathML-Content" id="A3.SS3.1.p1.4.m4.1b"><ci id="A3.SS3.1.p1.4.m4.1.1.cmml" xref="A3.SS3.1.p1.4.m4.1.1">𝜌</ci></annotation-xml><annotation encoding="application/x-tex" id="A3.SS3.1.p1.4.m4.1c">\rho</annotation></semantics></math>.
∎</p>
</div>
</div>
</section>
<section id="A3.SS4" class="ltx_subsection">
<h3 class="ltx_title ltx_title_subsection">
<span class="ltx_tag ltx_tag_subsection">C.4 </span>Proof of equivalence of solutions of <math id="A3.SS4.1.m1.1" class="ltx_Math" alttext="\mathcal{J}" display="inline"><semantics id="A3.SS4.1.m1.1b"><mi class="ltx_font_mathcaligraphic" id="A3.SS4.1.m1.1.1" xref="A3.SS4.1.m1.1.1.cmml">𝒥</mi><annotation-xml encoding="MathML-Content" id="A3.SS4.1.m1.1c"><ci id="A3.SS4.1.m1.1.1.cmml" xref="A3.SS4.1.m1.1.1">𝒥</ci></annotation-xml><annotation encoding="application/x-tex" id="A3.SS4.1.m1.1d">\mathcal{J}</annotation></semantics></math> and <math id="A3.SS4.2.m2.1" class="ltx_Math" alttext="L" display="inline"><semantics id="A3.SS4.2.m2.1b"><mi id="A3.SS4.2.m2.1.1" xref="A3.SS4.2.m2.1.1.cmml">L</mi><annotation-xml encoding="MathML-Content" id="A3.SS4.2.m2.1c"><ci id="A3.SS4.2.m2.1.1.cmml" xref="A3.SS4.2.m2.1.1">𝐿</ci></annotation-xml><annotation encoding="application/x-tex" id="A3.SS4.2.m2.1d">L</annotation></semantics></math>
</h3>

<div id="A3.SS4.p1" class="ltx_para">
<p id="A3.SS4.p1.1" class="ltx_p">We now reproduce a proposition from <cite class="ltx_cite ltx_citemacro_citet">Garg et al. [<a href="#bib.bib11" title="" class="ltx_ref">11</a>]</cite>,</p>
</div>
<div id="A3.Thmtheorem3" class="ltx_theorem ltx_theorem_proposition">
<h6 class="ltx_title ltx_runin ltx_title_theorem">
<span class="ltx_tag ltx_tag_theorem"><span id="A3.Thmtheorem3.1.1.1" class="ltx_text ltx_font_bold">Proposition C.3</span></span><span id="A3.Thmtheorem3.2.2" class="ltx_text ltx_font_bold">.</span>
</h6>
<div id="A3.Thmtheorem3.p1" class="ltx_para">
<p id="A3.Thmtheorem3.p1.8" class="ltx_p"><span id="A3.Thmtheorem3.p1.8.8" class="ltx_text ltx_font_italic">In the <math id="A3.Thmtheorem3.p1.1.1.m1.1" class="ltx_Math" alttext="Q" display="inline"><semantics id="A3.Thmtheorem3.p1.1.1.m1.1a"><mi id="A3.Thmtheorem3.p1.1.1.m1.1.1" xref="A3.Thmtheorem3.p1.1.1.m1.1.1.cmml">Q</mi><annotation-xml encoding="MathML-Content" id="A3.Thmtheorem3.p1.1.1.m1.1b"><ci id="A3.Thmtheorem3.p1.1.1.m1.1.1.cmml" xref="A3.Thmtheorem3.p1.1.1.m1.1.1">𝑄</ci></annotation-xml><annotation encoding="application/x-tex" id="A3.Thmtheorem3.p1.1.1.m1.1c">Q</annotation></semantics></math>-policy space, there exists a unique saddle point <math id="A3.Thmtheorem3.p1.2.2.m2.2" class="ltx_Math" alttext="(p_{\theta}^{*},Q^{*})" display="inline"><semantics id="A3.Thmtheorem3.p1.2.2.m2.2a"><mrow id="A3.Thmtheorem3.p1.2.2.m2.2.2.2" xref="A3.Thmtheorem3.p1.2.2.m2.2.2.3.cmml"><mo stretchy="false" id="A3.Thmtheorem3.p1.2.2.m2.2.2.2.3" xref="A3.Thmtheorem3.p1.2.2.m2.2.2.3.cmml">(</mo><msubsup id="A3.Thmtheorem3.p1.2.2.m2.1.1.1.1" xref="A3.Thmtheorem3.p1.2.2.m2.1.1.1.1.cmml"><mi id="A3.Thmtheorem3.p1.2.2.m2.1.1.1.1.2.2" xref="A3.Thmtheorem3.p1.2.2.m2.1.1.1.1.2.2.cmml">p</mi><mi id="A3.Thmtheorem3.p1.2.2.m2.1.1.1.1.2.3" xref="A3.Thmtheorem3.p1.2.2.m2.1.1.1.1.2.3.cmml">θ</mi><mo id="A3.Thmtheorem3.p1.2.2.m2.1.1.1.1.3" xref="A3.Thmtheorem3.p1.2.2.m2.1.1.1.1.3.cmml">∗</mo></msubsup><mo id="A3.Thmtheorem3.p1.2.2.m2.2.2.2.4" xref="A3.Thmtheorem3.p1.2.2.m2.2.2.3.cmml">,</mo><msup id="A3.Thmtheorem3.p1.2.2.m2.2.2.2.2" xref="A3.Thmtheorem3.p1.2.2.m2.2.2.2.2.cmml"><mi id="A3.Thmtheorem3.p1.2.2.m2.2.2.2.2.2" xref="A3.Thmtheorem3.p1.2.2.m2.2.2.2.2.2.cmml">Q</mi><mo id="A3.Thmtheorem3.p1.2.2.m2.2.2.2.2.3" xref="A3.Thmtheorem3.p1.2.2.m2.2.2.2.2.3.cmml">∗</mo></msup><mo stretchy="false" id="A3.Thmtheorem3.p1.2.2.m2.2.2.2.5" xref="A3.Thmtheorem3.p1.2.2.m2.2.2.3.cmml">)</mo></mrow><annotation-xml encoding="MathML-Content" id="A3.Thmtheorem3.p1.2.2.m2.2b"><interval closure="open" id="A3.Thmtheorem3.p1.2.2.m2.2.2.3.cmml" xref="A3.Thmtheorem3.p1.2.2.m2.2.2.2"><apply id="A3.Thmtheorem3.p1.2.2.m2.1.1.1.1.cmml" xref="A3.Thmtheorem3.p1.2.2.m2.1.1.1.1"><csymbol cd="ambiguous" id="A3.Thmtheorem3.p1.2.2.m2.1.1.1.1.1.cmml" xref="A3.Thmtheorem3.p1.2.2.m2.1.1.1.1">superscript</csymbol><apply id="A3.Thmtheorem3.p1.2.2.m2.1.1.1.1.2.cmml" xref="A3.Thmtheorem3.p1.2.2.m2.1.1.1.1"><csymbol cd="ambiguous" id="A3.Thmtheorem3.p1.2.2.m2.1.1.1.1.2.1.cmml" xref="A3.Thmtheorem3.p1.2.2.m2.1.1.1.1">subscript</csymbol><ci id="A3.Thmtheorem3.p1.2.2.m2.1.1.1.1.2.2.cmml" xref="A3.Thmtheorem3.p1.2.2.m2.1.1.1.1.2.2">𝑝</ci><ci id="A3.Thmtheorem3.p1.2.2.m2.1.1.1.1.2.3.cmml" xref="A3.Thmtheorem3.p1.2.2.m2.1.1.1.1.2.3">𝜃</ci></apply><times id="A3.Thmtheorem3.p1.2.2.m2.1.1.1.1.3.cmml" xref="A3.Thmtheorem3.p1.2.2.m2.1.1.1.1.3"></times></apply><apply id="A3.Thmtheorem3.p1.2.2.m2.2.2.2.2.cmml" xref="A3.Thmtheorem3.p1.2.2.m2.2.2.2.2"><csymbol cd="ambiguous" id="A3.Thmtheorem3.p1.2.2.m2.2.2.2.2.1.cmml" xref="A3.Thmtheorem3.p1.2.2.m2.2.2.2.2">superscript</csymbol><ci id="A3.Thmtheorem3.p1.2.2.m2.2.2.2.2.2.cmml" xref="A3.Thmtheorem3.p1.2.2.m2.2.2.2.2.2">𝑄</ci><times id="A3.Thmtheorem3.p1.2.2.m2.2.2.2.2.3.cmml" xref="A3.Thmtheorem3.p1.2.2.m2.2.2.2.2.3"></times></apply></interval></annotation-xml><annotation encoding="application/x-tex" id="A3.Thmtheorem3.p1.2.2.m2.2c">(p_{\theta}^{*},Q^{*})</annotation></semantics></math>, that optimizes <math id="A3.Thmtheorem3.p1.3.3.m3.1" class="ltx_Math" alttext="\mathcal{J}" display="inline"><semantics id="A3.Thmtheorem3.p1.3.3.m3.1a"><mi class="ltx_font_mathcaligraphic" id="A3.Thmtheorem3.p1.3.3.m3.1.1" xref="A3.Thmtheorem3.p1.3.3.m3.1.1.cmml">𝒥</mi><annotation-xml encoding="MathML-Content" id="A3.Thmtheorem3.p1.3.3.m3.1b"><ci id="A3.Thmtheorem3.p1.3.3.m3.1.1.cmml" xref="A3.Thmtheorem3.p1.3.3.m3.1.1">𝒥</ci></annotation-xml><annotation encoding="application/x-tex" id="A3.Thmtheorem3.p1.3.3.m3.1c">\mathcal{J}</annotation></semantics></math>. That is, <math id="A3.Thmtheorem3.p1.4.4.m4.2" class="ltx_Math" alttext="Q^{*}=\operatorname*{arg\,max}_{Q\in\Omega}\min_{p_{\theta}}\mathcal{J}(p_{\theta},Q)" display="inline"><semantics id="A3.Thmtheorem3.p1.4.4.m4.2a"><mrow id="A3.Thmtheorem3.p1.4.4.m4.2.2" xref="A3.Thmtheorem3.p1.4.4.m4.2.2.cmml"><msup id="A3.Thmtheorem3.p1.4.4.m4.2.2.3" xref="A3.Thmtheorem3.p1.4.4.m4.2.2.3.cmml"><mi id="A3.Thmtheorem3.p1.4.4.m4.2.2.3.2" xref="A3.Thmtheorem3.p1.4.4.m4.2.2.3.2.cmml">Q</mi><mo id="A3.Thmtheorem3.p1.4.4.m4.2.2.3.3" xref="A3.Thmtheorem3.p1.4.4.m4.2.2.3.3.cmml">∗</mo></msup><mo id="A3.Thmtheorem3.p1.4.4.m4.2.2.2" xref="A3.Thmtheorem3.p1.4.4.m4.2.2.2.cmml">=</mo><mrow id="A3.Thmtheorem3.p1.4.4.m4.2.2.1" xref="A3.Thmtheorem3.p1.4.4.m4.2.2.1.cmml"><mrow id="A3.Thmtheorem3.p1.4.4.m4.2.2.1.3" xref="A3.Thmtheorem3.p1.4.4.m4.2.2.1.3.cmml"><mrow id="A3.Thmtheorem3.p1.4.4.m4.2.2.1.3.1" xref="A3.Thmtheorem3.p1.4.4.m4.2.2.1.3.1.cmml"><msub id="A3.Thmtheorem3.p1.4.4.m4.2.2.1.3.1.1" xref="A3.Thmtheorem3.p1.4.4.m4.2.2.1.3.1.1.cmml"><mrow id="A3.Thmtheorem3.p1.4.4.m4.2.2.1.3.1.1.2" xref="A3.Thmtheorem3.p1.4.4.m4.2.2.1.3.1.1.2.cmml"><mi id="A3.Thmtheorem3.p1.4.4.m4.2.2.1.3.1.1.2.2" xref="A3.Thmtheorem3.p1.4.4.m4.2.2.1.3.1.1.2.2.cmml">arg</mi><mo lspace="0.170em" rspace="0em" id="A3.Thmtheorem3.p1.4.4.m4.2.2.1.3.1.1.2.1" xref="A3.Thmtheorem3.p1.4.4.m4.2.2.1.3.1.1.2.1.cmml">​</mo><mi id="A3.Thmtheorem3.p1.4.4.m4.2.2.1.3.1.1.2.3" xref="A3.Thmtheorem3.p1.4.4.m4.2.2.1.3.1.1.2.3.cmml">max</mi></mrow><mrow id="A3.Thmtheorem3.p1.4.4.m4.2.2.1.3.1.1.3" xref="A3.Thmtheorem3.p1.4.4.m4.2.2.1.3.1.1.3.cmml"><mi id="A3.Thmtheorem3.p1.4.4.m4.2.2.1.3.1.1.3.2" xref="A3.Thmtheorem3.p1.4.4.m4.2.2.1.3.1.1.3.2.cmml">Q</mi><mo id="A3.Thmtheorem3.p1.4.4.m4.2.2.1.3.1.1.3.1" xref="A3.Thmtheorem3.p1.4.4.m4.2.2.1.3.1.1.3.1.cmml">∈</mo><mi mathvariant="normal" id="A3.Thmtheorem3.p1.4.4.m4.2.2.1.3.1.1.3.3" xref="A3.Thmtheorem3.p1.4.4.m4.2.2.1.3.1.1.3.3.cmml">Ω</mi></mrow></msub><mo lspace="0.167em" id="A3.Thmtheorem3.p1.4.4.m4.2.2.1.3.1a" xref="A3.Thmtheorem3.p1.4.4.m4.2.2.1.3.1.cmml">⁡</mo><msub id="A3.Thmtheorem3.p1.4.4.m4.2.2.1.3.1.2" xref="A3.Thmtheorem3.p1.4.4.m4.2.2.1.3.1.2.cmml"><mi id="A3.Thmtheorem3.p1.4.4.m4.2.2.1.3.1.2.2" xref="A3.Thmtheorem3.p1.4.4.m4.2.2.1.3.1.2.2.cmml">min</mi><msub id="A3.Thmtheorem3.p1.4.4.m4.2.2.1.3.1.2.3" xref="A3.Thmtheorem3.p1.4.4.m4.2.2.1.3.1.2.3.cmml"><mi id="A3.Thmtheorem3.p1.4.4.m4.2.2.1.3.1.2.3.2" xref="A3.Thmtheorem3.p1.4.4.m4.2.2.1.3.1.2.3.2.cmml">p</mi><mi id="A3.Thmtheorem3.p1.4.4.m4.2.2.1.3.1.2.3.3" xref="A3.Thmtheorem3.p1.4.4.m4.2.2.1.3.1.2.3.3.cmml">θ</mi></msub></msub></mrow><mo lspace="0.167em" id="A3.Thmtheorem3.p1.4.4.m4.2.2.1.3a" xref="A3.Thmtheorem3.p1.4.4.m4.2.2.1.3.cmml">⁡</mo><mi class="ltx_font_mathcaligraphic" id="A3.Thmtheorem3.p1.4.4.m4.2.2.1.3.2" xref="A3.Thmtheorem3.p1.4.4.m4.2.2.1.3.2.cmml">𝒥</mi></mrow><mo lspace="0em" rspace="0em" id="A3.Thmtheorem3.p1.4.4.m4.2.2.1.2" xref="A3.Thmtheorem3.p1.4.4.m4.2.2.1.2.cmml">​</mo><mrow id="A3.Thmtheorem3.p1.4.4.m4.2.2.1.1.1" xref="A3.Thmtheorem3.p1.4.4.m4.2.2.1.1.2.cmml"><mo stretchy="false" id="A3.Thmtheorem3.p1.4.4.m4.2.2.1.1.1.2" xref="A3.Thmtheorem3.p1.4.4.m4.2.2.1.1.2.cmml">(</mo><msub id="A3.Thmtheorem3.p1.4.4.m4.2.2.1.1.1.1" xref="A3.Thmtheorem3.p1.4.4.m4.2.2.1.1.1.1.cmml"><mi id="A3.Thmtheorem3.p1.4.4.m4.2.2.1.1.1.1.2" xref="A3.Thmtheorem3.p1.4.4.m4.2.2.1.1.1.1.2.cmml">p</mi><mi id="A3.Thmtheorem3.p1.4.4.m4.2.2.1.1.1.1.3" xref="A3.Thmtheorem3.p1.4.4.m4.2.2.1.1.1.1.3.cmml">θ</mi></msub><mo id="A3.Thmtheorem3.p1.4.4.m4.2.2.1.1.1.3" xref="A3.Thmtheorem3.p1.4.4.m4.2.2.1.1.2.cmml">,</mo><mi id="A3.Thmtheorem3.p1.4.4.m4.1.1" xref="A3.Thmtheorem3.p1.4.4.m4.1.1.cmml">Q</mi><mo stretchy="false" id="A3.Thmtheorem3.p1.4.4.m4.2.2.1.1.1.4" xref="A3.Thmtheorem3.p1.4.4.m4.2.2.1.1.2.cmml">)</mo></mrow></mrow></mrow><annotation-xml encoding="MathML-Content" id="A3.Thmtheorem3.p1.4.4.m4.2b"><apply id="A3.Thmtheorem3.p1.4.4.m4.2.2.cmml" xref="A3.Thmtheorem3.p1.4.4.m4.2.2"><eq id="A3.Thmtheorem3.p1.4.4.m4.2.2.2.cmml" xref="A3.Thmtheorem3.p1.4.4.m4.2.2.2"></eq><apply id="A3.Thmtheorem3.p1.4.4.m4.2.2.3.cmml" xref="A3.Thmtheorem3.p1.4.4.m4.2.2.3"><csymbol cd="ambiguous" id="A3.Thmtheorem3.p1.4.4.m4.2.2.3.1.cmml" xref="A3.Thmtheorem3.p1.4.4.m4.2.2.3">superscript</csymbol><ci id="A3.Thmtheorem3.p1.4.4.m4.2.2.3.2.cmml" xref="A3.Thmtheorem3.p1.4.4.m4.2.2.3.2">𝑄</ci><times id="A3.Thmtheorem3.p1.4.4.m4.2.2.3.3.cmml" xref="A3.Thmtheorem3.p1.4.4.m4.2.2.3.3"></times></apply><apply id="A3.Thmtheorem3.p1.4.4.m4.2.2.1.cmml" xref="A3.Thmtheorem3.p1.4.4.m4.2.2.1"><times id="A3.Thmtheorem3.p1.4.4.m4.2.2.1.2.cmml" xref="A3.Thmtheorem3.p1.4.4.m4.2.2.1.2"></times><apply id="A3.Thmtheorem3.p1.4.4.m4.2.2.1.3.cmml" xref="A3.Thmtheorem3.p1.4.4.m4.2.2.1.3"><apply id="A3.Thmtheorem3.p1.4.4.m4.2.2.1.3.1.cmml" xref="A3.Thmtheorem3.p1.4.4.m4.2.2.1.3.1"><apply id="A3.Thmtheorem3.p1.4.4.m4.2.2.1.3.1.1.cmml" xref="A3.Thmtheorem3.p1.4.4.m4.2.2.1.3.1.1"><csymbol cd="ambiguous" id="A3.Thmtheorem3.p1.4.4.m4.2.2.1.3.1.1.1.cmml" xref="A3.Thmtheorem3.p1.4.4.m4.2.2.1.3.1.1">subscript</csymbol><apply id="A3.Thmtheorem3.p1.4.4.m4.2.2.1.3.1.1.2.cmml" xref="A3.Thmtheorem3.p1.4.4.m4.2.2.1.3.1.1.2"><times id="A3.Thmtheorem3.p1.4.4.m4.2.2.1.3.1.1.2.1.cmml" xref="A3.Thmtheorem3.p1.4.4.m4.2.2.1.3.1.1.2.1"></times><ci id="A3.Thmtheorem3.p1.4.4.m4.2.2.1.3.1.1.2.2.cmml" xref="A3.Thmtheorem3.p1.4.4.m4.2.2.1.3.1.1.2.2">arg</ci><ci id="A3.Thmtheorem3.p1.4.4.m4.2.2.1.3.1.1.2.3.cmml" xref="A3.Thmtheorem3.p1.4.4.m4.2.2.1.3.1.1.2.3">max</ci></apply><apply id="A3.Thmtheorem3.p1.4.4.m4.2.2.1.3.1.1.3.cmml" xref="A3.Thmtheorem3.p1.4.4.m4.2.2.1.3.1.1.3"><in id="A3.Thmtheorem3.p1.4.4.m4.2.2.1.3.1.1.3.1.cmml" xref="A3.Thmtheorem3.p1.4.4.m4.2.2.1.3.1.1.3.1"></in><ci id="A3.Thmtheorem3.p1.4.4.m4.2.2.1.3.1.1.3.2.cmml" xref="A3.Thmtheorem3.p1.4.4.m4.2.2.1.3.1.1.3.2">𝑄</ci><ci id="A3.Thmtheorem3.p1.4.4.m4.2.2.1.3.1.1.3.3.cmml" xref="A3.Thmtheorem3.p1.4.4.m4.2.2.1.3.1.1.3.3">Ω</ci></apply></apply><apply id="A3.Thmtheorem3.p1.4.4.m4.2.2.1.3.1.2.cmml" xref="A3.Thmtheorem3.p1.4.4.m4.2.2.1.3.1.2"><csymbol cd="ambiguous" id="A3.Thmtheorem3.p1.4.4.m4.2.2.1.3.1.2.1.cmml" xref="A3.Thmtheorem3.p1.4.4.m4.2.2.1.3.1.2">subscript</csymbol><min id="A3.Thmtheorem3.p1.4.4.m4.2.2.1.3.1.2.2.cmml" xref="A3.Thmtheorem3.p1.4.4.m4.2.2.1.3.1.2.2"></min><apply id="A3.Thmtheorem3.p1.4.4.m4.2.2.1.3.1.2.3.cmml" xref="A3.Thmtheorem3.p1.4.4.m4.2.2.1.3.1.2.3"><csymbol cd="ambiguous" id="A3.Thmtheorem3.p1.4.4.m4.2.2.1.3.1.2.3.1.cmml" xref="A3.Thmtheorem3.p1.4.4.m4.2.2.1.3.1.2.3">subscript</csymbol><ci id="A3.Thmtheorem3.p1.4.4.m4.2.2.1.3.1.2.3.2.cmml" xref="A3.Thmtheorem3.p1.4.4.m4.2.2.1.3.1.2.3.2">𝑝</ci><ci id="A3.Thmtheorem3.p1.4.4.m4.2.2.1.3.1.2.3.3.cmml" xref="A3.Thmtheorem3.p1.4.4.m4.2.2.1.3.1.2.3.3">𝜃</ci></apply></apply></apply><ci id="A3.Thmtheorem3.p1.4.4.m4.2.2.1.3.2.cmml" xref="A3.Thmtheorem3.p1.4.4.m4.2.2.1.3.2">𝒥</ci></apply><interval closure="open" id="A3.Thmtheorem3.p1.4.4.m4.2.2.1.1.2.cmml" xref="A3.Thmtheorem3.p1.4.4.m4.2.2.1.1.1"><apply id="A3.Thmtheorem3.p1.4.4.m4.2.2.1.1.1.1.cmml" xref="A3.Thmtheorem3.p1.4.4.m4.2.2.1.1.1.1"><csymbol cd="ambiguous" id="A3.Thmtheorem3.p1.4.4.m4.2.2.1.1.1.1.1.cmml" xref="A3.Thmtheorem3.p1.4.4.m4.2.2.1.1.1.1">subscript</csymbol><ci id="A3.Thmtheorem3.p1.4.4.m4.2.2.1.1.1.1.2.cmml" xref="A3.Thmtheorem3.p1.4.4.m4.2.2.1.1.1.1.2">𝑝</ci><ci id="A3.Thmtheorem3.p1.4.4.m4.2.2.1.1.1.1.3.cmml" xref="A3.Thmtheorem3.p1.4.4.m4.2.2.1.1.1.1.3">𝜃</ci></apply><ci id="A3.Thmtheorem3.p1.4.4.m4.1.1.cmml" xref="A3.Thmtheorem3.p1.4.4.m4.1.1">𝑄</ci></interval></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="A3.Thmtheorem3.p1.4.4.m4.2c">Q^{*}=\operatorname*{arg\,max}_{Q\in\Omega}\min_{p_{\theta}}\mathcal{J}(p_{\theta},Q)</annotation></semantics></math> and <math id="A3.Thmtheorem3.p1.5.5.m5.2" class="ltx_Math" alttext="p_{\theta}^{*}=\operatorname*{arg\,min}_{p_{\theta}}\max_{Q\in\mathcal{O}}\mathcal{J}(p_{\theta},Q)" display="inline"><semantics id="A3.Thmtheorem3.p1.5.5.m5.2a"><mrow id="A3.Thmtheorem3.p1.5.5.m5.2.2" xref="A3.Thmtheorem3.p1.5.5.m5.2.2.cmml"><msubsup id="A3.Thmtheorem3.p1.5.5.m5.2.2.3" xref="A3.Thmtheorem3.p1.5.5.m5.2.2.3.cmml"><mi id="A3.Thmtheorem3.p1.5.5.m5.2.2.3.2.2" xref="A3.Thmtheorem3.p1.5.5.m5.2.2.3.2.2.cmml">p</mi><mi id="A3.Thmtheorem3.p1.5.5.m5.2.2.3.2.3" xref="A3.Thmtheorem3.p1.5.5.m5.2.2.3.2.3.cmml">θ</mi><mo id="A3.Thmtheorem3.p1.5.5.m5.2.2.3.3" xref="A3.Thmtheorem3.p1.5.5.m5.2.2.3.3.cmml">∗</mo></msubsup><mo id="A3.Thmtheorem3.p1.5.5.m5.2.2.2" xref="A3.Thmtheorem3.p1.5.5.m5.2.2.2.cmml">=</mo><mrow id="A3.Thmtheorem3.p1.5.5.m5.2.2.1" xref="A3.Thmtheorem3.p1.5.5.m5.2.2.1.cmml"><mrow id="A3.Thmtheorem3.p1.5.5.m5.2.2.1.3" xref="A3.Thmtheorem3.p1.5.5.m5.2.2.1.3.cmml"><mrow id="A3.Thmtheorem3.p1.5.5.m5.2.2.1.3.1" xref="A3.Thmtheorem3.p1.5.5.m5.2.2.1.3.1.cmml"><msub id="A3.Thmtheorem3.p1.5.5.m5.2.2.1.3.1.1" xref="A3.Thmtheorem3.p1.5.5.m5.2.2.1.3.1.1.cmml"><mrow id="A3.Thmtheorem3.p1.5.5.m5.2.2.1.3.1.1.2" xref="A3.Thmtheorem3.p1.5.5.m5.2.2.1.3.1.1.2.cmml"><mi id="A3.Thmtheorem3.p1.5.5.m5.2.2.1.3.1.1.2.2" xref="A3.Thmtheorem3.p1.5.5.m5.2.2.1.3.1.1.2.2.cmml">arg</mi><mo lspace="0.170em" rspace="0em" id="A3.Thmtheorem3.p1.5.5.m5.2.2.1.3.1.1.2.1" xref="A3.Thmtheorem3.p1.5.5.m5.2.2.1.3.1.1.2.1.cmml">​</mo><mi id="A3.Thmtheorem3.p1.5.5.m5.2.2.1.3.1.1.2.3" xref="A3.Thmtheorem3.p1.5.5.m5.2.2.1.3.1.1.2.3.cmml">min</mi></mrow><msub id="A3.Thmtheorem3.p1.5.5.m5.2.2.1.3.1.1.3" xref="A3.Thmtheorem3.p1.5.5.m5.2.2.1.3.1.1.3.cmml"><mi id="A3.Thmtheorem3.p1.5.5.m5.2.2.1.3.1.1.3.2" xref="A3.Thmtheorem3.p1.5.5.m5.2.2.1.3.1.1.3.2.cmml">p</mi><mi id="A3.Thmtheorem3.p1.5.5.m5.2.2.1.3.1.1.3.3" xref="A3.Thmtheorem3.p1.5.5.m5.2.2.1.3.1.1.3.3.cmml">θ</mi></msub></msub><mo lspace="0.167em" id="A3.Thmtheorem3.p1.5.5.m5.2.2.1.3.1a" xref="A3.Thmtheorem3.p1.5.5.m5.2.2.1.3.1.cmml">⁡</mo><msub id="A3.Thmtheorem3.p1.5.5.m5.2.2.1.3.1.2" xref="A3.Thmtheorem3.p1.5.5.m5.2.2.1.3.1.2.cmml"><mi id="A3.Thmtheorem3.p1.5.5.m5.2.2.1.3.1.2.2" xref="A3.Thmtheorem3.p1.5.5.m5.2.2.1.3.1.2.2.cmml">max</mi><mrow id="A3.Thmtheorem3.p1.5.5.m5.2.2.1.3.1.2.3" xref="A3.Thmtheorem3.p1.5.5.m5.2.2.1.3.1.2.3.cmml"><mi id="A3.Thmtheorem3.p1.5.5.m5.2.2.1.3.1.2.3.2" xref="A3.Thmtheorem3.p1.5.5.m5.2.2.1.3.1.2.3.2.cmml">Q</mi><mo id="A3.Thmtheorem3.p1.5.5.m5.2.2.1.3.1.2.3.1" xref="A3.Thmtheorem3.p1.5.5.m5.2.2.1.3.1.2.3.1.cmml">∈</mo><mi class="ltx_font_mathcaligraphic" id="A3.Thmtheorem3.p1.5.5.m5.2.2.1.3.1.2.3.3" xref="A3.Thmtheorem3.p1.5.5.m5.2.2.1.3.1.2.3.3.cmml">𝒪</mi></mrow></msub></mrow><mo lspace="0.167em" id="A3.Thmtheorem3.p1.5.5.m5.2.2.1.3a" xref="A3.Thmtheorem3.p1.5.5.m5.2.2.1.3.cmml">⁡</mo><mi class="ltx_font_mathcaligraphic" id="A3.Thmtheorem3.p1.5.5.m5.2.2.1.3.2" xref="A3.Thmtheorem3.p1.5.5.m5.2.2.1.3.2.cmml">𝒥</mi></mrow><mo lspace="0em" rspace="0em" id="A3.Thmtheorem3.p1.5.5.m5.2.2.1.2" xref="A3.Thmtheorem3.p1.5.5.m5.2.2.1.2.cmml">​</mo><mrow id="A3.Thmtheorem3.p1.5.5.m5.2.2.1.1.1" xref="A3.Thmtheorem3.p1.5.5.m5.2.2.1.1.2.cmml"><mo stretchy="false" id="A3.Thmtheorem3.p1.5.5.m5.2.2.1.1.1.2" xref="A3.Thmtheorem3.p1.5.5.m5.2.2.1.1.2.cmml">(</mo><msub id="A3.Thmtheorem3.p1.5.5.m5.2.2.1.1.1.1" xref="A3.Thmtheorem3.p1.5.5.m5.2.2.1.1.1.1.cmml"><mi id="A3.Thmtheorem3.p1.5.5.m5.2.2.1.1.1.1.2" xref="A3.Thmtheorem3.p1.5.5.m5.2.2.1.1.1.1.2.cmml">p</mi><mi id="A3.Thmtheorem3.p1.5.5.m5.2.2.1.1.1.1.3" xref="A3.Thmtheorem3.p1.5.5.m5.2.2.1.1.1.1.3.cmml">θ</mi></msub><mo id="A3.Thmtheorem3.p1.5.5.m5.2.2.1.1.1.3" xref="A3.Thmtheorem3.p1.5.5.m5.2.2.1.1.2.cmml">,</mo><mi id="A3.Thmtheorem3.p1.5.5.m5.1.1" xref="A3.Thmtheorem3.p1.5.5.m5.1.1.cmml">Q</mi><mo stretchy="false" id="A3.Thmtheorem3.p1.5.5.m5.2.2.1.1.1.4" xref="A3.Thmtheorem3.p1.5.5.m5.2.2.1.1.2.cmml">)</mo></mrow></mrow></mrow><annotation-xml encoding="MathML-Content" id="A3.Thmtheorem3.p1.5.5.m5.2b"><apply id="A3.Thmtheorem3.p1.5.5.m5.2.2.cmml" xref="A3.Thmtheorem3.p1.5.5.m5.2.2"><eq id="A3.Thmtheorem3.p1.5.5.m5.2.2.2.cmml" xref="A3.Thmtheorem3.p1.5.5.m5.2.2.2"></eq><apply id="A3.Thmtheorem3.p1.5.5.m5.2.2.3.cmml" xref="A3.Thmtheorem3.p1.5.5.m5.2.2.3"><csymbol cd="ambiguous" id="A3.Thmtheorem3.p1.5.5.m5.2.2.3.1.cmml" xref="A3.Thmtheorem3.p1.5.5.m5.2.2.3">superscript</csymbol><apply id="A3.Thmtheorem3.p1.5.5.m5.2.2.3.2.cmml" xref="A3.Thmtheorem3.p1.5.5.m5.2.2.3"><csymbol cd="ambiguous" id="A3.Thmtheorem3.p1.5.5.m5.2.2.3.2.1.cmml" xref="A3.Thmtheorem3.p1.5.5.m5.2.2.3">subscript</csymbol><ci id="A3.Thmtheorem3.p1.5.5.m5.2.2.3.2.2.cmml" xref="A3.Thmtheorem3.p1.5.5.m5.2.2.3.2.2">𝑝</ci><ci id="A3.Thmtheorem3.p1.5.5.m5.2.2.3.2.3.cmml" xref="A3.Thmtheorem3.p1.5.5.m5.2.2.3.2.3">𝜃</ci></apply><times id="A3.Thmtheorem3.p1.5.5.m5.2.2.3.3.cmml" xref="A3.Thmtheorem3.p1.5.5.m5.2.2.3.3"></times></apply><apply id="A3.Thmtheorem3.p1.5.5.m5.2.2.1.cmml" xref="A3.Thmtheorem3.p1.5.5.m5.2.2.1"><times id="A3.Thmtheorem3.p1.5.5.m5.2.2.1.2.cmml" xref="A3.Thmtheorem3.p1.5.5.m5.2.2.1.2"></times><apply id="A3.Thmtheorem3.p1.5.5.m5.2.2.1.3.cmml" xref="A3.Thmtheorem3.p1.5.5.m5.2.2.1.3"><apply id="A3.Thmtheorem3.p1.5.5.m5.2.2.1.3.1.cmml" xref="A3.Thmtheorem3.p1.5.5.m5.2.2.1.3.1"><apply id="A3.Thmtheorem3.p1.5.5.m5.2.2.1.3.1.1.cmml" xref="A3.Thmtheorem3.p1.5.5.m5.2.2.1.3.1.1"><csymbol cd="ambiguous" id="A3.Thmtheorem3.p1.5.5.m5.2.2.1.3.1.1.1.cmml" xref="A3.Thmtheorem3.p1.5.5.m5.2.2.1.3.1.1">subscript</csymbol><apply id="A3.Thmtheorem3.p1.5.5.m5.2.2.1.3.1.1.2.cmml" xref="A3.Thmtheorem3.p1.5.5.m5.2.2.1.3.1.1.2"><times id="A3.Thmtheorem3.p1.5.5.m5.2.2.1.3.1.1.2.1.cmml" xref="A3.Thmtheorem3.p1.5.5.m5.2.2.1.3.1.1.2.1"></times><ci id="A3.Thmtheorem3.p1.5.5.m5.2.2.1.3.1.1.2.2.cmml" xref="A3.Thmtheorem3.p1.5.5.m5.2.2.1.3.1.1.2.2">arg</ci><ci id="A3.Thmtheorem3.p1.5.5.m5.2.2.1.3.1.1.2.3.cmml" xref="A3.Thmtheorem3.p1.5.5.m5.2.2.1.3.1.1.2.3">min</ci></apply><apply id="A3.Thmtheorem3.p1.5.5.m5.2.2.1.3.1.1.3.cmml" xref="A3.Thmtheorem3.p1.5.5.m5.2.2.1.3.1.1.3"><csymbol cd="ambiguous" id="A3.Thmtheorem3.p1.5.5.m5.2.2.1.3.1.1.3.1.cmml" xref="A3.Thmtheorem3.p1.5.5.m5.2.2.1.3.1.1.3">subscript</csymbol><ci id="A3.Thmtheorem3.p1.5.5.m5.2.2.1.3.1.1.3.2.cmml" xref="A3.Thmtheorem3.p1.5.5.m5.2.2.1.3.1.1.3.2">𝑝</ci><ci id="A3.Thmtheorem3.p1.5.5.m5.2.2.1.3.1.1.3.3.cmml" xref="A3.Thmtheorem3.p1.5.5.m5.2.2.1.3.1.1.3.3">𝜃</ci></apply></apply><apply id="A3.Thmtheorem3.p1.5.5.m5.2.2.1.3.1.2.cmml" xref="A3.Thmtheorem3.p1.5.5.m5.2.2.1.3.1.2"><csymbol cd="ambiguous" id="A3.Thmtheorem3.p1.5.5.m5.2.2.1.3.1.2.1.cmml" xref="A3.Thmtheorem3.p1.5.5.m5.2.2.1.3.1.2">subscript</csymbol><max id="A3.Thmtheorem3.p1.5.5.m5.2.2.1.3.1.2.2.cmml" xref="A3.Thmtheorem3.p1.5.5.m5.2.2.1.3.1.2.2"></max><apply id="A3.Thmtheorem3.p1.5.5.m5.2.2.1.3.1.2.3.cmml" xref="A3.Thmtheorem3.p1.5.5.m5.2.2.1.3.1.2.3"><in id="A3.Thmtheorem3.p1.5.5.m5.2.2.1.3.1.2.3.1.cmml" xref="A3.Thmtheorem3.p1.5.5.m5.2.2.1.3.1.2.3.1"></in><ci id="A3.Thmtheorem3.p1.5.5.m5.2.2.1.3.1.2.3.2.cmml" xref="A3.Thmtheorem3.p1.5.5.m5.2.2.1.3.1.2.3.2">𝑄</ci><ci id="A3.Thmtheorem3.p1.5.5.m5.2.2.1.3.1.2.3.3.cmml" xref="A3.Thmtheorem3.p1.5.5.m5.2.2.1.3.1.2.3.3">𝒪</ci></apply></apply></apply><ci id="A3.Thmtheorem3.p1.5.5.m5.2.2.1.3.2.cmml" xref="A3.Thmtheorem3.p1.5.5.m5.2.2.1.3.2">𝒥</ci></apply><interval closure="open" id="A3.Thmtheorem3.p1.5.5.m5.2.2.1.1.2.cmml" xref="A3.Thmtheorem3.p1.5.5.m5.2.2.1.1.1"><apply id="A3.Thmtheorem3.p1.5.5.m5.2.2.1.1.1.1.cmml" xref="A3.Thmtheorem3.p1.5.5.m5.2.2.1.1.1.1"><csymbol cd="ambiguous" id="A3.Thmtheorem3.p1.5.5.m5.2.2.1.1.1.1.1.cmml" xref="A3.Thmtheorem3.p1.5.5.m5.2.2.1.1.1.1">subscript</csymbol><ci id="A3.Thmtheorem3.p1.5.5.m5.2.2.1.1.1.1.2.cmml" xref="A3.Thmtheorem3.p1.5.5.m5.2.2.1.1.1.1.2">𝑝</ci><ci id="A3.Thmtheorem3.p1.5.5.m5.2.2.1.1.1.1.3.cmml" xref="A3.Thmtheorem3.p1.5.5.m5.2.2.1.1.1.1.3">𝜃</ci></apply><ci id="A3.Thmtheorem3.p1.5.5.m5.1.1.cmml" xref="A3.Thmtheorem3.p1.5.5.m5.1.1">𝑄</ci></interval></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="A3.Thmtheorem3.p1.5.5.m5.2c">p_{\theta}^{*}=\operatorname*{arg\,min}_{p_{\theta}}\max_{Q\in\mathcal{O}}\mathcal{J}(p_{\theta},Q)</annotation></semantics></math>. Furthermore, <math id="A3.Thmtheorem3.p1.6.6.m6.1" class="ltx_Math" alttext="p_{\theta}^{*}" display="inline"><semantics id="A3.Thmtheorem3.p1.6.6.m6.1a"><msubsup id="A3.Thmtheorem3.p1.6.6.m6.1.1" xref="A3.Thmtheorem3.p1.6.6.m6.1.1.cmml"><mi id="A3.Thmtheorem3.p1.6.6.m6.1.1.2.2" xref="A3.Thmtheorem3.p1.6.6.m6.1.1.2.2.cmml">p</mi><mi id="A3.Thmtheorem3.p1.6.6.m6.1.1.2.3" xref="A3.Thmtheorem3.p1.6.6.m6.1.1.2.3.cmml">θ</mi><mo id="A3.Thmtheorem3.p1.6.6.m6.1.1.3" xref="A3.Thmtheorem3.p1.6.6.m6.1.1.3.cmml">∗</mo></msubsup><annotation-xml encoding="MathML-Content" id="A3.Thmtheorem3.p1.6.6.m6.1b"><apply id="A3.Thmtheorem3.p1.6.6.m6.1.1.cmml" xref="A3.Thmtheorem3.p1.6.6.m6.1.1"><csymbol cd="ambiguous" id="A3.Thmtheorem3.p1.6.6.m6.1.1.1.cmml" xref="A3.Thmtheorem3.p1.6.6.m6.1.1">superscript</csymbol><apply id="A3.Thmtheorem3.p1.6.6.m6.1.1.2.cmml" xref="A3.Thmtheorem3.p1.6.6.m6.1.1"><csymbol cd="ambiguous" id="A3.Thmtheorem3.p1.6.6.m6.1.1.2.1.cmml" xref="A3.Thmtheorem3.p1.6.6.m6.1.1">subscript</csymbol><ci id="A3.Thmtheorem3.p1.6.6.m6.1.1.2.2.cmml" xref="A3.Thmtheorem3.p1.6.6.m6.1.1.2.2">𝑝</ci><ci id="A3.Thmtheorem3.p1.6.6.m6.1.1.2.3.cmml" xref="A3.Thmtheorem3.p1.6.6.m6.1.1.2.3">𝜃</ci></apply><times id="A3.Thmtheorem3.p1.6.6.m6.1.1.3.cmml" xref="A3.Thmtheorem3.p1.6.6.m6.1.1.3"></times></apply></annotation-xml><annotation encoding="application/x-tex" id="A3.Thmtheorem3.p1.6.6.m6.1c">p_{\theta}^{*}</annotation></semantics></math> and <math id="A3.Thmtheorem3.p1.7.7.m7.1" class="ltx_Math" alttext="r^{*}=\mathcal{T}^{p_{\theta}^{*}}Q^{*}" display="inline"><semantics id="A3.Thmtheorem3.p1.7.7.m7.1a"><mrow id="A3.Thmtheorem3.p1.7.7.m7.1.1" xref="A3.Thmtheorem3.p1.7.7.m7.1.1.cmml"><msup id="A3.Thmtheorem3.p1.7.7.m7.1.1.2" xref="A3.Thmtheorem3.p1.7.7.m7.1.1.2.cmml"><mi id="A3.Thmtheorem3.p1.7.7.m7.1.1.2.2" xref="A3.Thmtheorem3.p1.7.7.m7.1.1.2.2.cmml">r</mi><mo id="A3.Thmtheorem3.p1.7.7.m7.1.1.2.3" xref="A3.Thmtheorem3.p1.7.7.m7.1.1.2.3.cmml">∗</mo></msup><mo id="A3.Thmtheorem3.p1.7.7.m7.1.1.1" xref="A3.Thmtheorem3.p1.7.7.m7.1.1.1.cmml">=</mo><mrow id="A3.Thmtheorem3.p1.7.7.m7.1.1.3" xref="A3.Thmtheorem3.p1.7.7.m7.1.1.3.cmml"><msup id="A3.Thmtheorem3.p1.7.7.m7.1.1.3.2" xref="A3.Thmtheorem3.p1.7.7.m7.1.1.3.2.cmml"><mi class="ltx_font_mathcaligraphic" id="A3.Thmtheorem3.p1.7.7.m7.1.1.3.2.2" xref="A3.Thmtheorem3.p1.7.7.m7.1.1.3.2.2.cmml">𝒯</mi><msubsup id="A3.Thmtheorem3.p1.7.7.m7.1.1.3.2.3" xref="A3.Thmtheorem3.p1.7.7.m7.1.1.3.2.3.cmml"><mi id="A3.Thmtheorem3.p1.7.7.m7.1.1.3.2.3.2.2" xref="A3.Thmtheorem3.p1.7.7.m7.1.1.3.2.3.2.2.cmml">p</mi><mi id="A3.Thmtheorem3.p1.7.7.m7.1.1.3.2.3.2.3" xref="A3.Thmtheorem3.p1.7.7.m7.1.1.3.2.3.2.3.cmml">θ</mi><mo id="A3.Thmtheorem3.p1.7.7.m7.1.1.3.2.3.3" xref="A3.Thmtheorem3.p1.7.7.m7.1.1.3.2.3.3.cmml">∗</mo></msubsup></msup><mo lspace="0em" rspace="0em" id="A3.Thmtheorem3.p1.7.7.m7.1.1.3.1" xref="A3.Thmtheorem3.p1.7.7.m7.1.1.3.1.cmml">​</mo><msup id="A3.Thmtheorem3.p1.7.7.m7.1.1.3.3" xref="A3.Thmtheorem3.p1.7.7.m7.1.1.3.3.cmml"><mi id="A3.Thmtheorem3.p1.7.7.m7.1.1.3.3.2" xref="A3.Thmtheorem3.p1.7.7.m7.1.1.3.3.2.cmml">Q</mi><mo id="A3.Thmtheorem3.p1.7.7.m7.1.1.3.3.3" xref="A3.Thmtheorem3.p1.7.7.m7.1.1.3.3.3.cmml">∗</mo></msup></mrow></mrow><annotation-xml encoding="MathML-Content" id="A3.Thmtheorem3.p1.7.7.m7.1b"><apply id="A3.Thmtheorem3.p1.7.7.m7.1.1.cmml" xref="A3.Thmtheorem3.p1.7.7.m7.1.1"><eq id="A3.Thmtheorem3.p1.7.7.m7.1.1.1.cmml" xref="A3.Thmtheorem3.p1.7.7.m7.1.1.1"></eq><apply id="A3.Thmtheorem3.p1.7.7.m7.1.1.2.cmml" xref="A3.Thmtheorem3.p1.7.7.m7.1.1.2"><csymbol cd="ambiguous" id="A3.Thmtheorem3.p1.7.7.m7.1.1.2.1.cmml" xref="A3.Thmtheorem3.p1.7.7.m7.1.1.2">superscript</csymbol><ci id="A3.Thmtheorem3.p1.7.7.m7.1.1.2.2.cmml" xref="A3.Thmtheorem3.p1.7.7.m7.1.1.2.2">𝑟</ci><times id="A3.Thmtheorem3.p1.7.7.m7.1.1.2.3.cmml" xref="A3.Thmtheorem3.p1.7.7.m7.1.1.2.3"></times></apply><apply id="A3.Thmtheorem3.p1.7.7.m7.1.1.3.cmml" xref="A3.Thmtheorem3.p1.7.7.m7.1.1.3"><times id="A3.Thmtheorem3.p1.7.7.m7.1.1.3.1.cmml" xref="A3.Thmtheorem3.p1.7.7.m7.1.1.3.1"></times><apply id="A3.Thmtheorem3.p1.7.7.m7.1.1.3.2.cmml" xref="A3.Thmtheorem3.p1.7.7.m7.1.1.3.2"><csymbol cd="ambiguous" id="A3.Thmtheorem3.p1.7.7.m7.1.1.3.2.1.cmml" xref="A3.Thmtheorem3.p1.7.7.m7.1.1.3.2">superscript</csymbol><ci id="A3.Thmtheorem3.p1.7.7.m7.1.1.3.2.2.cmml" xref="A3.Thmtheorem3.p1.7.7.m7.1.1.3.2.2">𝒯</ci><apply id="A3.Thmtheorem3.p1.7.7.m7.1.1.3.2.3.cmml" xref="A3.Thmtheorem3.p1.7.7.m7.1.1.3.2.3"><csymbol cd="ambiguous" id="A3.Thmtheorem3.p1.7.7.m7.1.1.3.2.3.1.cmml" xref="A3.Thmtheorem3.p1.7.7.m7.1.1.3.2.3">superscript</csymbol><apply id="A3.Thmtheorem3.p1.7.7.m7.1.1.3.2.3.2.cmml" xref="A3.Thmtheorem3.p1.7.7.m7.1.1.3.2.3"><csymbol cd="ambiguous" id="A3.Thmtheorem3.p1.7.7.m7.1.1.3.2.3.2.1.cmml" xref="A3.Thmtheorem3.p1.7.7.m7.1.1.3.2.3">subscript</csymbol><ci id="A3.Thmtheorem3.p1.7.7.m7.1.1.3.2.3.2.2.cmml" xref="A3.Thmtheorem3.p1.7.7.m7.1.1.3.2.3.2.2">𝑝</ci><ci id="A3.Thmtheorem3.p1.7.7.m7.1.1.3.2.3.2.3.cmml" xref="A3.Thmtheorem3.p1.7.7.m7.1.1.3.2.3.2.3">𝜃</ci></apply><times id="A3.Thmtheorem3.p1.7.7.m7.1.1.3.2.3.3.cmml" xref="A3.Thmtheorem3.p1.7.7.m7.1.1.3.2.3.3"></times></apply></apply><apply id="A3.Thmtheorem3.p1.7.7.m7.1.1.3.3.cmml" xref="A3.Thmtheorem3.p1.7.7.m7.1.1.3.3"><csymbol cd="ambiguous" id="A3.Thmtheorem3.p1.7.7.m7.1.1.3.3.1.cmml" xref="A3.Thmtheorem3.p1.7.7.m7.1.1.3.3">superscript</csymbol><ci id="A3.Thmtheorem3.p1.7.7.m7.1.1.3.3.2.cmml" xref="A3.Thmtheorem3.p1.7.7.m7.1.1.3.3.2">𝑄</ci><times id="A3.Thmtheorem3.p1.7.7.m7.1.1.3.3.3.cmml" xref="A3.Thmtheorem3.p1.7.7.m7.1.1.3.3.3"></times></apply></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="A3.Thmtheorem3.p1.7.7.m7.1c">r^{*}=\mathcal{T}^{p_{\theta}^{*}}Q^{*}</annotation></semantics></math> are the solution to the inverse RL objective <math id="A3.Thmtheorem3.p1.8.8.m8.2" class="ltx_Math" alttext="L(p_{\theta},r)" display="inline"><semantics id="A3.Thmtheorem3.p1.8.8.m8.2a"><mrow id="A3.Thmtheorem3.p1.8.8.m8.2.2" xref="A3.Thmtheorem3.p1.8.8.m8.2.2.cmml"><mi id="A3.Thmtheorem3.p1.8.8.m8.2.2.3" xref="A3.Thmtheorem3.p1.8.8.m8.2.2.3.cmml">L</mi><mo lspace="0em" rspace="0em" id="A3.Thmtheorem3.p1.8.8.m8.2.2.2" xref="A3.Thmtheorem3.p1.8.8.m8.2.2.2.cmml">​</mo><mrow id="A3.Thmtheorem3.p1.8.8.m8.2.2.1.1" xref="A3.Thmtheorem3.p1.8.8.m8.2.2.1.2.cmml"><mo stretchy="false" id="A3.Thmtheorem3.p1.8.8.m8.2.2.1.1.2" xref="A3.Thmtheorem3.p1.8.8.m8.2.2.1.2.cmml">(</mo><msub id="A3.Thmtheorem3.p1.8.8.m8.2.2.1.1.1" xref="A3.Thmtheorem3.p1.8.8.m8.2.2.1.1.1.cmml"><mi id="A3.Thmtheorem3.p1.8.8.m8.2.2.1.1.1.2" xref="A3.Thmtheorem3.p1.8.8.m8.2.2.1.1.1.2.cmml">p</mi><mi id="A3.Thmtheorem3.p1.8.8.m8.2.2.1.1.1.3" xref="A3.Thmtheorem3.p1.8.8.m8.2.2.1.1.1.3.cmml">θ</mi></msub><mo id="A3.Thmtheorem3.p1.8.8.m8.2.2.1.1.3" xref="A3.Thmtheorem3.p1.8.8.m8.2.2.1.2.cmml">,</mo><mi id="A3.Thmtheorem3.p1.8.8.m8.1.1" xref="A3.Thmtheorem3.p1.8.8.m8.1.1.cmml">r</mi><mo stretchy="false" id="A3.Thmtheorem3.p1.8.8.m8.2.2.1.1.4" xref="A3.Thmtheorem3.p1.8.8.m8.2.2.1.2.cmml">)</mo></mrow></mrow><annotation-xml encoding="MathML-Content" id="A3.Thmtheorem3.p1.8.8.m8.2b"><apply id="A3.Thmtheorem3.p1.8.8.m8.2.2.cmml" xref="A3.Thmtheorem3.p1.8.8.m8.2.2"><times id="A3.Thmtheorem3.p1.8.8.m8.2.2.2.cmml" xref="A3.Thmtheorem3.p1.8.8.m8.2.2.2"></times><ci id="A3.Thmtheorem3.p1.8.8.m8.2.2.3.cmml" xref="A3.Thmtheorem3.p1.8.8.m8.2.2.3">𝐿</ci><interval closure="open" id="A3.Thmtheorem3.p1.8.8.m8.2.2.1.2.cmml" xref="A3.Thmtheorem3.p1.8.8.m8.2.2.1.1"><apply id="A3.Thmtheorem3.p1.8.8.m8.2.2.1.1.1.cmml" xref="A3.Thmtheorem3.p1.8.8.m8.2.2.1.1.1"><csymbol cd="ambiguous" id="A3.Thmtheorem3.p1.8.8.m8.2.2.1.1.1.1.cmml" xref="A3.Thmtheorem3.p1.8.8.m8.2.2.1.1.1">subscript</csymbol><ci id="A3.Thmtheorem3.p1.8.8.m8.2.2.1.1.1.2.cmml" xref="A3.Thmtheorem3.p1.8.8.m8.2.2.1.1.1.2">𝑝</ci><ci id="A3.Thmtheorem3.p1.8.8.m8.2.2.1.1.1.3.cmml" xref="A3.Thmtheorem3.p1.8.8.m8.2.2.1.1.1.3">𝜃</ci></apply><ci id="A3.Thmtheorem3.p1.8.8.m8.1.1.cmml" xref="A3.Thmtheorem3.p1.8.8.m8.1.1">𝑟</ci></interval></apply></annotation-xml><annotation encoding="application/x-tex" id="A3.Thmtheorem3.p1.8.8.m8.2c">L(p_{\theta},r)</annotation></semantics></math>. This is proposition 3.4 in <cite class="ltx_cite ltx_citemacro_citet">Garg et al. [<a href="#bib.bib11" title="" class="ltx_ref">11</a>]</cite>.</span></p>
</div>
</div>
<div id="A3.SS4.3" class="ltx_proof">
<h6 class="ltx_title ltx_runin ltx_font_italic ltx_title_proof">Proof.</h6>
<div id="A3.SS4.3.p1" class="ltx_para">
<p id="A3.SS4.3.p1.1" class="ltx_p">See <cite class="ltx_cite ltx_citemacro_citet">Garg et al. [<a href="#bib.bib11" title="" class="ltx_ref">11</a>]</cite> for the complete proof. The proof given applies directly to our case.
∎</p>
</div>
</div>
</section>
<section id="A3.SS5" class="ltx_subsection">
<h3 class="ltx_title ltx_title_subsection">
<span class="ltx_tag ltx_tag_subsection">C.5 </span>Proof for Theorem <a href="#S3.Thmtheorem1" title="Proposition 3.1. ‣ 3.2.1 Reformulating the Occupancy Divergence Minimization Problem ‣ 3.2 Minimizing Occupancy Divergences ‣ 3 Method ‣ SequenceMatch: Imitation Learning for Autoregressive Sequence Modelling with Backtracking" class="ltx_ref"><span class="ltx_text ltx_ref_tag">3.1</span></a>
</h3>

<div id="A3.SS5.p1" class="ltx_para">
<p id="A3.SS5.p1.1" class="ltx_p">We can now prove our main result</p>
</div>
<div id="A3.Thmtheorem4" class="ltx_theorem ltx_theorem_proposition">
<h6 class="ltx_title ltx_runin ltx_title_theorem">
<span class="ltx_tag ltx_tag_theorem"><span id="A3.Thmtheorem4.1.1.1" class="ltx_text ltx_font_bold">Proposition C.4</span></span><span id="A3.Thmtheorem4.2.2" class="ltx_text ltx_font_bold">.</span>
</h6>
<div id="A3.Thmtheorem4.p1" class="ltx_para">
<p id="A3.Thmtheorem4.p1.1" class="ltx_p"><span id="A3.Thmtheorem4.p1.1.1" class="ltx_text ltx_font_italic">With quantities defined in the main text, the following equalities hold for the loss:</span></p>
<table id="A9.EGx15" class="ltx_equationgroup ltx_eqn_align ltx_eqn_table">

<tbody id="A3.Ex14"><tr class="ltx_equation ltx_eqn_row ltx_align_baseline">
<td class="ltx_eqn_cell ltx_eqn_center_padleft"></td>
<td class="ltx_td ltx_align_right ltx_eqn_cell"><math id="A3.Ex14.m1.3" class="ltx_Math" alttext="\displaystyle\inf_{\theta}d_{\psi}(\rho_{\theta},\rho_{\text{data}})-H[\rho_{\theta}]" display="inline"><semantics id="A3.Ex14.m1.3a"><mrow id="A3.Ex14.m1.3.3" xref="A3.Ex14.m1.3.3.cmml"><mrow id="A3.Ex14.m1.2.2.2" xref="A3.Ex14.m1.2.2.2.cmml"><munder id="A3.Ex14.m1.2.2.2.3" xref="A3.Ex14.m1.2.2.2.3.cmml"><mo movablelimits="false" id="A3.Ex14.m1.2.2.2.3.2" xref="A3.Ex14.m1.2.2.2.3.2.cmml">inf</mo><mi id="A3.Ex14.m1.2.2.2.3.3" xref="A3.Ex14.m1.2.2.2.3.3.cmml">θ</mi></munder><mrow id="A3.Ex14.m1.2.2.2.2" xref="A3.Ex14.m1.2.2.2.2.cmml"><msub id="A3.Ex14.m1.2.2.2.2.4" xref="A3.Ex14.m1.2.2.2.2.4.cmml"><mi id="A3.Ex14.m1.2.2.2.2.4.2" xref="A3.Ex14.m1.2.2.2.2.4.2.cmml">d</mi><mi id="A3.Ex14.m1.2.2.2.2.4.3" xref="A3.Ex14.m1.2.2.2.2.4.3.cmml">ψ</mi></msub><mo lspace="0em" rspace="0em" id="A3.Ex14.m1.2.2.2.2.3" xref="A3.Ex14.m1.2.2.2.2.3.cmml">​</mo><mrow id="A3.Ex14.m1.2.2.2.2.2.2" xref="A3.Ex14.m1.2.2.2.2.2.3.cmml"><mo stretchy="false" id="A3.Ex14.m1.2.2.2.2.2.2.3" xref="A3.Ex14.m1.2.2.2.2.2.3.cmml">(</mo><msub id="A3.Ex14.m1.1.1.1.1.1.1.1" xref="A3.Ex14.m1.1.1.1.1.1.1.1.cmml"><mi id="A3.Ex14.m1.1.1.1.1.1.1.1.2" xref="A3.Ex14.m1.1.1.1.1.1.1.1.2.cmml">ρ</mi><mi id="A3.Ex14.m1.1.1.1.1.1.1.1.3" xref="A3.Ex14.m1.1.1.1.1.1.1.1.3.cmml">θ</mi></msub><mo id="A3.Ex14.m1.2.2.2.2.2.2.4" xref="A3.Ex14.m1.2.2.2.2.2.3.cmml">,</mo><msub id="A3.Ex14.m1.2.2.2.2.2.2.2" xref="A3.Ex14.m1.2.2.2.2.2.2.2.cmml"><mi id="A3.Ex14.m1.2.2.2.2.2.2.2.2" xref="A3.Ex14.m1.2.2.2.2.2.2.2.2.cmml">ρ</mi><mtext class="ltx_mathvariant_italic" id="A3.Ex14.m1.2.2.2.2.2.2.2.3" xref="A3.Ex14.m1.2.2.2.2.2.2.2.3a.cmml">data</mtext></msub><mo stretchy="false" id="A3.Ex14.m1.2.2.2.2.2.2.5" xref="A3.Ex14.m1.2.2.2.2.2.3.cmml">)</mo></mrow></mrow></mrow><mo id="A3.Ex14.m1.3.3.4" xref="A3.Ex14.m1.3.3.4.cmml">−</mo><mrow id="A3.Ex14.m1.3.3.3" xref="A3.Ex14.m1.3.3.3.cmml"><mi id="A3.Ex14.m1.3.3.3.3" xref="A3.Ex14.m1.3.3.3.3.cmml">H</mi><mo lspace="0em" rspace="0em" id="A3.Ex14.m1.3.3.3.2" xref="A3.Ex14.m1.3.3.3.2.cmml">​</mo><mrow id="A3.Ex14.m1.3.3.3.1.1" xref="A3.Ex14.m1.3.3.3.1.2.cmml"><mo stretchy="false" id="A3.Ex14.m1.3.3.3.1.1.2" xref="A3.Ex14.m1.3.3.3.1.2.1.cmml">[</mo><msub id="A3.Ex14.m1.3.3.3.1.1.1" xref="A3.Ex14.m1.3.3.3.1.1.1.cmml"><mi id="A3.Ex14.m1.3.3.3.1.1.1.2" xref="A3.Ex14.m1.3.3.3.1.1.1.2.cmml">ρ</mi><mi id="A3.Ex14.m1.3.3.3.1.1.1.3" xref="A3.Ex14.m1.3.3.3.1.1.1.3.cmml">θ</mi></msub><mo stretchy="false" id="A3.Ex14.m1.3.3.3.1.1.3" xref="A3.Ex14.m1.3.3.3.1.2.1.cmml">]</mo></mrow></mrow></mrow><annotation-xml encoding="MathML-Content" id="A3.Ex14.m1.3b"><apply id="A3.Ex14.m1.3.3.cmml" xref="A3.Ex14.m1.3.3"><minus id="A3.Ex14.m1.3.3.4.cmml" xref="A3.Ex14.m1.3.3.4"></minus><apply id="A3.Ex14.m1.2.2.2.cmml" xref="A3.Ex14.m1.2.2.2"><apply id="A3.Ex14.m1.2.2.2.3.cmml" xref="A3.Ex14.m1.2.2.2.3"><csymbol cd="ambiguous" id="A3.Ex14.m1.2.2.2.3.1.cmml" xref="A3.Ex14.m1.2.2.2.3">subscript</csymbol><csymbol cd="latexml" id="A3.Ex14.m1.2.2.2.3.2.cmml" xref="A3.Ex14.m1.2.2.2.3.2">infimum</csymbol><ci id="A3.Ex14.m1.2.2.2.3.3.cmml" xref="A3.Ex14.m1.2.2.2.3.3">𝜃</ci></apply><apply id="A3.Ex14.m1.2.2.2.2.cmml" xref="A3.Ex14.m1.2.2.2.2"><times id="A3.Ex14.m1.2.2.2.2.3.cmml" xref="A3.Ex14.m1.2.2.2.2.3"></times><apply id="A3.Ex14.m1.2.2.2.2.4.cmml" xref="A3.Ex14.m1.2.2.2.2.4"><csymbol cd="ambiguous" id="A3.Ex14.m1.2.2.2.2.4.1.cmml" xref="A3.Ex14.m1.2.2.2.2.4">subscript</csymbol><ci id="A3.Ex14.m1.2.2.2.2.4.2.cmml" xref="A3.Ex14.m1.2.2.2.2.4.2">𝑑</ci><ci id="A3.Ex14.m1.2.2.2.2.4.3.cmml" xref="A3.Ex14.m1.2.2.2.2.4.3">𝜓</ci></apply><interval closure="open" id="A3.Ex14.m1.2.2.2.2.2.3.cmml" xref="A3.Ex14.m1.2.2.2.2.2.2"><apply id="A3.Ex14.m1.1.1.1.1.1.1.1.cmml" xref="A3.Ex14.m1.1.1.1.1.1.1.1"><csymbol cd="ambiguous" id="A3.Ex14.m1.1.1.1.1.1.1.1.1.cmml" xref="A3.Ex14.m1.1.1.1.1.1.1.1">subscript</csymbol><ci id="A3.Ex14.m1.1.1.1.1.1.1.1.2.cmml" xref="A3.Ex14.m1.1.1.1.1.1.1.1.2">𝜌</ci><ci id="A3.Ex14.m1.1.1.1.1.1.1.1.3.cmml" xref="A3.Ex14.m1.1.1.1.1.1.1.1.3">𝜃</ci></apply><apply id="A3.Ex14.m1.2.2.2.2.2.2.2.cmml" xref="A3.Ex14.m1.2.2.2.2.2.2.2"><csymbol cd="ambiguous" id="A3.Ex14.m1.2.2.2.2.2.2.2.1.cmml" xref="A3.Ex14.m1.2.2.2.2.2.2.2">subscript</csymbol><ci id="A3.Ex14.m1.2.2.2.2.2.2.2.2.cmml" xref="A3.Ex14.m1.2.2.2.2.2.2.2.2">𝜌</ci><ci id="A3.Ex14.m1.2.2.2.2.2.2.2.3a.cmml" xref="A3.Ex14.m1.2.2.2.2.2.2.2.3"><mtext class="ltx_mathvariant_italic" mathsize="70%" id="A3.Ex14.m1.2.2.2.2.2.2.2.3.cmml" xref="A3.Ex14.m1.2.2.2.2.2.2.2.3">data</mtext></ci></apply></interval></apply></apply><apply id="A3.Ex14.m1.3.3.3.cmml" xref="A3.Ex14.m1.3.3.3"><times id="A3.Ex14.m1.3.3.3.2.cmml" xref="A3.Ex14.m1.3.3.3.2"></times><ci id="A3.Ex14.m1.3.3.3.3.cmml" xref="A3.Ex14.m1.3.3.3.3">𝐻</ci><apply id="A3.Ex14.m1.3.3.3.1.2.cmml" xref="A3.Ex14.m1.3.3.3.1.1"><csymbol cd="latexml" id="A3.Ex14.m1.3.3.3.1.2.1.cmml" xref="A3.Ex14.m1.3.3.3.1.1.2">delimited-[]</csymbol><apply id="A3.Ex14.m1.3.3.3.1.1.1.cmml" xref="A3.Ex14.m1.3.3.3.1.1.1"><csymbol cd="ambiguous" id="A3.Ex14.m1.3.3.3.1.1.1.1.cmml" xref="A3.Ex14.m1.3.3.3.1.1.1">subscript</csymbol><ci id="A3.Ex14.m1.3.3.3.1.1.1.2.cmml" xref="A3.Ex14.m1.3.3.3.1.1.1.2">𝜌</ci><ci id="A3.Ex14.m1.3.3.3.1.1.1.3.cmml" xref="A3.Ex14.m1.3.3.3.1.1.1.3">𝜃</ci></apply></apply></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="A3.Ex14.m1.3c">\displaystyle\inf_{\theta}d_{\psi}(\rho_{\theta},\rho_{\text{data}})-H[\rho_{\theta}]</annotation></semantics></math></td>
<td class="ltx_td ltx_align_left ltx_eqn_cell"><math id="A3.Ex14.m2.10" class="ltx_Math" alttext="\displaystyle=\sup_{r}\inf_{\theta}\mathbb{E}_{s,a\sim\rho_{\text{data}}}\left[r(s,a)\right]-\mathbb{E}_{s,a\sim\rho_{\theta}}\left[r(s,a)\right]-H[\rho_{\theta}]-\psi(r)," display="inline"><semantics id="A3.Ex14.m2.10a"><mrow id="A3.Ex14.m2.10.10.1" xref="A3.Ex14.m2.10.10.1.1.cmml"><mrow id="A3.Ex14.m2.10.10.1.1" xref="A3.Ex14.m2.10.10.1.1.cmml"><mi id="A3.Ex14.m2.10.10.1.1.5" xref="A3.Ex14.m2.10.10.1.1.5.cmml"></mi><mo rspace="0.1389em" id="A3.Ex14.m2.10.10.1.1.4" xref="A3.Ex14.m2.10.10.1.1.4.cmml">=</mo><mrow id="A3.Ex14.m2.10.10.1.1.3" xref="A3.Ex14.m2.10.10.1.1.3.cmml"><mrow id="A3.Ex14.m2.10.10.1.1.1.1" xref="A3.Ex14.m2.10.10.1.1.1.1.cmml"><munder id="A3.Ex14.m2.10.10.1.1.1.1.2" xref="A3.Ex14.m2.10.10.1.1.1.1.2.cmml"><mo lspace="0.1389em" movablelimits="false" rspace="0.0835em" id="A3.Ex14.m2.10.10.1.1.1.1.2.2" xref="A3.Ex14.m2.10.10.1.1.1.1.2.2.cmml">sup</mo><mi id="A3.Ex14.m2.10.10.1.1.1.1.2.3" xref="A3.Ex14.m2.10.10.1.1.1.1.2.3.cmml">r</mi></munder><mrow id="A3.Ex14.m2.10.10.1.1.1.1.1" xref="A3.Ex14.m2.10.10.1.1.1.1.1.cmml"><munder id="A3.Ex14.m2.10.10.1.1.1.1.1.2" xref="A3.Ex14.m2.10.10.1.1.1.1.1.2.cmml"><mo lspace="0.0835em" movablelimits="false" rspace="0.167em" id="A3.Ex14.m2.10.10.1.1.1.1.1.2.2" xref="A3.Ex14.m2.10.10.1.1.1.1.1.2.2.cmml">inf</mo><mi id="A3.Ex14.m2.10.10.1.1.1.1.1.2.3" xref="A3.Ex14.m2.10.10.1.1.1.1.1.2.3.cmml">θ</mi></munder><mrow id="A3.Ex14.m2.10.10.1.1.1.1.1.1" xref="A3.Ex14.m2.10.10.1.1.1.1.1.1.cmml"><msub id="A3.Ex14.m2.10.10.1.1.1.1.1.1.3" xref="A3.Ex14.m2.10.10.1.1.1.1.1.1.3.cmml"><mi id="A3.Ex14.m2.10.10.1.1.1.1.1.1.3.2" xref="A3.Ex14.m2.10.10.1.1.1.1.1.1.3.2.cmml">𝔼</mi><mrow id="A3.Ex14.m2.2.2.2" xref="A3.Ex14.m2.2.2.2.cmml"><mrow id="A3.Ex14.m2.2.2.2.4.2" xref="A3.Ex14.m2.2.2.2.4.1.cmml"><mi id="A3.Ex14.m2.1.1.1.1" xref="A3.Ex14.m2.1.1.1.1.cmml">s</mi><mo id="A3.Ex14.m2.2.2.2.4.2.1" xref="A3.Ex14.m2.2.2.2.4.1.cmml">,</mo><mi id="A3.Ex14.m2.2.2.2.2" xref="A3.Ex14.m2.2.2.2.2.cmml">a</mi></mrow><mo id="A3.Ex14.m2.2.2.2.3" xref="A3.Ex14.m2.2.2.2.3.cmml">∼</mo><msub id="A3.Ex14.m2.2.2.2.5" xref="A3.Ex14.m2.2.2.2.5.cmml"><mi id="A3.Ex14.m2.2.2.2.5.2" xref="A3.Ex14.m2.2.2.2.5.2.cmml">ρ</mi><mtext class="ltx_mathvariant_italic" id="A3.Ex14.m2.2.2.2.5.3" xref="A3.Ex14.m2.2.2.2.5.3a.cmml">data</mtext></msub></mrow></msub><mo lspace="0em" rspace="0em" id="A3.Ex14.m2.10.10.1.1.1.1.1.1.2" xref="A3.Ex14.m2.10.10.1.1.1.1.1.1.2.cmml">​</mo><mrow id="A3.Ex14.m2.10.10.1.1.1.1.1.1.1.1" xref="A3.Ex14.m2.10.10.1.1.1.1.1.1.1.2.cmml"><mo id="A3.Ex14.m2.10.10.1.1.1.1.1.1.1.1.2" xref="A3.Ex14.m2.10.10.1.1.1.1.1.1.1.2.1.cmml">[</mo><mrow id="A3.Ex14.m2.10.10.1.1.1.1.1.1.1.1.1" xref="A3.Ex14.m2.10.10.1.1.1.1.1.1.1.1.1.cmml"><mi id="A3.Ex14.m2.10.10.1.1.1.1.1.1.1.1.1.2" xref="A3.Ex14.m2.10.10.1.1.1.1.1.1.1.1.1.2.cmml">r</mi><mo lspace="0em" rspace="0em" id="A3.Ex14.m2.10.10.1.1.1.1.1.1.1.1.1.1" xref="A3.Ex14.m2.10.10.1.1.1.1.1.1.1.1.1.1.cmml">​</mo><mrow id="A3.Ex14.m2.10.10.1.1.1.1.1.1.1.1.1.3.2" xref="A3.Ex14.m2.10.10.1.1.1.1.1.1.1.1.1.3.1.cmml"><mo stretchy="false" id="A3.Ex14.m2.10.10.1.1.1.1.1.1.1.1.1.3.2.1" xref="A3.Ex14.m2.10.10.1.1.1.1.1.1.1.1.1.3.1.cmml">(</mo><mi id="A3.Ex14.m2.5.5" xref="A3.Ex14.m2.5.5.cmml">s</mi><mo id="A3.Ex14.m2.10.10.1.1.1.1.1.1.1.1.1.3.2.2" xref="A3.Ex14.m2.10.10.1.1.1.1.1.1.1.1.1.3.1.cmml">,</mo><mi id="A3.Ex14.m2.6.6" xref="A3.Ex14.m2.6.6.cmml">a</mi><mo stretchy="false" id="A3.Ex14.m2.10.10.1.1.1.1.1.1.1.1.1.3.2.3" xref="A3.Ex14.m2.10.10.1.1.1.1.1.1.1.1.1.3.1.cmml">)</mo></mrow></mrow><mo id="A3.Ex14.m2.10.10.1.1.1.1.1.1.1.1.3" xref="A3.Ex14.m2.10.10.1.1.1.1.1.1.1.2.1.cmml">]</mo></mrow></mrow></mrow></mrow><mo id="A3.Ex14.m2.10.10.1.1.3.4" xref="A3.Ex14.m2.10.10.1.1.3.4.cmml">−</mo><mrow id="A3.Ex14.m2.10.10.1.1.2.2" xref="A3.Ex14.m2.10.10.1.1.2.2.cmml"><msub id="A3.Ex14.m2.10.10.1.1.2.2.3" xref="A3.Ex14.m2.10.10.1.1.2.2.3.cmml"><mi id="A3.Ex14.m2.10.10.1.1.2.2.3.2" xref="A3.Ex14.m2.10.10.1.1.2.2.3.2.cmml">𝔼</mi><mrow id="A3.Ex14.m2.4.4.2" xref="A3.Ex14.m2.4.4.2.cmml"><mrow id="A3.Ex14.m2.4.4.2.4.2" xref="A3.Ex14.m2.4.4.2.4.1.cmml"><mi id="A3.Ex14.m2.3.3.1.1" xref="A3.Ex14.m2.3.3.1.1.cmml">s</mi><mo id="A3.Ex14.m2.4.4.2.4.2.1" xref="A3.Ex14.m2.4.4.2.4.1.cmml">,</mo><mi id="A3.Ex14.m2.4.4.2.2" xref="A3.Ex14.m2.4.4.2.2.cmml">a</mi></mrow><mo id="A3.Ex14.m2.4.4.2.3" xref="A3.Ex14.m2.4.4.2.3.cmml">∼</mo><msub id="A3.Ex14.m2.4.4.2.5" xref="A3.Ex14.m2.4.4.2.5.cmml"><mi id="A3.Ex14.m2.4.4.2.5.2" xref="A3.Ex14.m2.4.4.2.5.2.cmml">ρ</mi><mi id="A3.Ex14.m2.4.4.2.5.3" xref="A3.Ex14.m2.4.4.2.5.3.cmml">θ</mi></msub></mrow></msub><mo lspace="0em" rspace="0em" id="A3.Ex14.m2.10.10.1.1.2.2.2" xref="A3.Ex14.m2.10.10.1.1.2.2.2.cmml">​</mo><mrow id="A3.Ex14.m2.10.10.1.1.2.2.1.1" xref="A3.Ex14.m2.10.10.1.1.2.2.1.2.cmml"><mo id="A3.Ex14.m2.10.10.1.1.2.2.1.1.2" xref="A3.Ex14.m2.10.10.1.1.2.2.1.2.1.cmml">[</mo><mrow id="A3.Ex14.m2.10.10.1.1.2.2.1.1.1" xref="A3.Ex14.m2.10.10.1.1.2.2.1.1.1.cmml"><mi id="A3.Ex14.m2.10.10.1.1.2.2.1.1.1.2" xref="A3.Ex14.m2.10.10.1.1.2.2.1.1.1.2.cmml">r</mi><mo lspace="0em" rspace="0em" id="A3.Ex14.m2.10.10.1.1.2.2.1.1.1.1" xref="A3.Ex14.m2.10.10.1.1.2.2.1.1.1.1.cmml">​</mo><mrow id="A3.Ex14.m2.10.10.1.1.2.2.1.1.1.3.2" xref="A3.Ex14.m2.10.10.1.1.2.2.1.1.1.3.1.cmml"><mo stretchy="false" id="A3.Ex14.m2.10.10.1.1.2.2.1.1.1.3.2.1" xref="A3.Ex14.m2.10.10.1.1.2.2.1.1.1.3.1.cmml">(</mo><mi id="A3.Ex14.m2.7.7" xref="A3.Ex14.m2.7.7.cmml">s</mi><mo id="A3.Ex14.m2.10.10.1.1.2.2.1.1.1.3.2.2" xref="A3.Ex14.m2.10.10.1.1.2.2.1.1.1.3.1.cmml">,</mo><mi id="A3.Ex14.m2.8.8" xref="A3.Ex14.m2.8.8.cmml">a</mi><mo stretchy="false" id="A3.Ex14.m2.10.10.1.1.2.2.1.1.1.3.2.3" xref="A3.Ex14.m2.10.10.1.1.2.2.1.1.1.3.1.cmml">)</mo></mrow></mrow><mo id="A3.Ex14.m2.10.10.1.1.2.2.1.1.3" xref="A3.Ex14.m2.10.10.1.1.2.2.1.2.1.cmml">]</mo></mrow></mrow><mo id="A3.Ex14.m2.10.10.1.1.3.4a" xref="A3.Ex14.m2.10.10.1.1.3.4.cmml">−</mo><mrow id="A3.Ex14.m2.10.10.1.1.3.3" xref="A3.Ex14.m2.10.10.1.1.3.3.cmml"><mi id="A3.Ex14.m2.10.10.1.1.3.3.3" xref="A3.Ex14.m2.10.10.1.1.3.3.3.cmml">H</mi><mo lspace="0em" rspace="0em" id="A3.Ex14.m2.10.10.1.1.3.3.2" xref="A3.Ex14.m2.10.10.1.1.3.3.2.cmml">​</mo><mrow id="A3.Ex14.m2.10.10.1.1.3.3.1.1" xref="A3.Ex14.m2.10.10.1.1.3.3.1.2.cmml"><mo stretchy="false" id="A3.Ex14.m2.10.10.1.1.3.3.1.1.2" xref="A3.Ex14.m2.10.10.1.1.3.3.1.2.1.cmml">[</mo><msub id="A3.Ex14.m2.10.10.1.1.3.3.1.1.1" xref="A3.Ex14.m2.10.10.1.1.3.3.1.1.1.cmml"><mi id="A3.Ex14.m2.10.10.1.1.3.3.1.1.1.2" xref="A3.Ex14.m2.10.10.1.1.3.3.1.1.1.2.cmml">ρ</mi><mi id="A3.Ex14.m2.10.10.1.1.3.3.1.1.1.3" xref="A3.Ex14.m2.10.10.1.1.3.3.1.1.1.3.cmml">θ</mi></msub><mo stretchy="false" id="A3.Ex14.m2.10.10.1.1.3.3.1.1.3" xref="A3.Ex14.m2.10.10.1.1.3.3.1.2.1.cmml">]</mo></mrow></mrow><mo id="A3.Ex14.m2.10.10.1.1.3.4b" xref="A3.Ex14.m2.10.10.1.1.3.4.cmml">−</mo><mrow id="A3.Ex14.m2.10.10.1.1.3.5" xref="A3.Ex14.m2.10.10.1.1.3.5.cmml"><mi id="A3.Ex14.m2.10.10.1.1.3.5.2" xref="A3.Ex14.m2.10.10.1.1.3.5.2.cmml">ψ</mi><mo lspace="0em" rspace="0em" id="A3.Ex14.m2.10.10.1.1.3.5.1" xref="A3.Ex14.m2.10.10.1.1.3.5.1.cmml">​</mo><mrow id="A3.Ex14.m2.10.10.1.1.3.5.3.2" xref="A3.Ex14.m2.10.10.1.1.3.5.cmml"><mo stretchy="false" id="A3.Ex14.m2.10.10.1.1.3.5.3.2.1" xref="A3.Ex14.m2.10.10.1.1.3.5.cmml">(</mo><mi id="A3.Ex14.m2.9.9" xref="A3.Ex14.m2.9.9.cmml">r</mi><mo stretchy="false" id="A3.Ex14.m2.10.10.1.1.3.5.3.2.2" xref="A3.Ex14.m2.10.10.1.1.3.5.cmml">)</mo></mrow></mrow></mrow></mrow><mo id="A3.Ex14.m2.10.10.1.2" xref="A3.Ex14.m2.10.10.1.1.cmml">,</mo></mrow><annotation-xml encoding="MathML-Content" id="A3.Ex14.m2.10b"><apply id="A3.Ex14.m2.10.10.1.1.cmml" xref="A3.Ex14.m2.10.10.1"><eq id="A3.Ex14.m2.10.10.1.1.4.cmml" xref="A3.Ex14.m2.10.10.1.1.4"></eq><csymbol cd="latexml" id="A3.Ex14.m2.10.10.1.1.5.cmml" xref="A3.Ex14.m2.10.10.1.1.5">absent</csymbol><apply id="A3.Ex14.m2.10.10.1.1.3.cmml" xref="A3.Ex14.m2.10.10.1.1.3"><minus id="A3.Ex14.m2.10.10.1.1.3.4.cmml" xref="A3.Ex14.m2.10.10.1.1.3.4"></minus><apply id="A3.Ex14.m2.10.10.1.1.1.1.cmml" xref="A3.Ex14.m2.10.10.1.1.1.1"><apply id="A3.Ex14.m2.10.10.1.1.1.1.2.cmml" xref="A3.Ex14.m2.10.10.1.1.1.1.2"><csymbol cd="ambiguous" id="A3.Ex14.m2.10.10.1.1.1.1.2.1.cmml" xref="A3.Ex14.m2.10.10.1.1.1.1.2">subscript</csymbol><csymbol cd="latexml" id="A3.Ex14.m2.10.10.1.1.1.1.2.2.cmml" xref="A3.Ex14.m2.10.10.1.1.1.1.2.2">supremum</csymbol><ci id="A3.Ex14.m2.10.10.1.1.1.1.2.3.cmml" xref="A3.Ex14.m2.10.10.1.1.1.1.2.3">𝑟</ci></apply><apply id="A3.Ex14.m2.10.10.1.1.1.1.1.cmml" xref="A3.Ex14.m2.10.10.1.1.1.1.1"><apply id="A3.Ex14.m2.10.10.1.1.1.1.1.2.cmml" xref="A3.Ex14.m2.10.10.1.1.1.1.1.2"><csymbol cd="ambiguous" id="A3.Ex14.m2.10.10.1.1.1.1.1.2.1.cmml" xref="A3.Ex14.m2.10.10.1.1.1.1.1.2">subscript</csymbol><csymbol cd="latexml" id="A3.Ex14.m2.10.10.1.1.1.1.1.2.2.cmml" xref="A3.Ex14.m2.10.10.1.1.1.1.1.2.2">infimum</csymbol><ci id="A3.Ex14.m2.10.10.1.1.1.1.1.2.3.cmml" xref="A3.Ex14.m2.10.10.1.1.1.1.1.2.3">𝜃</ci></apply><apply id="A3.Ex14.m2.10.10.1.1.1.1.1.1.cmml" xref="A3.Ex14.m2.10.10.1.1.1.1.1.1"><times id="A3.Ex14.m2.10.10.1.1.1.1.1.1.2.cmml" xref="A3.Ex14.m2.10.10.1.1.1.1.1.1.2"></times><apply id="A3.Ex14.m2.10.10.1.1.1.1.1.1.3.cmml" xref="A3.Ex14.m2.10.10.1.1.1.1.1.1.3"><csymbol cd="ambiguous" id="A3.Ex14.m2.10.10.1.1.1.1.1.1.3.1.cmml" xref="A3.Ex14.m2.10.10.1.1.1.1.1.1.3">subscript</csymbol><ci id="A3.Ex14.m2.10.10.1.1.1.1.1.1.3.2.cmml" xref="A3.Ex14.m2.10.10.1.1.1.1.1.1.3.2">𝔼</ci><apply id="A3.Ex14.m2.2.2.2.cmml" xref="A3.Ex14.m2.2.2.2"><csymbol cd="latexml" id="A3.Ex14.m2.2.2.2.3.cmml" xref="A3.Ex14.m2.2.2.2.3">similar-to</csymbol><list id="A3.Ex14.m2.2.2.2.4.1.cmml" xref="A3.Ex14.m2.2.2.2.4.2"><ci id="A3.Ex14.m2.1.1.1.1.cmml" xref="A3.Ex14.m2.1.1.1.1">𝑠</ci><ci id="A3.Ex14.m2.2.2.2.2.cmml" xref="A3.Ex14.m2.2.2.2.2">𝑎</ci></list><apply id="A3.Ex14.m2.2.2.2.5.cmml" xref="A3.Ex14.m2.2.2.2.5"><csymbol cd="ambiguous" id="A3.Ex14.m2.2.2.2.5.1.cmml" xref="A3.Ex14.m2.2.2.2.5">subscript</csymbol><ci id="A3.Ex14.m2.2.2.2.5.2.cmml" xref="A3.Ex14.m2.2.2.2.5.2">𝜌</ci><ci id="A3.Ex14.m2.2.2.2.5.3a.cmml" xref="A3.Ex14.m2.2.2.2.5.3"><mtext class="ltx_mathvariant_italic" mathsize="50%" id="A3.Ex14.m2.2.2.2.5.3.cmml" xref="A3.Ex14.m2.2.2.2.5.3">data</mtext></ci></apply></apply></apply><apply id="A3.Ex14.m2.10.10.1.1.1.1.1.1.1.2.cmml" xref="A3.Ex14.m2.10.10.1.1.1.1.1.1.1.1"><csymbol cd="latexml" id="A3.Ex14.m2.10.10.1.1.1.1.1.1.1.2.1.cmml" xref="A3.Ex14.m2.10.10.1.1.1.1.1.1.1.1.2">delimited-[]</csymbol><apply id="A3.Ex14.m2.10.10.1.1.1.1.1.1.1.1.1.cmml" xref="A3.Ex14.m2.10.10.1.1.1.1.1.1.1.1.1"><times id="A3.Ex14.m2.10.10.1.1.1.1.1.1.1.1.1.1.cmml" xref="A3.Ex14.m2.10.10.1.1.1.1.1.1.1.1.1.1"></times><ci id="A3.Ex14.m2.10.10.1.1.1.1.1.1.1.1.1.2.cmml" xref="A3.Ex14.m2.10.10.1.1.1.1.1.1.1.1.1.2">𝑟</ci><interval closure="open" id="A3.Ex14.m2.10.10.1.1.1.1.1.1.1.1.1.3.1.cmml" xref="A3.Ex14.m2.10.10.1.1.1.1.1.1.1.1.1.3.2"><ci id="A3.Ex14.m2.5.5.cmml" xref="A3.Ex14.m2.5.5">𝑠</ci><ci id="A3.Ex14.m2.6.6.cmml" xref="A3.Ex14.m2.6.6">𝑎</ci></interval></apply></apply></apply></apply></apply><apply id="A3.Ex14.m2.10.10.1.1.2.2.cmml" xref="A3.Ex14.m2.10.10.1.1.2.2"><times id="A3.Ex14.m2.10.10.1.1.2.2.2.cmml" xref="A3.Ex14.m2.10.10.1.1.2.2.2"></times><apply id="A3.Ex14.m2.10.10.1.1.2.2.3.cmml" xref="A3.Ex14.m2.10.10.1.1.2.2.3"><csymbol cd="ambiguous" id="A3.Ex14.m2.10.10.1.1.2.2.3.1.cmml" xref="A3.Ex14.m2.10.10.1.1.2.2.3">subscript</csymbol><ci id="A3.Ex14.m2.10.10.1.1.2.2.3.2.cmml" xref="A3.Ex14.m2.10.10.1.1.2.2.3.2">𝔼</ci><apply id="A3.Ex14.m2.4.4.2.cmml" xref="A3.Ex14.m2.4.4.2"><csymbol cd="latexml" id="A3.Ex14.m2.4.4.2.3.cmml" xref="A3.Ex14.m2.4.4.2.3">similar-to</csymbol><list id="A3.Ex14.m2.4.4.2.4.1.cmml" xref="A3.Ex14.m2.4.4.2.4.2"><ci id="A3.Ex14.m2.3.3.1.1.cmml" xref="A3.Ex14.m2.3.3.1.1">𝑠</ci><ci id="A3.Ex14.m2.4.4.2.2.cmml" xref="A3.Ex14.m2.4.4.2.2">𝑎</ci></list><apply id="A3.Ex14.m2.4.4.2.5.cmml" xref="A3.Ex14.m2.4.4.2.5"><csymbol cd="ambiguous" id="A3.Ex14.m2.4.4.2.5.1.cmml" xref="A3.Ex14.m2.4.4.2.5">subscript</csymbol><ci id="A3.Ex14.m2.4.4.2.5.2.cmml" xref="A3.Ex14.m2.4.4.2.5.2">𝜌</ci><ci id="A3.Ex14.m2.4.4.2.5.3.cmml" xref="A3.Ex14.m2.4.4.2.5.3">𝜃</ci></apply></apply></apply><apply id="A3.Ex14.m2.10.10.1.1.2.2.1.2.cmml" xref="A3.Ex14.m2.10.10.1.1.2.2.1.1"><csymbol cd="latexml" id="A3.Ex14.m2.10.10.1.1.2.2.1.2.1.cmml" xref="A3.Ex14.m2.10.10.1.1.2.2.1.1.2">delimited-[]</csymbol><apply id="A3.Ex14.m2.10.10.1.1.2.2.1.1.1.cmml" xref="A3.Ex14.m2.10.10.1.1.2.2.1.1.1"><times id="A3.Ex14.m2.10.10.1.1.2.2.1.1.1.1.cmml" xref="A3.Ex14.m2.10.10.1.1.2.2.1.1.1.1"></times><ci id="A3.Ex14.m2.10.10.1.1.2.2.1.1.1.2.cmml" xref="A3.Ex14.m2.10.10.1.1.2.2.1.1.1.2">𝑟</ci><interval closure="open" id="A3.Ex14.m2.10.10.1.1.2.2.1.1.1.3.1.cmml" xref="A3.Ex14.m2.10.10.1.1.2.2.1.1.1.3.2"><ci id="A3.Ex14.m2.7.7.cmml" xref="A3.Ex14.m2.7.7">𝑠</ci><ci id="A3.Ex14.m2.8.8.cmml" xref="A3.Ex14.m2.8.8">𝑎</ci></interval></apply></apply></apply><apply id="A3.Ex14.m2.10.10.1.1.3.3.cmml" xref="A3.Ex14.m2.10.10.1.1.3.3"><times id="A3.Ex14.m2.10.10.1.1.3.3.2.cmml" xref="A3.Ex14.m2.10.10.1.1.3.3.2"></times><ci id="A3.Ex14.m2.10.10.1.1.3.3.3.cmml" xref="A3.Ex14.m2.10.10.1.1.3.3.3">𝐻</ci><apply id="A3.Ex14.m2.10.10.1.1.3.3.1.2.cmml" xref="A3.Ex14.m2.10.10.1.1.3.3.1.1"><csymbol cd="latexml" id="A3.Ex14.m2.10.10.1.1.3.3.1.2.1.cmml" xref="A3.Ex14.m2.10.10.1.1.3.3.1.1.2">delimited-[]</csymbol><apply id="A3.Ex14.m2.10.10.1.1.3.3.1.1.1.cmml" xref="A3.Ex14.m2.10.10.1.1.3.3.1.1.1"><csymbol cd="ambiguous" id="A3.Ex14.m2.10.10.1.1.3.3.1.1.1.1.cmml" xref="A3.Ex14.m2.10.10.1.1.3.3.1.1.1">subscript</csymbol><ci id="A3.Ex14.m2.10.10.1.1.3.3.1.1.1.2.cmml" xref="A3.Ex14.m2.10.10.1.1.3.3.1.1.1.2">𝜌</ci><ci id="A3.Ex14.m2.10.10.1.1.3.3.1.1.1.3.cmml" xref="A3.Ex14.m2.10.10.1.1.3.3.1.1.1.3">𝜃</ci></apply></apply></apply><apply id="A3.Ex14.m2.10.10.1.1.3.5.cmml" xref="A3.Ex14.m2.10.10.1.1.3.5"><times id="A3.Ex14.m2.10.10.1.1.3.5.1.cmml" xref="A3.Ex14.m2.10.10.1.1.3.5.1"></times><ci id="A3.Ex14.m2.10.10.1.1.3.5.2.cmml" xref="A3.Ex14.m2.10.10.1.1.3.5.2">𝜓</ci><ci id="A3.Ex14.m2.9.9.cmml" xref="A3.Ex14.m2.9.9">𝑟</ci></apply></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="A3.Ex14.m2.10c">\displaystyle=\sup_{r}\inf_{\theta}\mathbb{E}_{s,a\sim\rho_{\text{data}}}\left[r(s,a)\right]-\mathbb{E}_{s,a\sim\rho_{\theta}}\left[r(s,a)\right]-H[\rho_{\theta}]-\psi(r),</annotation></semantics></math></td>
<td class="ltx_eqn_cell ltx_eqn_center_padright"></td>
</tr></tbody>
<tbody id="A3.Ex15"><tr class="ltx_equation ltx_eqn_row ltx_align_baseline">
<td class="ltx_eqn_cell ltx_eqn_center_padleft"></td>
<td class="ltx_td ltx_eqn_cell"></td>
<td class="ltx_td ltx_align_left ltx_eqn_cell"><math id="A3.Ex15.m1.9" class="ltx_Math" alttext="\displaystyle=\sup_{Q}\inf_{\theta}\mathbb{E}_{s,a\sim\rho_{\text{data}}}\left[(\mathcal{T}^{\theta}Q)(s,a)\right]-\mathbb{E}_{s,a\sim\rho_{\theta}}\left[(\mathcal{T}^{\theta}Q)(s,a)\right]-H[\rho_{\theta}]-\psi(\mathcal{T}^{\theta}Q)," display="inline"><semantics id="A3.Ex15.m1.9a"><mrow id="A3.Ex15.m1.9.9.1" xref="A3.Ex15.m1.9.9.1.1.cmml"><mrow id="A3.Ex15.m1.9.9.1.1" xref="A3.Ex15.m1.9.9.1.1.cmml"><mi id="A3.Ex15.m1.9.9.1.1.6" xref="A3.Ex15.m1.9.9.1.1.6.cmml"></mi><mo rspace="0.1389em" id="A3.Ex15.m1.9.9.1.1.5" xref="A3.Ex15.m1.9.9.1.1.5.cmml">=</mo><mrow id="A3.Ex15.m1.9.9.1.1.4" xref="A3.Ex15.m1.9.9.1.1.4.cmml"><mrow id="A3.Ex15.m1.9.9.1.1.1.1" xref="A3.Ex15.m1.9.9.1.1.1.1.cmml"><munder id="A3.Ex15.m1.9.9.1.1.1.1.2" xref="A3.Ex15.m1.9.9.1.1.1.1.2.cmml"><mo lspace="0.1389em" movablelimits="false" rspace="0.0835em" id="A3.Ex15.m1.9.9.1.1.1.1.2.2" xref="A3.Ex15.m1.9.9.1.1.1.1.2.2.cmml">sup</mo><mi id="A3.Ex15.m1.9.9.1.1.1.1.2.3" xref="A3.Ex15.m1.9.9.1.1.1.1.2.3.cmml">Q</mi></munder><mrow id="A3.Ex15.m1.9.9.1.1.1.1.1" xref="A3.Ex15.m1.9.9.1.1.1.1.1.cmml"><munder id="A3.Ex15.m1.9.9.1.1.1.1.1.2" xref="A3.Ex15.m1.9.9.1.1.1.1.1.2.cmml"><mo lspace="0.0835em" movablelimits="false" rspace="0.167em" id="A3.Ex15.m1.9.9.1.1.1.1.1.2.2" xref="A3.Ex15.m1.9.9.1.1.1.1.1.2.2.cmml">inf</mo><mi id="A3.Ex15.m1.9.9.1.1.1.1.1.2.3" xref="A3.Ex15.m1.9.9.1.1.1.1.1.2.3.cmml">θ</mi></munder><mrow id="A3.Ex15.m1.9.9.1.1.1.1.1.1" xref="A3.Ex15.m1.9.9.1.1.1.1.1.1.cmml"><msub id="A3.Ex15.m1.9.9.1.1.1.1.1.1.3" xref="A3.Ex15.m1.9.9.1.1.1.1.1.1.3.cmml"><mi id="A3.Ex15.m1.9.9.1.1.1.1.1.1.3.2" xref="A3.Ex15.m1.9.9.1.1.1.1.1.1.3.2.cmml">𝔼</mi><mrow id="A3.Ex15.m1.2.2.2" xref="A3.Ex15.m1.2.2.2.cmml"><mrow id="A3.Ex15.m1.2.2.2.4.2" xref="A3.Ex15.m1.2.2.2.4.1.cmml"><mi id="A3.Ex15.m1.1.1.1.1" xref="A3.Ex15.m1.1.1.1.1.cmml">s</mi><mo id="A3.Ex15.m1.2.2.2.4.2.1" xref="A3.Ex15.m1.2.2.2.4.1.cmml">,</mo><mi id="A3.Ex15.m1.2.2.2.2" xref="A3.Ex15.m1.2.2.2.2.cmml">a</mi></mrow><mo id="A3.Ex15.m1.2.2.2.3" xref="A3.Ex15.m1.2.2.2.3.cmml">∼</mo><msub id="A3.Ex15.m1.2.2.2.5" xref="A3.Ex15.m1.2.2.2.5.cmml"><mi id="A3.Ex15.m1.2.2.2.5.2" xref="A3.Ex15.m1.2.2.2.5.2.cmml">ρ</mi><mtext class="ltx_mathvariant_italic" id="A3.Ex15.m1.2.2.2.5.3" xref="A3.Ex15.m1.2.2.2.5.3a.cmml">data</mtext></msub></mrow></msub><mo lspace="0em" rspace="0em" id="A3.Ex15.m1.9.9.1.1.1.1.1.1.2" xref="A3.Ex15.m1.9.9.1.1.1.1.1.1.2.cmml">​</mo><mrow id="A3.Ex15.m1.9.9.1.1.1.1.1.1.1.1" xref="A3.Ex15.m1.9.9.1.1.1.1.1.1.1.2.cmml"><mo id="A3.Ex15.m1.9.9.1.1.1.1.1.1.1.1.2" xref="A3.Ex15.m1.9.9.1.1.1.1.1.1.1.2.1.cmml">[</mo><mrow id="A3.Ex15.m1.9.9.1.1.1.1.1.1.1.1.1" xref="A3.Ex15.m1.9.9.1.1.1.1.1.1.1.1.1.cmml"><mrow id="A3.Ex15.m1.9.9.1.1.1.1.1.1.1.1.1.1.1" xref="A3.Ex15.m1.9.9.1.1.1.1.1.1.1.1.1.1.1.1.cmml"><mo stretchy="false" id="A3.Ex15.m1.9.9.1.1.1.1.1.1.1.1.1.1.1.2" xref="A3.Ex15.m1.9.9.1.1.1.1.1.1.1.1.1.1.1.1.cmml">(</mo><mrow id="A3.Ex15.m1.9.9.1.1.1.1.1.1.1.1.1.1.1.1" xref="A3.Ex15.m1.9.9.1.1.1.1.1.1.1.1.1.1.1.1.cmml"><msup id="A3.Ex15.m1.9.9.1.1.1.1.1.1.1.1.1.1.1.1.2" xref="A3.Ex15.m1.9.9.1.1.1.1.1.1.1.1.1.1.1.1.2.cmml"><mi class="ltx_font_mathcaligraphic" id="A3.Ex15.m1.9.9.1.1.1.1.1.1.1.1.1.1.1.1.2.2" xref="A3.Ex15.m1.9.9.1.1.1.1.1.1.1.1.1.1.1.1.2.2.cmml">𝒯</mi><mi id="A3.Ex15.m1.9.9.1.1.1.1.1.1.1.1.1.1.1.1.2.3" xref="A3.Ex15.m1.9.9.1.1.1.1.1.1.1.1.1.1.1.1.2.3.cmml">θ</mi></msup><mo lspace="0em" rspace="0em" id="A3.Ex15.m1.9.9.1.1.1.1.1.1.1.1.1.1.1.1.1" xref="A3.Ex15.m1.9.9.1.1.1.1.1.1.1.1.1.1.1.1.1.cmml">​</mo><mi id="A3.Ex15.m1.9.9.1.1.1.1.1.1.1.1.1.1.1.1.3" xref="A3.Ex15.m1.9.9.1.1.1.1.1.1.1.1.1.1.1.1.3.cmml">Q</mi></mrow><mo stretchy="false" id="A3.Ex15.m1.9.9.1.1.1.1.1.1.1.1.1.1.1.3" xref="A3.Ex15.m1.9.9.1.1.1.1.1.1.1.1.1.1.1.1.cmml">)</mo></mrow><mo lspace="0em" rspace="0em" id="A3.Ex15.m1.9.9.1.1.1.1.1.1.1.1.1.2" xref="A3.Ex15.m1.9.9.1.1.1.1.1.1.1.1.1.2.cmml">​</mo><mrow id="A3.Ex15.m1.9.9.1.1.1.1.1.1.1.1.1.3.2" xref="A3.Ex15.m1.9.9.1.1.1.1.1.1.1.1.1.3.1.cmml"><mo stretchy="false" id="A3.Ex15.m1.9.9.1.1.1.1.1.1.1.1.1.3.2.1" xref="A3.Ex15.m1.9.9.1.1.1.1.1.1.1.1.1.3.1.cmml">(</mo><mi id="A3.Ex15.m1.5.5" xref="A3.Ex15.m1.5.5.cmml">s</mi><mo id="A3.Ex15.m1.9.9.1.1.1.1.1.1.1.1.1.3.2.2" xref="A3.Ex15.m1.9.9.1.1.1.1.1.1.1.1.1.3.1.cmml">,</mo><mi id="A3.Ex15.m1.6.6" xref="A3.Ex15.m1.6.6.cmml">a</mi><mo stretchy="false" id="A3.Ex15.m1.9.9.1.1.1.1.1.1.1.1.1.3.2.3" xref="A3.Ex15.m1.9.9.1.1.1.1.1.1.1.1.1.3.1.cmml">)</mo></mrow></mrow><mo id="A3.Ex15.m1.9.9.1.1.1.1.1.1.1.1.3" xref="A3.Ex15.m1.9.9.1.1.1.1.1.1.1.2.1.cmml">]</mo></mrow></mrow></mrow></mrow><mo id="A3.Ex15.m1.9.9.1.1.4.5" xref="A3.Ex15.m1.9.9.1.1.4.5.cmml">−</mo><mrow id="A3.Ex15.m1.9.9.1.1.2.2" xref="A3.Ex15.m1.9.9.1.1.2.2.cmml"><msub id="A3.Ex15.m1.9.9.1.1.2.2.3" xref="A3.Ex15.m1.9.9.1.1.2.2.3.cmml"><mi id="A3.Ex15.m1.9.9.1.1.2.2.3.2" xref="A3.Ex15.m1.9.9.1.1.2.2.3.2.cmml">𝔼</mi><mrow id="A3.Ex15.m1.4.4.2" xref="A3.Ex15.m1.4.4.2.cmml"><mrow id="A3.Ex15.m1.4.4.2.4.2" xref="A3.Ex15.m1.4.4.2.4.1.cmml"><mi id="A3.Ex15.m1.3.3.1.1" xref="A3.Ex15.m1.3.3.1.1.cmml">s</mi><mo id="A3.Ex15.m1.4.4.2.4.2.1" xref="A3.Ex15.m1.4.4.2.4.1.cmml">,</mo><mi id="A3.Ex15.m1.4.4.2.2" xref="A3.Ex15.m1.4.4.2.2.cmml">a</mi></mrow><mo id="A3.Ex15.m1.4.4.2.3" xref="A3.Ex15.m1.4.4.2.3.cmml">∼</mo><msub id="A3.Ex15.m1.4.4.2.5" xref="A3.Ex15.m1.4.4.2.5.cmml"><mi id="A3.Ex15.m1.4.4.2.5.2" xref="A3.Ex15.m1.4.4.2.5.2.cmml">ρ</mi><mi id="A3.Ex15.m1.4.4.2.5.3" xref="A3.Ex15.m1.4.4.2.5.3.cmml">θ</mi></msub></mrow></msub><mo lspace="0em" rspace="0em" id="A3.Ex15.m1.9.9.1.1.2.2.2" xref="A3.Ex15.m1.9.9.1.1.2.2.2.cmml">​</mo><mrow id="A3.Ex15.m1.9.9.1.1.2.2.1.1" xref="A3.Ex15.m1.9.9.1.1.2.2.1.2.cmml"><mo id="A3.Ex15.m1.9.9.1.1.2.2.1.1.2" xref="A3.Ex15.m1.9.9.1.1.2.2.1.2.1.cmml">[</mo><mrow id="A3.Ex15.m1.9.9.1.1.2.2.1.1.1" xref="A3.Ex15.m1.9.9.1.1.2.2.1.1.1.cmml"><mrow id="A3.Ex15.m1.9.9.1.1.2.2.1.1.1.1.1" xref="A3.Ex15.m1.9.9.1.1.2.2.1.1.1.1.1.1.cmml"><mo stretchy="false" id="A3.Ex15.m1.9.9.1.1.2.2.1.1.1.1.1.2" xref="A3.Ex15.m1.9.9.1.1.2.2.1.1.1.1.1.1.cmml">(</mo><mrow id="A3.Ex15.m1.9.9.1.1.2.2.1.1.1.1.1.1" xref="A3.Ex15.m1.9.9.1.1.2.2.1.1.1.1.1.1.cmml"><msup id="A3.Ex15.m1.9.9.1.1.2.2.1.1.1.1.1.1.2" xref="A3.Ex15.m1.9.9.1.1.2.2.1.1.1.1.1.1.2.cmml"><mi class="ltx_font_mathcaligraphic" id="A3.Ex15.m1.9.9.1.1.2.2.1.1.1.1.1.1.2.2" xref="A3.Ex15.m1.9.9.1.1.2.2.1.1.1.1.1.1.2.2.cmml">𝒯</mi><mi id="A3.Ex15.m1.9.9.1.1.2.2.1.1.1.1.1.1.2.3" xref="A3.Ex15.m1.9.9.1.1.2.2.1.1.1.1.1.1.2.3.cmml">θ</mi></msup><mo lspace="0em" rspace="0em" id="A3.Ex15.m1.9.9.1.1.2.2.1.1.1.1.1.1.1" xref="A3.Ex15.m1.9.9.1.1.2.2.1.1.1.1.1.1.1.cmml">​</mo><mi id="A3.Ex15.m1.9.9.1.1.2.2.1.1.1.1.1.1.3" xref="A3.Ex15.m1.9.9.1.1.2.2.1.1.1.1.1.1.3.cmml">Q</mi></mrow><mo stretchy="false" id="A3.Ex15.m1.9.9.1.1.2.2.1.1.1.1.1.3" xref="A3.Ex15.m1.9.9.1.1.2.2.1.1.1.1.1.1.cmml">)</mo></mrow><mo lspace="0em" rspace="0em" id="A3.Ex15.m1.9.9.1.1.2.2.1.1.1.2" xref="A3.Ex15.m1.9.9.1.1.2.2.1.1.1.2.cmml">​</mo><mrow id="A3.Ex15.m1.9.9.1.1.2.2.1.1.1.3.2" xref="A3.Ex15.m1.9.9.1.1.2.2.1.1.1.3.1.cmml"><mo stretchy="false" id="A3.Ex15.m1.9.9.1.1.2.2.1.1.1.3.2.1" xref="A3.Ex15.m1.9.9.1.1.2.2.1.1.1.3.1.cmml">(</mo><mi id="A3.Ex15.m1.7.7" xref="A3.Ex15.m1.7.7.cmml">s</mi><mo id="A3.Ex15.m1.9.9.1.1.2.2.1.1.1.3.2.2" xref="A3.Ex15.m1.9.9.1.1.2.2.1.1.1.3.1.cmml">,</mo><mi id="A3.Ex15.m1.8.8" xref="A3.Ex15.m1.8.8.cmml">a</mi><mo stretchy="false" id="A3.Ex15.m1.9.9.1.1.2.2.1.1.1.3.2.3" xref="A3.Ex15.m1.9.9.1.1.2.2.1.1.1.3.1.cmml">)</mo></mrow></mrow><mo id="A3.Ex15.m1.9.9.1.1.2.2.1.1.3" xref="A3.Ex15.m1.9.9.1.1.2.2.1.2.1.cmml">]</mo></mrow></mrow><mo id="A3.Ex15.m1.9.9.1.1.4.5a" xref="A3.Ex15.m1.9.9.1.1.4.5.cmml">−</mo><mrow id="A3.Ex15.m1.9.9.1.1.3.3" xref="A3.Ex15.m1.9.9.1.1.3.3.cmml"><mi id="A3.Ex15.m1.9.9.1.1.3.3.3" xref="A3.Ex15.m1.9.9.1.1.3.3.3.cmml">H</mi><mo lspace="0em" rspace="0em" id="A3.Ex15.m1.9.9.1.1.3.3.2" xref="A3.Ex15.m1.9.9.1.1.3.3.2.cmml">​</mo><mrow id="A3.Ex15.m1.9.9.1.1.3.3.1.1" xref="A3.Ex15.m1.9.9.1.1.3.3.1.2.cmml"><mo stretchy="false" id="A3.Ex15.m1.9.9.1.1.3.3.1.1.2" xref="A3.Ex15.m1.9.9.1.1.3.3.1.2.1.cmml">[</mo><msub id="A3.Ex15.m1.9.9.1.1.3.3.1.1.1" xref="A3.Ex15.m1.9.9.1.1.3.3.1.1.1.cmml"><mi id="A3.Ex15.m1.9.9.1.1.3.3.1.1.1.2" xref="A3.Ex15.m1.9.9.1.1.3.3.1.1.1.2.cmml">ρ</mi><mi id="A3.Ex15.m1.9.9.1.1.3.3.1.1.1.3" xref="A3.Ex15.m1.9.9.1.1.3.3.1.1.1.3.cmml">θ</mi></msub><mo stretchy="false" id="A3.Ex15.m1.9.9.1.1.3.3.1.1.3" xref="A3.Ex15.m1.9.9.1.1.3.3.1.2.1.cmml">]</mo></mrow></mrow><mo id="A3.Ex15.m1.9.9.1.1.4.5b" xref="A3.Ex15.m1.9.9.1.1.4.5.cmml">−</mo><mrow id="A3.Ex15.m1.9.9.1.1.4.4" xref="A3.Ex15.m1.9.9.1.1.4.4.cmml"><mi id="A3.Ex15.m1.9.9.1.1.4.4.3" xref="A3.Ex15.m1.9.9.1.1.4.4.3.cmml">ψ</mi><mo lspace="0em" rspace="0em" id="A3.Ex15.m1.9.9.1.1.4.4.2" xref="A3.Ex15.m1.9.9.1.1.4.4.2.cmml">​</mo><mrow id="A3.Ex15.m1.9.9.1.1.4.4.1.1" xref="A3.Ex15.m1.9.9.1.1.4.4.1.1.1.cmml"><mo stretchy="false" id="A3.Ex15.m1.9.9.1.1.4.4.1.1.2" xref="A3.Ex15.m1.9.9.1.1.4.4.1.1.1.cmml">(</mo><mrow id="A3.Ex15.m1.9.9.1.1.4.4.1.1.1" xref="A3.Ex15.m1.9.9.1.1.4.4.1.1.1.cmml"><msup id="A3.Ex15.m1.9.9.1.1.4.4.1.1.1.2" xref="A3.Ex15.m1.9.9.1.1.4.4.1.1.1.2.cmml"><mi class="ltx_font_mathcaligraphic" id="A3.Ex15.m1.9.9.1.1.4.4.1.1.1.2.2" xref="A3.Ex15.m1.9.9.1.1.4.4.1.1.1.2.2.cmml">𝒯</mi><mi id="A3.Ex15.m1.9.9.1.1.4.4.1.1.1.2.3" xref="A3.Ex15.m1.9.9.1.1.4.4.1.1.1.2.3.cmml">θ</mi></msup><mo lspace="0em" rspace="0em" id="A3.Ex15.m1.9.9.1.1.4.4.1.1.1.1" xref="A3.Ex15.m1.9.9.1.1.4.4.1.1.1.1.cmml">​</mo><mi id="A3.Ex15.m1.9.9.1.1.4.4.1.1.1.3" xref="A3.Ex15.m1.9.9.1.1.4.4.1.1.1.3.cmml">Q</mi></mrow><mo stretchy="false" id="A3.Ex15.m1.9.9.1.1.4.4.1.1.3" xref="A3.Ex15.m1.9.9.1.1.4.4.1.1.1.cmml">)</mo></mrow></mrow></mrow></mrow><mo id="A3.Ex15.m1.9.9.1.2" xref="A3.Ex15.m1.9.9.1.1.cmml">,</mo></mrow><annotation-xml encoding="MathML-Content" id="A3.Ex15.m1.9b"><apply id="A3.Ex15.m1.9.9.1.1.cmml" xref="A3.Ex15.m1.9.9.1"><eq id="A3.Ex15.m1.9.9.1.1.5.cmml" xref="A3.Ex15.m1.9.9.1.1.5"></eq><csymbol cd="latexml" id="A3.Ex15.m1.9.9.1.1.6.cmml" xref="A3.Ex15.m1.9.9.1.1.6">absent</csymbol><apply id="A3.Ex15.m1.9.9.1.1.4.cmml" xref="A3.Ex15.m1.9.9.1.1.4"><minus id="A3.Ex15.m1.9.9.1.1.4.5.cmml" xref="A3.Ex15.m1.9.9.1.1.4.5"></minus><apply id="A3.Ex15.m1.9.9.1.1.1.1.cmml" xref="A3.Ex15.m1.9.9.1.1.1.1"><apply id="A3.Ex15.m1.9.9.1.1.1.1.2.cmml" xref="A3.Ex15.m1.9.9.1.1.1.1.2"><csymbol cd="ambiguous" id="A3.Ex15.m1.9.9.1.1.1.1.2.1.cmml" xref="A3.Ex15.m1.9.9.1.1.1.1.2">subscript</csymbol><csymbol cd="latexml" id="A3.Ex15.m1.9.9.1.1.1.1.2.2.cmml" xref="A3.Ex15.m1.9.9.1.1.1.1.2.2">supremum</csymbol><ci id="A3.Ex15.m1.9.9.1.1.1.1.2.3.cmml" xref="A3.Ex15.m1.9.9.1.1.1.1.2.3">𝑄</ci></apply><apply id="A3.Ex15.m1.9.9.1.1.1.1.1.cmml" xref="A3.Ex15.m1.9.9.1.1.1.1.1"><apply id="A3.Ex15.m1.9.9.1.1.1.1.1.2.cmml" xref="A3.Ex15.m1.9.9.1.1.1.1.1.2"><csymbol cd="ambiguous" id="A3.Ex15.m1.9.9.1.1.1.1.1.2.1.cmml" xref="A3.Ex15.m1.9.9.1.1.1.1.1.2">subscript</csymbol><csymbol cd="latexml" id="A3.Ex15.m1.9.9.1.1.1.1.1.2.2.cmml" xref="A3.Ex15.m1.9.9.1.1.1.1.1.2.2">infimum</csymbol><ci id="A3.Ex15.m1.9.9.1.1.1.1.1.2.3.cmml" xref="A3.Ex15.m1.9.9.1.1.1.1.1.2.3">𝜃</ci></apply><apply id="A3.Ex15.m1.9.9.1.1.1.1.1.1.cmml" xref="A3.Ex15.m1.9.9.1.1.1.1.1.1"><times id="A3.Ex15.m1.9.9.1.1.1.1.1.1.2.cmml" xref="A3.Ex15.m1.9.9.1.1.1.1.1.1.2"></times><apply id="A3.Ex15.m1.9.9.1.1.1.1.1.1.3.cmml" xref="A3.Ex15.m1.9.9.1.1.1.1.1.1.3"><csymbol cd="ambiguous" id="A3.Ex15.m1.9.9.1.1.1.1.1.1.3.1.cmml" xref="A3.Ex15.m1.9.9.1.1.1.1.1.1.3">subscript</csymbol><ci id="A3.Ex15.m1.9.9.1.1.1.1.1.1.3.2.cmml" xref="A3.Ex15.m1.9.9.1.1.1.1.1.1.3.2">𝔼</ci><apply id="A3.Ex15.m1.2.2.2.cmml" xref="A3.Ex15.m1.2.2.2"><csymbol cd="latexml" id="A3.Ex15.m1.2.2.2.3.cmml" xref="A3.Ex15.m1.2.2.2.3">similar-to</csymbol><list id="A3.Ex15.m1.2.2.2.4.1.cmml" xref="A3.Ex15.m1.2.2.2.4.2"><ci id="A3.Ex15.m1.1.1.1.1.cmml" xref="A3.Ex15.m1.1.1.1.1">𝑠</ci><ci id="A3.Ex15.m1.2.2.2.2.cmml" xref="A3.Ex15.m1.2.2.2.2">𝑎</ci></list><apply id="A3.Ex15.m1.2.2.2.5.cmml" xref="A3.Ex15.m1.2.2.2.5"><csymbol cd="ambiguous" id="A3.Ex15.m1.2.2.2.5.1.cmml" xref="A3.Ex15.m1.2.2.2.5">subscript</csymbol><ci id="A3.Ex15.m1.2.2.2.5.2.cmml" xref="A3.Ex15.m1.2.2.2.5.2">𝜌</ci><ci id="A3.Ex15.m1.2.2.2.5.3a.cmml" xref="A3.Ex15.m1.2.2.2.5.3"><mtext class="ltx_mathvariant_italic" mathsize="50%" id="A3.Ex15.m1.2.2.2.5.3.cmml" xref="A3.Ex15.m1.2.2.2.5.3">data</mtext></ci></apply></apply></apply><apply id="A3.Ex15.m1.9.9.1.1.1.1.1.1.1.2.cmml" xref="A3.Ex15.m1.9.9.1.1.1.1.1.1.1.1"><csymbol cd="latexml" id="A3.Ex15.m1.9.9.1.1.1.1.1.1.1.2.1.cmml" xref="A3.Ex15.m1.9.9.1.1.1.1.1.1.1.1.2">delimited-[]</csymbol><apply id="A3.Ex15.m1.9.9.1.1.1.1.1.1.1.1.1.cmml" xref="A3.Ex15.m1.9.9.1.1.1.1.1.1.1.1.1"><times id="A3.Ex15.m1.9.9.1.1.1.1.1.1.1.1.1.2.cmml" xref="A3.Ex15.m1.9.9.1.1.1.1.1.1.1.1.1.2"></times><apply id="A3.Ex15.m1.9.9.1.1.1.1.1.1.1.1.1.1.1.1.cmml" xref="A3.Ex15.m1.9.9.1.1.1.1.1.1.1.1.1.1.1"><times id="A3.Ex15.m1.9.9.1.1.1.1.1.1.1.1.1.1.1.1.1.cmml" xref="A3.Ex15.m1.9.9.1.1.1.1.1.1.1.1.1.1.1.1.1"></times><apply id="A3.Ex15.m1.9.9.1.1.1.1.1.1.1.1.1.1.1.1.2.cmml" xref="A3.Ex15.m1.9.9.1.1.1.1.1.1.1.1.1.1.1.1.2"><csymbol cd="ambiguous" id="A3.Ex15.m1.9.9.1.1.1.1.1.1.1.1.1.1.1.1.2.1.cmml" xref="A3.Ex15.m1.9.9.1.1.1.1.1.1.1.1.1.1.1.1.2">superscript</csymbol><ci id="A3.Ex15.m1.9.9.1.1.1.1.1.1.1.1.1.1.1.1.2.2.cmml" xref="A3.Ex15.m1.9.9.1.1.1.1.1.1.1.1.1.1.1.1.2.2">𝒯</ci><ci id="A3.Ex15.m1.9.9.1.1.1.1.1.1.1.1.1.1.1.1.2.3.cmml" xref="A3.Ex15.m1.9.9.1.1.1.1.1.1.1.1.1.1.1.1.2.3">𝜃</ci></apply><ci id="A3.Ex15.m1.9.9.1.1.1.1.1.1.1.1.1.1.1.1.3.cmml" xref="A3.Ex15.m1.9.9.1.1.1.1.1.1.1.1.1.1.1.1.3">𝑄</ci></apply><interval closure="open" id="A3.Ex15.m1.9.9.1.1.1.1.1.1.1.1.1.3.1.cmml" xref="A3.Ex15.m1.9.9.1.1.1.1.1.1.1.1.1.3.2"><ci id="A3.Ex15.m1.5.5.cmml" xref="A3.Ex15.m1.5.5">𝑠</ci><ci id="A3.Ex15.m1.6.6.cmml" xref="A3.Ex15.m1.6.6">𝑎</ci></interval></apply></apply></apply></apply></apply><apply id="A3.Ex15.m1.9.9.1.1.2.2.cmml" xref="A3.Ex15.m1.9.9.1.1.2.2"><times id="A3.Ex15.m1.9.9.1.1.2.2.2.cmml" xref="A3.Ex15.m1.9.9.1.1.2.2.2"></times><apply id="A3.Ex15.m1.9.9.1.1.2.2.3.cmml" xref="A3.Ex15.m1.9.9.1.1.2.2.3"><csymbol cd="ambiguous" id="A3.Ex15.m1.9.9.1.1.2.2.3.1.cmml" xref="A3.Ex15.m1.9.9.1.1.2.2.3">subscript</csymbol><ci id="A3.Ex15.m1.9.9.1.1.2.2.3.2.cmml" xref="A3.Ex15.m1.9.9.1.1.2.2.3.2">𝔼</ci><apply id="A3.Ex15.m1.4.4.2.cmml" xref="A3.Ex15.m1.4.4.2"><csymbol cd="latexml" id="A3.Ex15.m1.4.4.2.3.cmml" xref="A3.Ex15.m1.4.4.2.3">similar-to</csymbol><list id="A3.Ex15.m1.4.4.2.4.1.cmml" xref="A3.Ex15.m1.4.4.2.4.2"><ci id="A3.Ex15.m1.3.3.1.1.cmml" xref="A3.Ex15.m1.3.3.1.1">𝑠</ci><ci id="A3.Ex15.m1.4.4.2.2.cmml" xref="A3.Ex15.m1.4.4.2.2">𝑎</ci></list><apply id="A3.Ex15.m1.4.4.2.5.cmml" xref="A3.Ex15.m1.4.4.2.5"><csymbol cd="ambiguous" id="A3.Ex15.m1.4.4.2.5.1.cmml" xref="A3.Ex15.m1.4.4.2.5">subscript</csymbol><ci id="A3.Ex15.m1.4.4.2.5.2.cmml" xref="A3.Ex15.m1.4.4.2.5.2">𝜌</ci><ci id="A3.Ex15.m1.4.4.2.5.3.cmml" xref="A3.Ex15.m1.4.4.2.5.3">𝜃</ci></apply></apply></apply><apply id="A3.Ex15.m1.9.9.1.1.2.2.1.2.cmml" xref="A3.Ex15.m1.9.9.1.1.2.2.1.1"><csymbol cd="latexml" id="A3.Ex15.m1.9.9.1.1.2.2.1.2.1.cmml" xref="A3.Ex15.m1.9.9.1.1.2.2.1.1.2">delimited-[]</csymbol><apply id="A3.Ex15.m1.9.9.1.1.2.2.1.1.1.cmml" xref="A3.Ex15.m1.9.9.1.1.2.2.1.1.1"><times id="A3.Ex15.m1.9.9.1.1.2.2.1.1.1.2.cmml" xref="A3.Ex15.m1.9.9.1.1.2.2.1.1.1.2"></times><apply id="A3.Ex15.m1.9.9.1.1.2.2.1.1.1.1.1.1.cmml" xref="A3.Ex15.m1.9.9.1.1.2.2.1.1.1.1.1"><times id="A3.Ex15.m1.9.9.1.1.2.2.1.1.1.1.1.1.1.cmml" xref="A3.Ex15.m1.9.9.1.1.2.2.1.1.1.1.1.1.1"></times><apply id="A3.Ex15.m1.9.9.1.1.2.2.1.1.1.1.1.1.2.cmml" xref="A3.Ex15.m1.9.9.1.1.2.2.1.1.1.1.1.1.2"><csymbol cd="ambiguous" id="A3.Ex15.m1.9.9.1.1.2.2.1.1.1.1.1.1.2.1.cmml" xref="A3.Ex15.m1.9.9.1.1.2.2.1.1.1.1.1.1.2">superscript</csymbol><ci id="A3.Ex15.m1.9.9.1.1.2.2.1.1.1.1.1.1.2.2.cmml" xref="A3.Ex15.m1.9.9.1.1.2.2.1.1.1.1.1.1.2.2">𝒯</ci><ci id="A3.Ex15.m1.9.9.1.1.2.2.1.1.1.1.1.1.2.3.cmml" xref="A3.Ex15.m1.9.9.1.1.2.2.1.1.1.1.1.1.2.3">𝜃</ci></apply><ci id="A3.Ex15.m1.9.9.1.1.2.2.1.1.1.1.1.1.3.cmml" xref="A3.Ex15.m1.9.9.1.1.2.2.1.1.1.1.1.1.3">𝑄</ci></apply><interval closure="open" id="A3.Ex15.m1.9.9.1.1.2.2.1.1.1.3.1.cmml" xref="A3.Ex15.m1.9.9.1.1.2.2.1.1.1.3.2"><ci id="A3.Ex15.m1.7.7.cmml" xref="A3.Ex15.m1.7.7">𝑠</ci><ci id="A3.Ex15.m1.8.8.cmml" xref="A3.Ex15.m1.8.8">𝑎</ci></interval></apply></apply></apply><apply id="A3.Ex15.m1.9.9.1.1.3.3.cmml" xref="A3.Ex15.m1.9.9.1.1.3.3"><times id="A3.Ex15.m1.9.9.1.1.3.3.2.cmml" xref="A3.Ex15.m1.9.9.1.1.3.3.2"></times><ci id="A3.Ex15.m1.9.9.1.1.3.3.3.cmml" xref="A3.Ex15.m1.9.9.1.1.3.3.3">𝐻</ci><apply id="A3.Ex15.m1.9.9.1.1.3.3.1.2.cmml" xref="A3.Ex15.m1.9.9.1.1.3.3.1.1"><csymbol cd="latexml" id="A3.Ex15.m1.9.9.1.1.3.3.1.2.1.cmml" xref="A3.Ex15.m1.9.9.1.1.3.3.1.1.2">delimited-[]</csymbol><apply id="A3.Ex15.m1.9.9.1.1.3.3.1.1.1.cmml" xref="A3.Ex15.m1.9.9.1.1.3.3.1.1.1"><csymbol cd="ambiguous" id="A3.Ex15.m1.9.9.1.1.3.3.1.1.1.1.cmml" xref="A3.Ex15.m1.9.9.1.1.3.3.1.1.1">subscript</csymbol><ci id="A3.Ex15.m1.9.9.1.1.3.3.1.1.1.2.cmml" xref="A3.Ex15.m1.9.9.1.1.3.3.1.1.1.2">𝜌</ci><ci id="A3.Ex15.m1.9.9.1.1.3.3.1.1.1.3.cmml" xref="A3.Ex15.m1.9.9.1.1.3.3.1.1.1.3">𝜃</ci></apply></apply></apply><apply id="A3.Ex15.m1.9.9.1.1.4.4.cmml" xref="A3.Ex15.m1.9.9.1.1.4.4"><times id="A3.Ex15.m1.9.9.1.1.4.4.2.cmml" xref="A3.Ex15.m1.9.9.1.1.4.4.2"></times><ci id="A3.Ex15.m1.9.9.1.1.4.4.3.cmml" xref="A3.Ex15.m1.9.9.1.1.4.4.3">𝜓</ci><apply id="A3.Ex15.m1.9.9.1.1.4.4.1.1.1.cmml" xref="A3.Ex15.m1.9.9.1.1.4.4.1.1"><times id="A3.Ex15.m1.9.9.1.1.4.4.1.1.1.1.cmml" xref="A3.Ex15.m1.9.9.1.1.4.4.1.1.1.1"></times><apply id="A3.Ex15.m1.9.9.1.1.4.4.1.1.1.2.cmml" xref="A3.Ex15.m1.9.9.1.1.4.4.1.1.1.2"><csymbol cd="ambiguous" id="A3.Ex15.m1.9.9.1.1.4.4.1.1.1.2.1.cmml" xref="A3.Ex15.m1.9.9.1.1.4.4.1.1.1.2">superscript</csymbol><ci id="A3.Ex15.m1.9.9.1.1.4.4.1.1.1.2.2.cmml" xref="A3.Ex15.m1.9.9.1.1.4.4.1.1.1.2.2">𝒯</ci><ci id="A3.Ex15.m1.9.9.1.1.4.4.1.1.1.2.3.cmml" xref="A3.Ex15.m1.9.9.1.1.4.4.1.1.1.2.3">𝜃</ci></apply><ci id="A3.Ex15.m1.9.9.1.1.4.4.1.1.1.3.cmml" xref="A3.Ex15.m1.9.9.1.1.4.4.1.1.1.3">𝑄</ci></apply></apply></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="A3.Ex15.m1.9c">\displaystyle=\sup_{Q}\inf_{\theta}\mathbb{E}_{s,a\sim\rho_{\text{data}}}\left[(\mathcal{T}^{\theta}Q)(s,a)\right]-\mathbb{E}_{s,a\sim\rho_{\theta}}\left[(\mathcal{T}^{\theta}Q)(s,a)\right]-H[\rho_{\theta}]-\psi(\mathcal{T}^{\theta}Q),</annotation></semantics></math></td>
<td class="ltx_eqn_cell ltx_eqn_center_padright"></td>
</tr></tbody>
<tbody id="A3.Ex16"><tr class="ltx_equation ltx_eqn_row ltx_align_baseline">
<td class="ltx_eqn_cell ltx_eqn_center_padleft"></td>
<td class="ltx_td ltx_eqn_cell"></td>
<td class="ltx_td ltx_align_left ltx_eqn_cell"><math id="A3.Ex16.m1.5" class="ltx_Math" alttext="\displaystyle=\sup_{Q}\inf_{\theta}\mathbb{E}_{s,a\sim\rho_{\text{data}}}\left[(\mathcal{T}^{\theta}Q)(s,a)\right]-(1-\gamma)\mathbb{E}_{s_{0}\sim\mathcal{P}_{0}}\left[V^{\theta}(s_{0})\right]-\psi(\mathcal{T}^{\theta}Q)," display="inline"><semantics id="A3.Ex16.m1.5a"><mrow id="A3.Ex16.m1.5.5.1" xref="A3.Ex16.m1.5.5.1.1.cmml"><mrow id="A3.Ex16.m1.5.5.1.1" xref="A3.Ex16.m1.5.5.1.1.cmml"><mi id="A3.Ex16.m1.5.5.1.1.6" xref="A3.Ex16.m1.5.5.1.1.6.cmml"></mi><mo rspace="0.1389em" id="A3.Ex16.m1.5.5.1.1.5" xref="A3.Ex16.m1.5.5.1.1.5.cmml">=</mo><mrow id="A3.Ex16.m1.5.5.1.1.4" xref="A3.Ex16.m1.5.5.1.1.4.cmml"><mrow id="A3.Ex16.m1.5.5.1.1.1.1" xref="A3.Ex16.m1.5.5.1.1.1.1.cmml"><munder id="A3.Ex16.m1.5.5.1.1.1.1.2" xref="A3.Ex16.m1.5.5.1.1.1.1.2.cmml"><mo lspace="0.1389em" movablelimits="false" rspace="0.0835em" id="A3.Ex16.m1.5.5.1.1.1.1.2.2" xref="A3.Ex16.m1.5.5.1.1.1.1.2.2.cmml">sup</mo><mi id="A3.Ex16.m1.5.5.1.1.1.1.2.3" xref="A3.Ex16.m1.5.5.1.1.1.1.2.3.cmml">Q</mi></munder><mrow id="A3.Ex16.m1.5.5.1.1.1.1.1" xref="A3.Ex16.m1.5.5.1.1.1.1.1.cmml"><munder id="A3.Ex16.m1.5.5.1.1.1.1.1.2" xref="A3.Ex16.m1.5.5.1.1.1.1.1.2.cmml"><mo lspace="0.0835em" movablelimits="false" rspace="0.167em" id="A3.Ex16.m1.5.5.1.1.1.1.1.2.2" xref="A3.Ex16.m1.5.5.1.1.1.1.1.2.2.cmml">inf</mo><mi id="A3.Ex16.m1.5.5.1.1.1.1.1.2.3" xref="A3.Ex16.m1.5.5.1.1.1.1.1.2.3.cmml">θ</mi></munder><mrow id="A3.Ex16.m1.5.5.1.1.1.1.1.1" xref="A3.Ex16.m1.5.5.1.1.1.1.1.1.cmml"><msub id="A3.Ex16.m1.5.5.1.1.1.1.1.1.3" xref="A3.Ex16.m1.5.5.1.1.1.1.1.1.3.cmml"><mi id="A3.Ex16.m1.5.5.1.1.1.1.1.1.3.2" xref="A3.Ex16.m1.5.5.1.1.1.1.1.1.3.2.cmml">𝔼</mi><mrow id="A3.Ex16.m1.2.2.2" xref="A3.Ex16.m1.2.2.2.cmml"><mrow id="A3.Ex16.m1.2.2.2.4.2" xref="A3.Ex16.m1.2.2.2.4.1.cmml"><mi id="A3.Ex16.m1.1.1.1.1" xref="A3.Ex16.m1.1.1.1.1.cmml">s</mi><mo id="A3.Ex16.m1.2.2.2.4.2.1" xref="A3.Ex16.m1.2.2.2.4.1.cmml">,</mo><mi id="A3.Ex16.m1.2.2.2.2" xref="A3.Ex16.m1.2.2.2.2.cmml">a</mi></mrow><mo id="A3.Ex16.m1.2.2.2.3" xref="A3.Ex16.m1.2.2.2.3.cmml">∼</mo><msub id="A3.Ex16.m1.2.2.2.5" xref="A3.Ex16.m1.2.2.2.5.cmml"><mi id="A3.Ex16.m1.2.2.2.5.2" xref="A3.Ex16.m1.2.2.2.5.2.cmml">ρ</mi><mtext class="ltx_mathvariant_italic" id="A3.Ex16.m1.2.2.2.5.3" xref="A3.Ex16.m1.2.2.2.5.3a.cmml">data</mtext></msub></mrow></msub><mo lspace="0em" rspace="0em" id="A3.Ex16.m1.5.5.1.1.1.1.1.1.2" xref="A3.Ex16.m1.5.5.1.1.1.1.1.1.2.cmml">​</mo><mrow id="A3.Ex16.m1.5.5.1.1.1.1.1.1.1.1" xref="A3.Ex16.m1.5.5.1.1.1.1.1.1.1.2.cmml"><mo id="A3.Ex16.m1.5.5.1.1.1.1.1.1.1.1.2" xref="A3.Ex16.m1.5.5.1.1.1.1.1.1.1.2.1.cmml">[</mo><mrow id="A3.Ex16.m1.5.5.1.1.1.1.1.1.1.1.1" xref="A3.Ex16.m1.5.5.1.1.1.1.1.1.1.1.1.cmml"><mrow id="A3.Ex16.m1.5.5.1.1.1.1.1.1.1.1.1.1.1" xref="A3.Ex16.m1.5.5.1.1.1.1.1.1.1.1.1.1.1.1.cmml"><mo stretchy="false" id="A3.Ex16.m1.5.5.1.1.1.1.1.1.1.1.1.1.1.2" xref="A3.Ex16.m1.5.5.1.1.1.1.1.1.1.1.1.1.1.1.cmml">(</mo><mrow id="A3.Ex16.m1.5.5.1.1.1.1.1.1.1.1.1.1.1.1" xref="A3.Ex16.m1.5.5.1.1.1.1.1.1.1.1.1.1.1.1.cmml"><msup id="A3.Ex16.m1.5.5.1.1.1.1.1.1.1.1.1.1.1.1.2" xref="A3.Ex16.m1.5.5.1.1.1.1.1.1.1.1.1.1.1.1.2.cmml"><mi class="ltx_font_mathcaligraphic" id="A3.Ex16.m1.5.5.1.1.1.1.1.1.1.1.1.1.1.1.2.2" xref="A3.Ex16.m1.5.5.1.1.1.1.1.1.1.1.1.1.1.1.2.2.cmml">𝒯</mi><mi id="A3.Ex16.m1.5.5.1.1.1.1.1.1.1.1.1.1.1.1.2.3" xref="A3.Ex16.m1.5.5.1.1.1.1.1.1.1.1.1.1.1.1.2.3.cmml">θ</mi></msup><mo lspace="0em" rspace="0em" id="A3.Ex16.m1.5.5.1.1.1.1.1.1.1.1.1.1.1.1.1" xref="A3.Ex16.m1.5.5.1.1.1.1.1.1.1.1.1.1.1.1.1.cmml">​</mo><mi id="A3.Ex16.m1.5.5.1.1.1.1.1.1.1.1.1.1.1.1.3" xref="A3.Ex16.m1.5.5.1.1.1.1.1.1.1.1.1.1.1.1.3.cmml">Q</mi></mrow><mo stretchy="false" id="A3.Ex16.m1.5.5.1.1.1.1.1.1.1.1.1.1.1.3" xref="A3.Ex16.m1.5.5.1.1.1.1.1.1.1.1.1.1.1.1.cmml">)</mo></mrow><mo lspace="0em" rspace="0em" id="A3.Ex16.m1.5.5.1.1.1.1.1.1.1.1.1.2" xref="A3.Ex16.m1.5.5.1.1.1.1.1.1.1.1.1.2.cmml">​</mo><mrow id="A3.Ex16.m1.5.5.1.1.1.1.1.1.1.1.1.3.2" xref="A3.Ex16.m1.5.5.1.1.1.1.1.1.1.1.1.3.1.cmml"><mo stretchy="false" id="A3.Ex16.m1.5.5.1.1.1.1.1.1.1.1.1.3.2.1" xref="A3.Ex16.m1.5.5.1.1.1.1.1.1.1.1.1.3.1.cmml">(</mo><mi id="A3.Ex16.m1.3.3" xref="A3.Ex16.m1.3.3.cmml">s</mi><mo id="A3.Ex16.m1.5.5.1.1.1.1.1.1.1.1.1.3.2.2" xref="A3.Ex16.m1.5.5.1.1.1.1.1.1.1.1.1.3.1.cmml">,</mo><mi id="A3.Ex16.m1.4.4" xref="A3.Ex16.m1.4.4.cmml">a</mi><mo stretchy="false" id="A3.Ex16.m1.5.5.1.1.1.1.1.1.1.1.1.3.2.3" xref="A3.Ex16.m1.5.5.1.1.1.1.1.1.1.1.1.3.1.cmml">)</mo></mrow></mrow><mo id="A3.Ex16.m1.5.5.1.1.1.1.1.1.1.1.3" xref="A3.Ex16.m1.5.5.1.1.1.1.1.1.1.2.1.cmml">]</mo></mrow></mrow></mrow></mrow><mo id="A3.Ex16.m1.5.5.1.1.4.5" xref="A3.Ex16.m1.5.5.1.1.4.5.cmml">−</mo><mrow id="A3.Ex16.m1.5.5.1.1.3.3" xref="A3.Ex16.m1.5.5.1.1.3.3.cmml"><mrow id="A3.Ex16.m1.5.5.1.1.2.2.1.1" xref="A3.Ex16.m1.5.5.1.1.2.2.1.1.1.cmml"><mo stretchy="false" id="A3.Ex16.m1.5.5.1.1.2.2.1.1.2" xref="A3.Ex16.m1.5.5.1.1.2.2.1.1.1.cmml">(</mo><mrow id="A3.Ex16.m1.5.5.1.1.2.2.1.1.1" xref="A3.Ex16.m1.5.5.1.1.2.2.1.1.1.cmml"><mn id="A3.Ex16.m1.5.5.1.1.2.2.1.1.1.2" xref="A3.Ex16.m1.5.5.1.1.2.2.1.1.1.2.cmml">1</mn><mo id="A3.Ex16.m1.5.5.1.1.2.2.1.1.1.1" xref="A3.Ex16.m1.5.5.1.1.2.2.1.1.1.1.cmml">−</mo><mi id="A3.Ex16.m1.5.5.1.1.2.2.1.1.1.3" xref="A3.Ex16.m1.5.5.1.1.2.2.1.1.1.3.cmml">γ</mi></mrow><mo stretchy="false" id="A3.Ex16.m1.5.5.1.1.2.2.1.1.3" xref="A3.Ex16.m1.5.5.1.1.2.2.1.1.1.cmml">)</mo></mrow><mo lspace="0em" rspace="0em" id="A3.Ex16.m1.5.5.1.1.3.3.3" xref="A3.Ex16.m1.5.5.1.1.3.3.3.cmml">​</mo><msub id="A3.Ex16.m1.5.5.1.1.3.3.4" xref="A3.Ex16.m1.5.5.1.1.3.3.4.cmml"><mi id="A3.Ex16.m1.5.5.1.1.3.3.4.2" xref="A3.Ex16.m1.5.5.1.1.3.3.4.2.cmml">𝔼</mi><mrow id="A3.Ex16.m1.5.5.1.1.3.3.4.3" xref="A3.Ex16.m1.5.5.1.1.3.3.4.3.cmml"><msub id="A3.Ex16.m1.5.5.1.1.3.3.4.3.2" xref="A3.Ex16.m1.5.5.1.1.3.3.4.3.2.cmml"><mi id="A3.Ex16.m1.5.5.1.1.3.3.4.3.2.2" xref="A3.Ex16.m1.5.5.1.1.3.3.4.3.2.2.cmml">s</mi><mn id="A3.Ex16.m1.5.5.1.1.3.3.4.3.2.3" xref="A3.Ex16.m1.5.5.1.1.3.3.4.3.2.3.cmml">0</mn></msub><mo id="A3.Ex16.m1.5.5.1.1.3.3.4.3.1" xref="A3.Ex16.m1.5.5.1.1.3.3.4.3.1.cmml">∼</mo><msub id="A3.Ex16.m1.5.5.1.1.3.3.4.3.3" xref="A3.Ex16.m1.5.5.1.1.3.3.4.3.3.cmml"><mi class="ltx_font_mathcaligraphic" id="A3.Ex16.m1.5.5.1.1.3.3.4.3.3.2" xref="A3.Ex16.m1.5.5.1.1.3.3.4.3.3.2.cmml">𝒫</mi><mn id="A3.Ex16.m1.5.5.1.1.3.3.4.3.3.3" xref="A3.Ex16.m1.5.5.1.1.3.3.4.3.3.3.cmml">0</mn></msub></mrow></msub><mo lspace="0em" rspace="0em" id="A3.Ex16.m1.5.5.1.1.3.3.3a" xref="A3.Ex16.m1.5.5.1.1.3.3.3.cmml">​</mo><mrow id="A3.Ex16.m1.5.5.1.1.3.3.2.1" xref="A3.Ex16.m1.5.5.1.1.3.3.2.2.cmml"><mo id="A3.Ex16.m1.5.5.1.1.3.3.2.1.2" xref="A3.Ex16.m1.5.5.1.1.3.3.2.2.1.cmml">[</mo><mrow id="A3.Ex16.m1.5.5.1.1.3.3.2.1.1" xref="A3.Ex16.m1.5.5.1.1.3.3.2.1.1.cmml"><msup id="A3.Ex16.m1.5.5.1.1.3.3.2.1.1.3" xref="A3.Ex16.m1.5.5.1.1.3.3.2.1.1.3.cmml"><mi id="A3.Ex16.m1.5.5.1.1.3.3.2.1.1.3.2" xref="A3.Ex16.m1.5.5.1.1.3.3.2.1.1.3.2.cmml">V</mi><mi id="A3.Ex16.m1.5.5.1.1.3.3.2.1.1.3.3" xref="A3.Ex16.m1.5.5.1.1.3.3.2.1.1.3.3.cmml">θ</mi></msup><mo lspace="0em" rspace="0em" id="A3.Ex16.m1.5.5.1.1.3.3.2.1.1.2" xref="A3.Ex16.m1.5.5.1.1.3.3.2.1.1.2.cmml">​</mo><mrow id="A3.Ex16.m1.5.5.1.1.3.3.2.1.1.1.1" xref="A3.Ex16.m1.5.5.1.1.3.3.2.1.1.1.1.1.cmml"><mo stretchy="false" id="A3.Ex16.m1.5.5.1.1.3.3.2.1.1.1.1.2" xref="A3.Ex16.m1.5.5.1.1.3.3.2.1.1.1.1.1.cmml">(</mo><msub id="A3.Ex16.m1.5.5.1.1.3.3.2.1.1.1.1.1" xref="A3.Ex16.m1.5.5.1.1.3.3.2.1.1.1.1.1.cmml"><mi id="A3.Ex16.m1.5.5.1.1.3.3.2.1.1.1.1.1.2" xref="A3.Ex16.m1.5.5.1.1.3.3.2.1.1.1.1.1.2.cmml">s</mi><mn id="A3.Ex16.m1.5.5.1.1.3.3.2.1.1.1.1.1.3" xref="A3.Ex16.m1.5.5.1.1.3.3.2.1.1.1.1.1.3.cmml">0</mn></msub><mo stretchy="false" id="A3.Ex16.m1.5.5.1.1.3.3.2.1.1.1.1.3" xref="A3.Ex16.m1.5.5.1.1.3.3.2.1.1.1.1.1.cmml">)</mo></mrow></mrow><mo id="A3.Ex16.m1.5.5.1.1.3.3.2.1.3" xref="A3.Ex16.m1.5.5.1.1.3.3.2.2.1.cmml">]</mo></mrow></mrow><mo id="A3.Ex16.m1.5.5.1.1.4.5a" xref="A3.Ex16.m1.5.5.1.1.4.5.cmml">−</mo><mrow id="A3.Ex16.m1.5.5.1.1.4.4" xref="A3.Ex16.m1.5.5.1.1.4.4.cmml"><mi id="A3.Ex16.m1.5.5.1.1.4.4.3" xref="A3.Ex16.m1.5.5.1.1.4.4.3.cmml">ψ</mi><mo lspace="0em" rspace="0em" id="A3.Ex16.m1.5.5.1.1.4.4.2" xref="A3.Ex16.m1.5.5.1.1.4.4.2.cmml">​</mo><mrow id="A3.Ex16.m1.5.5.1.1.4.4.1.1" xref="A3.Ex16.m1.5.5.1.1.4.4.1.1.1.cmml"><mo stretchy="false" id="A3.Ex16.m1.5.5.1.1.4.4.1.1.2" xref="A3.Ex16.m1.5.5.1.1.4.4.1.1.1.cmml">(</mo><mrow id="A3.Ex16.m1.5.5.1.1.4.4.1.1.1" xref="A3.Ex16.m1.5.5.1.1.4.4.1.1.1.cmml"><msup id="A3.Ex16.m1.5.5.1.1.4.4.1.1.1.2" xref="A3.Ex16.m1.5.5.1.1.4.4.1.1.1.2.cmml"><mi class="ltx_font_mathcaligraphic" id="A3.Ex16.m1.5.5.1.1.4.4.1.1.1.2.2" xref="A3.Ex16.m1.5.5.1.1.4.4.1.1.1.2.2.cmml">𝒯</mi><mi id="A3.Ex16.m1.5.5.1.1.4.4.1.1.1.2.3" xref="A3.Ex16.m1.5.5.1.1.4.4.1.1.1.2.3.cmml">θ</mi></msup><mo lspace="0em" rspace="0em" id="A3.Ex16.m1.5.5.1.1.4.4.1.1.1.1" xref="A3.Ex16.m1.5.5.1.1.4.4.1.1.1.1.cmml">​</mo><mi id="A3.Ex16.m1.5.5.1.1.4.4.1.1.1.3" xref="A3.Ex16.m1.5.5.1.1.4.4.1.1.1.3.cmml">Q</mi></mrow><mo stretchy="false" id="A3.Ex16.m1.5.5.1.1.4.4.1.1.3" xref="A3.Ex16.m1.5.5.1.1.4.4.1.1.1.cmml">)</mo></mrow></mrow></mrow></mrow><mo id="A3.Ex16.m1.5.5.1.2" xref="A3.Ex16.m1.5.5.1.1.cmml">,</mo></mrow><annotation-xml encoding="MathML-Content" id="A3.Ex16.m1.5b"><apply id="A3.Ex16.m1.5.5.1.1.cmml" xref="A3.Ex16.m1.5.5.1"><eq id="A3.Ex16.m1.5.5.1.1.5.cmml" xref="A3.Ex16.m1.5.5.1.1.5"></eq><csymbol cd="latexml" id="A3.Ex16.m1.5.5.1.1.6.cmml" xref="A3.Ex16.m1.5.5.1.1.6">absent</csymbol><apply id="A3.Ex16.m1.5.5.1.1.4.cmml" xref="A3.Ex16.m1.5.5.1.1.4"><minus id="A3.Ex16.m1.5.5.1.1.4.5.cmml" xref="A3.Ex16.m1.5.5.1.1.4.5"></minus><apply id="A3.Ex16.m1.5.5.1.1.1.1.cmml" xref="A3.Ex16.m1.5.5.1.1.1.1"><apply id="A3.Ex16.m1.5.5.1.1.1.1.2.cmml" xref="A3.Ex16.m1.5.5.1.1.1.1.2"><csymbol cd="ambiguous" id="A3.Ex16.m1.5.5.1.1.1.1.2.1.cmml" xref="A3.Ex16.m1.5.5.1.1.1.1.2">subscript</csymbol><csymbol cd="latexml" id="A3.Ex16.m1.5.5.1.1.1.1.2.2.cmml" xref="A3.Ex16.m1.5.5.1.1.1.1.2.2">supremum</csymbol><ci id="A3.Ex16.m1.5.5.1.1.1.1.2.3.cmml" xref="A3.Ex16.m1.5.5.1.1.1.1.2.3">𝑄</ci></apply><apply id="A3.Ex16.m1.5.5.1.1.1.1.1.cmml" xref="A3.Ex16.m1.5.5.1.1.1.1.1"><apply id="A3.Ex16.m1.5.5.1.1.1.1.1.2.cmml" xref="A3.Ex16.m1.5.5.1.1.1.1.1.2"><csymbol cd="ambiguous" id="A3.Ex16.m1.5.5.1.1.1.1.1.2.1.cmml" xref="A3.Ex16.m1.5.5.1.1.1.1.1.2">subscript</csymbol><csymbol cd="latexml" id="A3.Ex16.m1.5.5.1.1.1.1.1.2.2.cmml" xref="A3.Ex16.m1.5.5.1.1.1.1.1.2.2">infimum</csymbol><ci id="A3.Ex16.m1.5.5.1.1.1.1.1.2.3.cmml" xref="A3.Ex16.m1.5.5.1.1.1.1.1.2.3">𝜃</ci></apply><apply id="A3.Ex16.m1.5.5.1.1.1.1.1.1.cmml" xref="A3.Ex16.m1.5.5.1.1.1.1.1.1"><times id="A3.Ex16.m1.5.5.1.1.1.1.1.1.2.cmml" xref="A3.Ex16.m1.5.5.1.1.1.1.1.1.2"></times><apply id="A3.Ex16.m1.5.5.1.1.1.1.1.1.3.cmml" xref="A3.Ex16.m1.5.5.1.1.1.1.1.1.3"><csymbol cd="ambiguous" id="A3.Ex16.m1.5.5.1.1.1.1.1.1.3.1.cmml" xref="A3.Ex16.m1.5.5.1.1.1.1.1.1.3">subscript</csymbol><ci id="A3.Ex16.m1.5.5.1.1.1.1.1.1.3.2.cmml" xref="A3.Ex16.m1.5.5.1.1.1.1.1.1.3.2">𝔼</ci><apply id="A3.Ex16.m1.2.2.2.cmml" xref="A3.Ex16.m1.2.2.2"><csymbol cd="latexml" id="A3.Ex16.m1.2.2.2.3.cmml" xref="A3.Ex16.m1.2.2.2.3">similar-to</csymbol><list id="A3.Ex16.m1.2.2.2.4.1.cmml" xref="A3.Ex16.m1.2.2.2.4.2"><ci id="A3.Ex16.m1.1.1.1.1.cmml" xref="A3.Ex16.m1.1.1.1.1">𝑠</ci><ci id="A3.Ex16.m1.2.2.2.2.cmml" xref="A3.Ex16.m1.2.2.2.2">𝑎</ci></list><apply id="A3.Ex16.m1.2.2.2.5.cmml" xref="A3.Ex16.m1.2.2.2.5"><csymbol cd="ambiguous" id="A3.Ex16.m1.2.2.2.5.1.cmml" xref="A3.Ex16.m1.2.2.2.5">subscript</csymbol><ci id="A3.Ex16.m1.2.2.2.5.2.cmml" xref="A3.Ex16.m1.2.2.2.5.2">𝜌</ci><ci id="A3.Ex16.m1.2.2.2.5.3a.cmml" xref="A3.Ex16.m1.2.2.2.5.3"><mtext class="ltx_mathvariant_italic" mathsize="50%" id="A3.Ex16.m1.2.2.2.5.3.cmml" xref="A3.Ex16.m1.2.2.2.5.3">data</mtext></ci></apply></apply></apply><apply id="A3.Ex16.m1.5.5.1.1.1.1.1.1.1.2.cmml" xref="A3.Ex16.m1.5.5.1.1.1.1.1.1.1.1"><csymbol cd="latexml" id="A3.Ex16.m1.5.5.1.1.1.1.1.1.1.2.1.cmml" xref="A3.Ex16.m1.5.5.1.1.1.1.1.1.1.1.2">delimited-[]</csymbol><apply id="A3.Ex16.m1.5.5.1.1.1.1.1.1.1.1.1.cmml" xref="A3.Ex16.m1.5.5.1.1.1.1.1.1.1.1.1"><times id="A3.Ex16.m1.5.5.1.1.1.1.1.1.1.1.1.2.cmml" xref="A3.Ex16.m1.5.5.1.1.1.1.1.1.1.1.1.2"></times><apply id="A3.Ex16.m1.5.5.1.1.1.1.1.1.1.1.1.1.1.1.cmml" xref="A3.Ex16.m1.5.5.1.1.1.1.1.1.1.1.1.1.1"><times id="A3.Ex16.m1.5.5.1.1.1.1.1.1.1.1.1.1.1.1.1.cmml" xref="A3.Ex16.m1.5.5.1.1.1.1.1.1.1.1.1.1.1.1.1"></times><apply id="A3.Ex16.m1.5.5.1.1.1.1.1.1.1.1.1.1.1.1.2.cmml" xref="A3.Ex16.m1.5.5.1.1.1.1.1.1.1.1.1.1.1.1.2"><csymbol cd="ambiguous" id="A3.Ex16.m1.5.5.1.1.1.1.1.1.1.1.1.1.1.1.2.1.cmml" xref="A3.Ex16.m1.5.5.1.1.1.1.1.1.1.1.1.1.1.1.2">superscript</csymbol><ci id="A3.Ex16.m1.5.5.1.1.1.1.1.1.1.1.1.1.1.1.2.2.cmml" xref="A3.Ex16.m1.5.5.1.1.1.1.1.1.1.1.1.1.1.1.2.2">𝒯</ci><ci id="A3.Ex16.m1.5.5.1.1.1.1.1.1.1.1.1.1.1.1.2.3.cmml" xref="A3.Ex16.m1.5.5.1.1.1.1.1.1.1.1.1.1.1.1.2.3">𝜃</ci></apply><ci id="A3.Ex16.m1.5.5.1.1.1.1.1.1.1.1.1.1.1.1.3.cmml" xref="A3.Ex16.m1.5.5.1.1.1.1.1.1.1.1.1.1.1.1.3">𝑄</ci></apply><interval closure="open" id="A3.Ex16.m1.5.5.1.1.1.1.1.1.1.1.1.3.1.cmml" xref="A3.Ex16.m1.5.5.1.1.1.1.1.1.1.1.1.3.2"><ci id="A3.Ex16.m1.3.3.cmml" xref="A3.Ex16.m1.3.3">𝑠</ci><ci id="A3.Ex16.m1.4.4.cmml" xref="A3.Ex16.m1.4.4">𝑎</ci></interval></apply></apply></apply></apply></apply><apply id="A3.Ex16.m1.5.5.1.1.3.3.cmml" xref="A3.Ex16.m1.5.5.1.1.3.3"><times id="A3.Ex16.m1.5.5.1.1.3.3.3.cmml" xref="A3.Ex16.m1.5.5.1.1.3.3.3"></times><apply id="A3.Ex16.m1.5.5.1.1.2.2.1.1.1.cmml" xref="A3.Ex16.m1.5.5.1.1.2.2.1.1"><minus id="A3.Ex16.m1.5.5.1.1.2.2.1.1.1.1.cmml" xref="A3.Ex16.m1.5.5.1.1.2.2.1.1.1.1"></minus><cn type="integer" id="A3.Ex16.m1.5.5.1.1.2.2.1.1.1.2.cmml" xref="A3.Ex16.m1.5.5.1.1.2.2.1.1.1.2">1</cn><ci id="A3.Ex16.m1.5.5.1.1.2.2.1.1.1.3.cmml" xref="A3.Ex16.m1.5.5.1.1.2.2.1.1.1.3">𝛾</ci></apply><apply id="A3.Ex16.m1.5.5.1.1.3.3.4.cmml" xref="A3.Ex16.m1.5.5.1.1.3.3.4"><csymbol cd="ambiguous" id="A3.Ex16.m1.5.5.1.1.3.3.4.1.cmml" xref="A3.Ex16.m1.5.5.1.1.3.3.4">subscript</csymbol><ci id="A3.Ex16.m1.5.5.1.1.3.3.4.2.cmml" xref="A3.Ex16.m1.5.5.1.1.3.3.4.2">𝔼</ci><apply id="A3.Ex16.m1.5.5.1.1.3.3.4.3.cmml" xref="A3.Ex16.m1.5.5.1.1.3.3.4.3"><csymbol cd="latexml" id="A3.Ex16.m1.5.5.1.1.3.3.4.3.1.cmml" xref="A3.Ex16.m1.5.5.1.1.3.3.4.3.1">similar-to</csymbol><apply id="A3.Ex16.m1.5.5.1.1.3.3.4.3.2.cmml" xref="A3.Ex16.m1.5.5.1.1.3.3.4.3.2"><csymbol cd="ambiguous" id="A3.Ex16.m1.5.5.1.1.3.3.4.3.2.1.cmml" xref="A3.Ex16.m1.5.5.1.1.3.3.4.3.2">subscript</csymbol><ci id="A3.Ex16.m1.5.5.1.1.3.3.4.3.2.2.cmml" xref="A3.Ex16.m1.5.5.1.1.3.3.4.3.2.2">𝑠</ci><cn type="integer" id="A3.Ex16.m1.5.5.1.1.3.3.4.3.2.3.cmml" xref="A3.Ex16.m1.5.5.1.1.3.3.4.3.2.3">0</cn></apply><apply id="A3.Ex16.m1.5.5.1.1.3.3.4.3.3.cmml" xref="A3.Ex16.m1.5.5.1.1.3.3.4.3.3"><csymbol cd="ambiguous" id="A3.Ex16.m1.5.5.1.1.3.3.4.3.3.1.cmml" xref="A3.Ex16.m1.5.5.1.1.3.3.4.3.3">subscript</csymbol><ci id="A3.Ex16.m1.5.5.1.1.3.3.4.3.3.2.cmml" xref="A3.Ex16.m1.5.5.1.1.3.3.4.3.3.2">𝒫</ci><cn type="integer" id="A3.Ex16.m1.5.5.1.1.3.3.4.3.3.3.cmml" xref="A3.Ex16.m1.5.5.1.1.3.3.4.3.3.3">0</cn></apply></apply></apply><apply id="A3.Ex16.m1.5.5.1.1.3.3.2.2.cmml" xref="A3.Ex16.m1.5.5.1.1.3.3.2.1"><csymbol cd="latexml" id="A3.Ex16.m1.5.5.1.1.3.3.2.2.1.cmml" xref="A3.Ex16.m1.5.5.1.1.3.3.2.1.2">delimited-[]</csymbol><apply id="A3.Ex16.m1.5.5.1.1.3.3.2.1.1.cmml" xref="A3.Ex16.m1.5.5.1.1.3.3.2.1.1"><times id="A3.Ex16.m1.5.5.1.1.3.3.2.1.1.2.cmml" xref="A3.Ex16.m1.5.5.1.1.3.3.2.1.1.2"></times><apply id="A3.Ex16.m1.5.5.1.1.3.3.2.1.1.3.cmml" xref="A3.Ex16.m1.5.5.1.1.3.3.2.1.1.3"><csymbol cd="ambiguous" id="A3.Ex16.m1.5.5.1.1.3.3.2.1.1.3.1.cmml" xref="A3.Ex16.m1.5.5.1.1.3.3.2.1.1.3">superscript</csymbol><ci id="A3.Ex16.m1.5.5.1.1.3.3.2.1.1.3.2.cmml" xref="A3.Ex16.m1.5.5.1.1.3.3.2.1.1.3.2">𝑉</ci><ci id="A3.Ex16.m1.5.5.1.1.3.3.2.1.1.3.3.cmml" xref="A3.Ex16.m1.5.5.1.1.3.3.2.1.1.3.3">𝜃</ci></apply><apply id="A3.Ex16.m1.5.5.1.1.3.3.2.1.1.1.1.1.cmml" xref="A3.Ex16.m1.5.5.1.1.3.3.2.1.1.1.1"><csymbol cd="ambiguous" id="A3.Ex16.m1.5.5.1.1.3.3.2.1.1.1.1.1.1.cmml" xref="A3.Ex16.m1.5.5.1.1.3.3.2.1.1.1.1">subscript</csymbol><ci id="A3.Ex16.m1.5.5.1.1.3.3.2.1.1.1.1.1.2.cmml" xref="A3.Ex16.m1.5.5.1.1.3.3.2.1.1.1.1.1.2">𝑠</ci><cn type="integer" id="A3.Ex16.m1.5.5.1.1.3.3.2.1.1.1.1.1.3.cmml" xref="A3.Ex16.m1.5.5.1.1.3.3.2.1.1.1.1.1.3">0</cn></apply></apply></apply></apply><apply id="A3.Ex16.m1.5.5.1.1.4.4.cmml" xref="A3.Ex16.m1.5.5.1.1.4.4"><times id="A3.Ex16.m1.5.5.1.1.4.4.2.cmml" xref="A3.Ex16.m1.5.5.1.1.4.4.2"></times><ci id="A3.Ex16.m1.5.5.1.1.4.4.3.cmml" xref="A3.Ex16.m1.5.5.1.1.4.4.3">𝜓</ci><apply id="A3.Ex16.m1.5.5.1.1.4.4.1.1.1.cmml" xref="A3.Ex16.m1.5.5.1.1.4.4.1.1"><times id="A3.Ex16.m1.5.5.1.1.4.4.1.1.1.1.cmml" xref="A3.Ex16.m1.5.5.1.1.4.4.1.1.1.1"></times><apply id="A3.Ex16.m1.5.5.1.1.4.4.1.1.1.2.cmml" xref="A3.Ex16.m1.5.5.1.1.4.4.1.1.1.2"><csymbol cd="ambiguous" id="A3.Ex16.m1.5.5.1.1.4.4.1.1.1.2.1.cmml" xref="A3.Ex16.m1.5.5.1.1.4.4.1.1.1.2">superscript</csymbol><ci id="A3.Ex16.m1.5.5.1.1.4.4.1.1.1.2.2.cmml" xref="A3.Ex16.m1.5.5.1.1.4.4.1.1.1.2.2">𝒯</ci><ci id="A3.Ex16.m1.5.5.1.1.4.4.1.1.1.2.3.cmml" xref="A3.Ex16.m1.5.5.1.1.4.4.1.1.1.2.3">𝜃</ci></apply><ci id="A3.Ex16.m1.5.5.1.1.4.4.1.1.1.3.cmml" xref="A3.Ex16.m1.5.5.1.1.4.4.1.1.1.3">𝑄</ci></apply></apply></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="A3.Ex16.m1.5c">\displaystyle=\sup_{Q}\inf_{\theta}\mathbb{E}_{s,a\sim\rho_{\text{data}}}\left[(\mathcal{T}^{\theta}Q)(s,a)\right]-(1-\gamma)\mathbb{E}_{s_{0}\sim\mathcal{P}_{0}}\left[V^{\theta}(s_{0})\right]-\psi(\mathcal{T}^{\theta}Q),</annotation></semantics></math></td>
<td class="ltx_eqn_cell ltx_eqn_center_padright"></td>
</tr></tbody>
<tbody id="A3.Ex17"><tr class="ltx_equation ltx_eqn_row ltx_align_baseline">
<td class="ltx_eqn_cell ltx_eqn_center_padleft"></td>
<td class="ltx_td ltx_eqn_cell"></td>
<td class="ltx_td ltx_align_left ltx_eqn_cell"><math id="A3.Ex17.m1.7" class="ltx_math_unparsed" alttext="\displaystyle=\sup_{Q}\inf_{\theta}\mathbb{E}_{s,a\sim\rho_{\text{data}}}\left[\phi(Q(s,a)-\gamma\mathbb{E}_{s^{\prime}\sim\mathcal{P}(\cdot|s,a)}\left[V^{\theta}(s^{\prime})\right])\right]-(1-\gamma)\mathbb{E}_{s_{0}\sim\mathcal{P}_{0}}\left[V^{\theta}\left(s_{0}\right)\right]," display="inline"><semantics id="A3.Ex17.m1.7a"><mrow id="A3.Ex17.m1.7.7.1"><mrow id="A3.Ex17.m1.7.7.1.1"><mi id="A3.Ex17.m1.7.7.1.1.5"></mi><mo rspace="0.1389em" id="A3.Ex17.m1.7.7.1.1.4">=</mo><mrow id="A3.Ex17.m1.7.7.1.1.3"><mrow id="A3.Ex17.m1.7.7.1.1.1.1"><munder id="A3.Ex17.m1.7.7.1.1.1.1.2"><mo lspace="0.1389em" movablelimits="false" rspace="0.0835em" id="A3.Ex17.m1.7.7.1.1.1.1.2.2">sup</mo><mi id="A3.Ex17.m1.7.7.1.1.1.1.2.3">Q</mi></munder><mrow id="A3.Ex17.m1.7.7.1.1.1.1.1"><munder id="A3.Ex17.m1.7.7.1.1.1.1.1.2"><mo lspace="0.0835em" movablelimits="false" rspace="0.167em" id="A3.Ex17.m1.7.7.1.1.1.1.1.2.2">inf</mo><mi id="A3.Ex17.m1.7.7.1.1.1.1.1.2.3">θ</mi></munder><mrow id="A3.Ex17.m1.7.7.1.1.1.1.1.1"><msub id="A3.Ex17.m1.7.7.1.1.1.1.1.1.3"><mi id="A3.Ex17.m1.7.7.1.1.1.1.1.1.3.2">𝔼</mi><mrow id="A3.Ex17.m1.2.2.2"><mrow id="A3.Ex17.m1.2.2.2.4.2"><mi id="A3.Ex17.m1.1.1.1.1">s</mi><mo id="A3.Ex17.m1.2.2.2.4.2.1">,</mo><mi id="A3.Ex17.m1.2.2.2.2">a</mi></mrow><mo id="A3.Ex17.m1.2.2.2.3">∼</mo><msub id="A3.Ex17.m1.2.2.2.5"><mi id="A3.Ex17.m1.2.2.2.5.2">ρ</mi><mtext class="ltx_mathvariant_italic" id="A3.Ex17.m1.2.2.2.5.3">data</mtext></msub></mrow></msub><mo lspace="0em" rspace="0em" id="A3.Ex17.m1.7.7.1.1.1.1.1.1.2">​</mo><mrow id="A3.Ex17.m1.7.7.1.1.1.1.1.1.1.1"><mo id="A3.Ex17.m1.7.7.1.1.1.1.1.1.1.1.2">[</mo><mrow id="A3.Ex17.m1.7.7.1.1.1.1.1.1.1.1.1"><mi id="A3.Ex17.m1.7.7.1.1.1.1.1.1.1.1.1.3">ϕ</mi><mo lspace="0em" rspace="0em" id="A3.Ex17.m1.7.7.1.1.1.1.1.1.1.1.1.2">​</mo><mrow id="A3.Ex17.m1.7.7.1.1.1.1.1.1.1.1.1.1.1"><mo stretchy="false" id="A3.Ex17.m1.7.7.1.1.1.1.1.1.1.1.1.1.1.2">(</mo><mrow id="A3.Ex17.m1.7.7.1.1.1.1.1.1.1.1.1.1.1.1"><mrow id="A3.Ex17.m1.7.7.1.1.1.1.1.1.1.1.1.1.1.1.3"><mi id="A3.Ex17.m1.7.7.1.1.1.1.1.1.1.1.1.1.1.1.3.2">Q</mi><mo lspace="0em" rspace="0em" id="A3.Ex17.m1.7.7.1.1.1.1.1.1.1.1.1.1.1.1.3.1">​</mo><mrow id="A3.Ex17.m1.7.7.1.1.1.1.1.1.1.1.1.1.1.1.3.3.2"><mo stretchy="false" id="A3.Ex17.m1.7.7.1.1.1.1.1.1.1.1.1.1.1.1.3.3.2.1">(</mo><mi id="A3.Ex17.m1.5.5">s</mi><mo id="A3.Ex17.m1.7.7.1.1.1.1.1.1.1.1.1.1.1.1.3.3.2.2">,</mo><mi id="A3.Ex17.m1.6.6">a</mi><mo stretchy="false" id="A3.Ex17.m1.7.7.1.1.1.1.1.1.1.1.1.1.1.1.3.3.2.3">)</mo></mrow></mrow><mo id="A3.Ex17.m1.7.7.1.1.1.1.1.1.1.1.1.1.1.1.2">−</mo><mrow id="A3.Ex17.m1.7.7.1.1.1.1.1.1.1.1.1.1.1.1.1"><mi id="A3.Ex17.m1.7.7.1.1.1.1.1.1.1.1.1.1.1.1.1.3">γ</mi><mo lspace="0em" rspace="0em" id="A3.Ex17.m1.7.7.1.1.1.1.1.1.1.1.1.1.1.1.1.2">​</mo><msub id="A3.Ex17.m1.7.7.1.1.1.1.1.1.1.1.1.1.1.1.1.4"><mi id="A3.Ex17.m1.7.7.1.1.1.1.1.1.1.1.1.1.1.1.1.4.2">𝔼</mi><mrow id="A3.Ex17.m1.4.4.2"><msup id="A3.Ex17.m1.4.4.2.3"><mi id="A3.Ex17.m1.4.4.2.3.2">s</mi><mo id="A3.Ex17.m1.4.4.2.3.3">′</mo></msup><mo id="A3.Ex17.m1.4.4.2.4">∼</mo><mi class="ltx_font_mathcaligraphic" id="A3.Ex17.m1.4.4.2.5">𝒫</mi><mrow id="A3.Ex17.m1.4.4.2.6"><mo stretchy="false" id="A3.Ex17.m1.4.4.2.6.1">(</mo><mo lspace="0em" rspace="0em" id="A3.Ex17.m1.4.4.2.6.2">⋅</mo><mo fence="false" rspace="0.167em" stretchy="false" id="A3.Ex17.m1.4.4.2.6.3">|</mo><mi id="A3.Ex17.m1.3.3.1.1">s</mi><mo id="A3.Ex17.m1.4.4.2.6.4">,</mo><mi id="A3.Ex17.m1.4.4.2.2">a</mi><mo stretchy="false" id="A3.Ex17.m1.4.4.2.6.5">)</mo></mrow></mrow></msub><mo lspace="0em" rspace="0em" id="A3.Ex17.m1.7.7.1.1.1.1.1.1.1.1.1.1.1.1.1.2a">​</mo><mrow id="A3.Ex17.m1.7.7.1.1.1.1.1.1.1.1.1.1.1.1.1.1.1"><mo id="A3.Ex17.m1.7.7.1.1.1.1.1.1.1.1.1.1.1.1.1.1.1.2">[</mo><mrow id="A3.Ex17.m1.7.7.1.1.1.1.1.1.1.1.1.1.1.1.1.1.1.1"><msup id="A3.Ex17.m1.7.7.1.1.1.1.1.1.1.1.1.1.1.1.1.1.1.1.3"><mi id="A3.Ex17.m1.7.7.1.1.1.1.1.1.1.1.1.1.1.1.1.1.1.1.3.2">V</mi><mi id="A3.Ex17.m1.7.7.1.1.1.1.1.1.1.1.1.1.1.1.1.1.1.1.3.3">θ</mi></msup><mo lspace="0em" rspace="0em" id="A3.Ex17.m1.7.7.1.1.1.1.1.1.1.1.1.1.1.1.1.1.1.1.2">​</mo><mrow id="A3.Ex17.m1.7.7.1.1.1.1.1.1.1.1.1.1.1.1.1.1.1.1.1.1"><mo stretchy="false" id="A3.Ex17.m1.7.7.1.1.1.1.1.1.1.1.1.1.1.1.1.1.1.1.1.1.2">(</mo><msup id="A3.Ex17.m1.7.7.1.1.1.1.1.1.1.1.1.1.1.1.1.1.1.1.1.1.1"><mi id="A3.Ex17.m1.7.7.1.1.1.1.1.1.1.1.1.1.1.1.1.1.1.1.1.1.1.2">s</mi><mo id="A3.Ex17.m1.7.7.1.1.1.1.1.1.1.1.1.1.1.1.1.1.1.1.1.1.1.3">′</mo></msup><mo stretchy="false" id="A3.Ex17.m1.7.7.1.1.1.1.1.1.1.1.1.1.1.1.1.1.1.1.1.1.3">)</mo></mrow></mrow><mo id="A3.Ex17.m1.7.7.1.1.1.1.1.1.1.1.1.1.1.1.1.1.1.3">]</mo></mrow></mrow></mrow><mo stretchy="false" id="A3.Ex17.m1.7.7.1.1.1.1.1.1.1.1.1.1.1.3">)</mo></mrow></mrow><mo id="A3.Ex17.m1.7.7.1.1.1.1.1.1.1.1.3">]</mo></mrow></mrow></mrow></mrow><mo id="A3.Ex17.m1.7.7.1.1.3.4">−</mo><mrow id="A3.Ex17.m1.7.7.1.1.3.3"><mrow id="A3.Ex17.m1.7.7.1.1.2.2.1.1"><mo stretchy="false" id="A3.Ex17.m1.7.7.1.1.2.2.1.1.2">(</mo><mrow id="A3.Ex17.m1.7.7.1.1.2.2.1.1.1"><mn id="A3.Ex17.m1.7.7.1.1.2.2.1.1.1.2">1</mn><mo id="A3.Ex17.m1.7.7.1.1.2.2.1.1.1.1">−</mo><mi id="A3.Ex17.m1.7.7.1.1.2.2.1.1.1.3">γ</mi></mrow><mo stretchy="false" id="A3.Ex17.m1.7.7.1.1.2.2.1.1.3">)</mo></mrow><mo lspace="0em" rspace="0em" id="A3.Ex17.m1.7.7.1.1.3.3.3">​</mo><msub id="A3.Ex17.m1.7.7.1.1.3.3.4"><mi id="A3.Ex17.m1.7.7.1.1.3.3.4.2">𝔼</mi><mrow id="A3.Ex17.m1.7.7.1.1.3.3.4.3"><msub id="A3.Ex17.m1.7.7.1.1.3.3.4.3.2"><mi id="A3.Ex17.m1.7.7.1.1.3.3.4.3.2.2">s</mi><mn id="A3.Ex17.m1.7.7.1.1.3.3.4.3.2.3">0</mn></msub><mo id="A3.Ex17.m1.7.7.1.1.3.3.4.3.1">∼</mo><msub id="A3.Ex17.m1.7.7.1.1.3.3.4.3.3"><mi class="ltx_font_mathcaligraphic" id="A3.Ex17.m1.7.7.1.1.3.3.4.3.3.2">𝒫</mi><mn id="A3.Ex17.m1.7.7.1.1.3.3.4.3.3.3">0</mn></msub></mrow></msub><mo lspace="0em" rspace="0em" id="A3.Ex17.m1.7.7.1.1.3.3.3a">​</mo><mrow id="A3.Ex17.m1.7.7.1.1.3.3.2.1"><mo id="A3.Ex17.m1.7.7.1.1.3.3.2.1.2">[</mo><mrow id="A3.Ex17.m1.7.7.1.1.3.3.2.1.1"><msup id="A3.Ex17.m1.7.7.1.1.3.3.2.1.1.3"><mi id="A3.Ex17.m1.7.7.1.1.3.3.2.1.1.3.2">V</mi><mi id="A3.Ex17.m1.7.7.1.1.3.3.2.1.1.3.3">θ</mi></msup><mo lspace="0em" rspace="0em" id="A3.Ex17.m1.7.7.1.1.3.3.2.1.1.2">​</mo><mrow id="A3.Ex17.m1.7.7.1.1.3.3.2.1.1.1.1"><mo id="A3.Ex17.m1.7.7.1.1.3.3.2.1.1.1.1.2">(</mo><msub id="A3.Ex17.m1.7.7.1.1.3.3.2.1.1.1.1.1"><mi id="A3.Ex17.m1.7.7.1.1.3.3.2.1.1.1.1.1.2">s</mi><mn id="A3.Ex17.m1.7.7.1.1.3.3.2.1.1.1.1.1.3">0</mn></msub><mo id="A3.Ex17.m1.7.7.1.1.3.3.2.1.1.1.1.3">)</mo></mrow></mrow><mo id="A3.Ex17.m1.7.7.1.1.3.3.2.1.3">]</mo></mrow></mrow></mrow></mrow><mo id="A3.Ex17.m1.7.7.1.2">,</mo></mrow><annotation encoding="application/x-tex" id="A3.Ex17.m1.7b">\displaystyle=\sup_{Q}\inf_{\theta}\mathbb{E}_{s,a\sim\rho_{\text{data}}}\left[\phi(Q(s,a)-\gamma\mathbb{E}_{s^{\prime}\sim\mathcal{P}(\cdot|s,a)}\left[V^{\theta}(s^{\prime})\right])\right]-(1-\gamma)\mathbb{E}_{s_{0}\sim\mathcal{P}_{0}}\left[V^{\theta}\left(s_{0}\right)\right],</annotation></semantics></math></td>
<td class="ltx_eqn_cell ltx_eqn_center_padright"></td>
</tr></tbody>
<tbody id="A3.Ex18"><tr class="ltx_equation ltx_eqn_row ltx_align_baseline">
<td class="ltx_eqn_cell ltx_eqn_center_padleft"></td>
<td class="ltx_td ltx_eqn_cell"></td>
<td class="ltx_td ltx_align_left ltx_eqn_cell"><math id="A3.Ex18.m1.10" class="ltx_math_unparsed" alttext="\displaystyle=\sup_{Q}\inf_{\theta}\mathbb{E}_{s,a\sim\rho_{\text{data}}}\left[\phi(Q(s,a)-\gamma\mathbb{E}_{s^{\prime}\sim\mathcal{P}(\cdot|s,a)}\left[V^{\theta}(s^{\prime})\right])\right]-\mathbb{E}_{s,s^{\prime}\sim\rho}\left[V^{\theta}(s)-\gamma V^{\theta}(s^{\prime})\right]," display="inline"><semantics id="A3.Ex18.m1.10a"><mrow id="A3.Ex18.m1.10.10.1"><mrow id="A3.Ex18.m1.10.10.1.1"><mi id="A3.Ex18.m1.10.10.1.1.4"></mi><mo rspace="0.1389em" id="A3.Ex18.m1.10.10.1.1.3">=</mo><mrow id="A3.Ex18.m1.10.10.1.1.2"><mrow id="A3.Ex18.m1.10.10.1.1.1.1"><munder id="A3.Ex18.m1.10.10.1.1.1.1.2"><mo lspace="0.1389em" movablelimits="false" rspace="0.0835em" id="A3.Ex18.m1.10.10.1.1.1.1.2.2">sup</mo><mi id="A3.Ex18.m1.10.10.1.1.1.1.2.3">Q</mi></munder><mrow id="A3.Ex18.m1.10.10.1.1.1.1.1"><munder id="A3.Ex18.m1.10.10.1.1.1.1.1.2"><mo lspace="0.0835em" movablelimits="false" rspace="0.167em" id="A3.Ex18.m1.10.10.1.1.1.1.1.2.2">inf</mo><mi id="A3.Ex18.m1.10.10.1.1.1.1.1.2.3">θ</mi></munder><mrow id="A3.Ex18.m1.10.10.1.1.1.1.1.1"><msub id="A3.Ex18.m1.10.10.1.1.1.1.1.1.3"><mi id="A3.Ex18.m1.10.10.1.1.1.1.1.1.3.2">𝔼</mi><mrow id="A3.Ex18.m1.2.2.2"><mrow id="A3.Ex18.m1.2.2.2.4.2"><mi id="A3.Ex18.m1.1.1.1.1">s</mi><mo id="A3.Ex18.m1.2.2.2.4.2.1">,</mo><mi id="A3.Ex18.m1.2.2.2.2">a</mi></mrow><mo id="A3.Ex18.m1.2.2.2.3">∼</mo><msub id="A3.Ex18.m1.2.2.2.5"><mi id="A3.Ex18.m1.2.2.2.5.2">ρ</mi><mtext class="ltx_mathvariant_italic" id="A3.Ex18.m1.2.2.2.5.3">data</mtext></msub></mrow></msub><mo lspace="0em" rspace="0em" id="A3.Ex18.m1.10.10.1.1.1.1.1.1.2">​</mo><mrow id="A3.Ex18.m1.10.10.1.1.1.1.1.1.1.1"><mo id="A3.Ex18.m1.10.10.1.1.1.1.1.1.1.1.2">[</mo><mrow id="A3.Ex18.m1.10.10.1.1.1.1.1.1.1.1.1"><mi id="A3.Ex18.m1.10.10.1.1.1.1.1.1.1.1.1.3">ϕ</mi><mo lspace="0em" rspace="0em" id="A3.Ex18.m1.10.10.1.1.1.1.1.1.1.1.1.2">​</mo><mrow id="A3.Ex18.m1.10.10.1.1.1.1.1.1.1.1.1.1.1"><mo stretchy="false" id="A3.Ex18.m1.10.10.1.1.1.1.1.1.1.1.1.1.1.2">(</mo><mrow id="A3.Ex18.m1.10.10.1.1.1.1.1.1.1.1.1.1.1.1"><mrow id="A3.Ex18.m1.10.10.1.1.1.1.1.1.1.1.1.1.1.1.3"><mi id="A3.Ex18.m1.10.10.1.1.1.1.1.1.1.1.1.1.1.1.3.2">Q</mi><mo lspace="0em" rspace="0em" id="A3.Ex18.m1.10.10.1.1.1.1.1.1.1.1.1.1.1.1.3.1">​</mo><mrow id="A3.Ex18.m1.10.10.1.1.1.1.1.1.1.1.1.1.1.1.3.3.2"><mo stretchy="false" id="A3.Ex18.m1.10.10.1.1.1.1.1.1.1.1.1.1.1.1.3.3.2.1">(</mo><mi id="A3.Ex18.m1.7.7">s</mi><mo id="A3.Ex18.m1.10.10.1.1.1.1.1.1.1.1.1.1.1.1.3.3.2.2">,</mo><mi id="A3.Ex18.m1.8.8">a</mi><mo stretchy="false" id="A3.Ex18.m1.10.10.1.1.1.1.1.1.1.1.1.1.1.1.3.3.2.3">)</mo></mrow></mrow><mo id="A3.Ex18.m1.10.10.1.1.1.1.1.1.1.1.1.1.1.1.2">−</mo><mrow id="A3.Ex18.m1.10.10.1.1.1.1.1.1.1.1.1.1.1.1.1"><mi id="A3.Ex18.m1.10.10.1.1.1.1.1.1.1.1.1.1.1.1.1.3">γ</mi><mo lspace="0em" rspace="0em" id="A3.Ex18.m1.10.10.1.1.1.1.1.1.1.1.1.1.1.1.1.2">​</mo><msub id="A3.Ex18.m1.10.10.1.1.1.1.1.1.1.1.1.1.1.1.1.4"><mi id="A3.Ex18.m1.10.10.1.1.1.1.1.1.1.1.1.1.1.1.1.4.2">𝔼</mi><mrow id="A3.Ex18.m1.4.4.2"><msup id="A3.Ex18.m1.4.4.2.3"><mi id="A3.Ex18.m1.4.4.2.3.2">s</mi><mo id="A3.Ex18.m1.4.4.2.3.3">′</mo></msup><mo id="A3.Ex18.m1.4.4.2.4">∼</mo><mi class="ltx_font_mathcaligraphic" id="A3.Ex18.m1.4.4.2.5">𝒫</mi><mrow id="A3.Ex18.m1.4.4.2.6"><mo stretchy="false" id="A3.Ex18.m1.4.4.2.6.1">(</mo><mo lspace="0em" rspace="0em" id="A3.Ex18.m1.4.4.2.6.2">⋅</mo><mo fence="false" rspace="0.167em" stretchy="false" id="A3.Ex18.m1.4.4.2.6.3">|</mo><mi id="A3.Ex18.m1.3.3.1.1">s</mi><mo id="A3.Ex18.m1.4.4.2.6.4">,</mo><mi id="A3.Ex18.m1.4.4.2.2">a</mi><mo stretchy="false" id="A3.Ex18.m1.4.4.2.6.5">)</mo></mrow></mrow></msub><mo lspace="0em" rspace="0em" id="A3.Ex18.m1.10.10.1.1.1.1.1.1.1.1.1.1.1.1.1.2a">​</mo><mrow id="A3.Ex18.m1.10.10.1.1.1.1.1.1.1.1.1.1.1.1.1.1.1"><mo id="A3.Ex18.m1.10.10.1.1.1.1.1.1.1.1.1.1.1.1.1.1.1.2">[</mo><mrow id="A3.Ex18.m1.10.10.1.1.1.1.1.1.1.1.1.1.1.1.1.1.1.1"><msup id="A3.Ex18.m1.10.10.1.1.1.1.1.1.1.1.1.1.1.1.1.1.1.1.3"><mi id="A3.Ex18.m1.10.10.1.1.1.1.1.1.1.1.1.1.1.1.1.1.1.1.3.2">V</mi><mi id="A3.Ex18.m1.10.10.1.1.1.1.1.1.1.1.1.1.1.1.1.1.1.1.3.3">θ</mi></msup><mo lspace="0em" rspace="0em" id="A3.Ex18.m1.10.10.1.1.1.1.1.1.1.1.1.1.1.1.1.1.1.1.2">​</mo><mrow id="A3.Ex18.m1.10.10.1.1.1.1.1.1.1.1.1.1.1.1.1.1.1.1.1.1"><mo stretchy="false" id="A3.Ex18.m1.10.10.1.1.1.1.1.1.1.1.1.1.1.1.1.1.1.1.1.1.2">(</mo><msup id="A3.Ex18.m1.10.10.1.1.1.1.1.1.1.1.1.1.1.1.1.1.1.1.1.1.1"><mi id="A3.Ex18.m1.10.10.1.1.1.1.1.1.1.1.1.1.1.1.1.1.1.1.1.1.1.2">s</mi><mo id="A3.Ex18.m1.10.10.1.1.1.1.1.1.1.1.1.1.1.1.1.1.1.1.1.1.1.3">′</mo></msup><mo stretchy="false" id="A3.Ex18.m1.10.10.1.1.1.1.1.1.1.1.1.1.1.1.1.1.1.1.1.1.3">)</mo></mrow></mrow><mo id="A3.Ex18.m1.10.10.1.1.1.1.1.1.1.1.1.1.1.1.1.1.1.3">]</mo></mrow></mrow></mrow><mo stretchy="false" id="A3.Ex18.m1.10.10.1.1.1.1.1.1.1.1.1.1.1.3">)</mo></mrow></mrow><mo id="A3.Ex18.m1.10.10.1.1.1.1.1.1.1.1.3">]</mo></mrow></mrow></mrow></mrow><mo id="A3.Ex18.m1.10.10.1.1.2.3">−</mo><mrow id="A3.Ex18.m1.10.10.1.1.2.2"><msub id="A3.Ex18.m1.10.10.1.1.2.2.3"><mi id="A3.Ex18.m1.10.10.1.1.2.2.3.2">𝔼</mi><mrow id="A3.Ex18.m1.6.6.2"><mrow id="A3.Ex18.m1.6.6.2.2.1"><mi id="A3.Ex18.m1.5.5.1.1">s</mi><mo id="A3.Ex18.m1.6.6.2.2.1.2">,</mo><msup id="A3.Ex18.m1.6.6.2.2.1.1"><mi id="A3.Ex18.m1.6.6.2.2.1.1.2">s</mi><mo id="A3.Ex18.m1.6.6.2.2.1.1.3">′</mo></msup></mrow><mo id="A3.Ex18.m1.6.6.2.3">∼</mo><mi id="A3.Ex18.m1.6.6.2.4">ρ</mi></mrow></msub><mo lspace="0em" rspace="0em" id="A3.Ex18.m1.10.10.1.1.2.2.2">​</mo><mrow id="A3.Ex18.m1.10.10.1.1.2.2.1.1"><mo id="A3.Ex18.m1.10.10.1.1.2.2.1.1.2">[</mo><mrow id="A3.Ex18.m1.10.10.1.1.2.2.1.1.1"><mrow id="A3.Ex18.m1.10.10.1.1.2.2.1.1.1.3"><msup id="A3.Ex18.m1.10.10.1.1.2.2.1.1.1.3.2"><mi id="A3.Ex18.m1.10.10.1.1.2.2.1.1.1.3.2.2">V</mi><mi id="A3.Ex18.m1.10.10.1.1.2.2.1.1.1.3.2.3">θ</mi></msup><mo lspace="0em" rspace="0em" id="A3.Ex18.m1.10.10.1.1.2.2.1.1.1.3.1">​</mo><mrow id="A3.Ex18.m1.10.10.1.1.2.2.1.1.1.3.3.2"><mo stretchy="false" id="A3.Ex18.m1.10.10.1.1.2.2.1.1.1.3.3.2.1">(</mo><mi id="A3.Ex18.m1.9.9">s</mi><mo stretchy="false" id="A3.Ex18.m1.10.10.1.1.2.2.1.1.1.3.3.2.2">)</mo></mrow></mrow><mo id="A3.Ex18.m1.10.10.1.1.2.2.1.1.1.2">−</mo><mrow id="A3.Ex18.m1.10.10.1.1.2.2.1.1.1.1"><mi id="A3.Ex18.m1.10.10.1.1.2.2.1.1.1.1.3">γ</mi><mo lspace="0em" rspace="0em" id="A3.Ex18.m1.10.10.1.1.2.2.1.1.1.1.2">​</mo><msup id="A3.Ex18.m1.10.10.1.1.2.2.1.1.1.1.4"><mi id="A3.Ex18.m1.10.10.1.1.2.2.1.1.1.1.4.2">V</mi><mi id="A3.Ex18.m1.10.10.1.1.2.2.1.1.1.1.4.3">θ</mi></msup><mo lspace="0em" rspace="0em" id="A3.Ex18.m1.10.10.1.1.2.2.1.1.1.1.2a">​</mo><mrow id="A3.Ex18.m1.10.10.1.1.2.2.1.1.1.1.1.1"><mo stretchy="false" id="A3.Ex18.m1.10.10.1.1.2.2.1.1.1.1.1.1.2">(</mo><msup id="A3.Ex18.m1.10.10.1.1.2.2.1.1.1.1.1.1.1"><mi id="A3.Ex18.m1.10.10.1.1.2.2.1.1.1.1.1.1.1.2">s</mi><mo id="A3.Ex18.m1.10.10.1.1.2.2.1.1.1.1.1.1.1.3">′</mo></msup><mo stretchy="false" id="A3.Ex18.m1.10.10.1.1.2.2.1.1.1.1.1.1.3">)</mo></mrow></mrow></mrow><mo id="A3.Ex18.m1.10.10.1.1.2.2.1.1.3">]</mo></mrow></mrow></mrow></mrow><mo id="A3.Ex18.m1.10.10.1.2">,</mo></mrow><annotation encoding="application/x-tex" id="A3.Ex18.m1.10b">\displaystyle=\sup_{Q}\inf_{\theta}\mathbb{E}_{s,a\sim\rho_{\text{data}}}\left[\phi(Q(s,a)-\gamma\mathbb{E}_{s^{\prime}\sim\mathcal{P}(\cdot|s,a)}\left[V^{\theta}(s^{\prime})\right])\right]-\mathbb{E}_{s,s^{\prime}\sim\rho}\left[V^{\theta}(s)-\gamma V^{\theta}(s^{\prime})\right],</annotation></semantics></math></td>
<td class="ltx_eqn_cell ltx_eqn_center_padright"></td>
</tr></tbody>
<tbody id="A3.Ex19"><tr class="ltx_equation ltx_eqn_row ltx_align_baseline">
<td class="ltx_eqn_cell ltx_eqn_center_padleft"></td>
<td class="ltx_td ltx_eqn_cell"></td>
<td class="ltx_td ltx_align_left ltx_eqn_cell"><math id="A3.Ex19.m1.11" class="ltx_math_unparsed" alttext="\displaystyle=\sup_{Q}\mathcal{J}(Q)=\sup_{Q}\mathbb{E}_{s,a\sim\rho_{\text{data}}}\left[\phi(Q(s,a)-\gamma\mathbb{E}_{s^{\prime}\sim\mathcal{P}(\cdot|s,a)}\left[V(s^{\prime})\right])\right]-\mathbb{E}_{s,s^{\prime}\sim\rho}\left[V(s)-\gamma V(s^{\prime})\right]," display="inline"><semantics id="A3.Ex19.m1.11a"><mrow id="A3.Ex19.m1.11.11.1"><mrow id="A3.Ex19.m1.11.11.1.1"><mi id="A3.Ex19.m1.11.11.1.1.4"></mi><mo rspace="0.1389em" id="A3.Ex19.m1.11.11.1.1.5">=</mo><mrow id="A3.Ex19.m1.11.11.1.1.6"><munder id="A3.Ex19.m1.11.11.1.1.6.1"><mo lspace="0.1389em" movablelimits="false" rspace="0.167em" id="A3.Ex19.m1.11.11.1.1.6.1.2">sup</mo><mi id="A3.Ex19.m1.11.11.1.1.6.1.3">Q</mi></munder><mrow id="A3.Ex19.m1.11.11.1.1.6.2"><mi class="ltx_font_mathcaligraphic" id="A3.Ex19.m1.11.11.1.1.6.2.2">𝒥</mi><mo lspace="0em" rspace="0em" id="A3.Ex19.m1.11.11.1.1.6.2.1">​</mo><mrow id="A3.Ex19.m1.11.11.1.1.6.2.3.2"><mo stretchy="false" id="A3.Ex19.m1.11.11.1.1.6.2.3.2.1">(</mo><mi id="A3.Ex19.m1.7.7">Q</mi><mo stretchy="false" id="A3.Ex19.m1.11.11.1.1.6.2.3.2.2">)</mo></mrow></mrow></mrow><mo rspace="0.1389em" id="A3.Ex19.m1.11.11.1.1.7">=</mo><mrow id="A3.Ex19.m1.11.11.1.1.2"><mrow id="A3.Ex19.m1.11.11.1.1.1.1"><munder id="A3.Ex19.m1.11.11.1.1.1.1.2"><mo lspace="0.1389em" movablelimits="false" rspace="0.167em" id="A3.Ex19.m1.11.11.1.1.1.1.2.2">sup</mo><mi id="A3.Ex19.m1.11.11.1.1.1.1.2.3">Q</mi></munder><mrow id="A3.Ex19.m1.11.11.1.1.1.1.1"><msub id="A3.Ex19.m1.11.11.1.1.1.1.1.3"><mi id="A3.Ex19.m1.11.11.1.1.1.1.1.3.2">𝔼</mi><mrow id="A3.Ex19.m1.2.2.2"><mrow id="A3.Ex19.m1.2.2.2.4.2"><mi id="A3.Ex19.m1.1.1.1.1">s</mi><mo id="A3.Ex19.m1.2.2.2.4.2.1">,</mo><mi id="A3.Ex19.m1.2.2.2.2">a</mi></mrow><mo id="A3.Ex19.m1.2.2.2.3">∼</mo><msub id="A3.Ex19.m1.2.2.2.5"><mi id="A3.Ex19.m1.2.2.2.5.2">ρ</mi><mtext class="ltx_mathvariant_italic" id="A3.Ex19.m1.2.2.2.5.3">data</mtext></msub></mrow></msub><mo lspace="0em" rspace="0em" id="A3.Ex19.m1.11.11.1.1.1.1.1.2">​</mo><mrow id="A3.Ex19.m1.11.11.1.1.1.1.1.1.1"><mo id="A3.Ex19.m1.11.11.1.1.1.1.1.1.1.2">[</mo><mrow id="A3.Ex19.m1.11.11.1.1.1.1.1.1.1.1"><mi id="A3.Ex19.m1.11.11.1.1.1.1.1.1.1.1.3">ϕ</mi><mo lspace="0em" rspace="0em" id="A3.Ex19.m1.11.11.1.1.1.1.1.1.1.1.2">​</mo><mrow id="A3.Ex19.m1.11.11.1.1.1.1.1.1.1.1.1.1"><mo stretchy="false" id="A3.Ex19.m1.11.11.1.1.1.1.1.1.1.1.1.1.2">(</mo><mrow id="A3.Ex19.m1.11.11.1.1.1.1.1.1.1.1.1.1.1"><mrow id="A3.Ex19.m1.11.11.1.1.1.1.1.1.1.1.1.1.1.3"><mi id="A3.Ex19.m1.11.11.1.1.1.1.1.1.1.1.1.1.1.3.2">Q</mi><mo lspace="0em" rspace="0em" id="A3.Ex19.m1.11.11.1.1.1.1.1.1.1.1.1.1.1.3.1">​</mo><mrow id="A3.Ex19.m1.11.11.1.1.1.1.1.1.1.1.1.1.1.3.3.2"><mo stretchy="false" id="A3.Ex19.m1.11.11.1.1.1.1.1.1.1.1.1.1.1.3.3.2.1">(</mo><mi id="A3.Ex19.m1.8.8">s</mi><mo id="A3.Ex19.m1.11.11.1.1.1.1.1.1.1.1.1.1.1.3.3.2.2">,</mo><mi id="A3.Ex19.m1.9.9">a</mi><mo stretchy="false" id="A3.Ex19.m1.11.11.1.1.1.1.1.1.1.1.1.1.1.3.3.2.3">)</mo></mrow></mrow><mo id="A3.Ex19.m1.11.11.1.1.1.1.1.1.1.1.1.1.1.2">−</mo><mrow id="A3.Ex19.m1.11.11.1.1.1.1.1.1.1.1.1.1.1.1"><mi id="A3.Ex19.m1.11.11.1.1.1.1.1.1.1.1.1.1.1.1.3">γ</mi><mo lspace="0em" rspace="0em" id="A3.Ex19.m1.11.11.1.1.1.1.1.1.1.1.1.1.1.1.2">​</mo><msub id="A3.Ex19.m1.11.11.1.1.1.1.1.1.1.1.1.1.1.1.4"><mi id="A3.Ex19.m1.11.11.1.1.1.1.1.1.1.1.1.1.1.1.4.2">𝔼</mi><mrow id="A3.Ex19.m1.4.4.2"><msup id="A3.Ex19.m1.4.4.2.3"><mi id="A3.Ex19.m1.4.4.2.3.2">s</mi><mo id="A3.Ex19.m1.4.4.2.3.3">′</mo></msup><mo id="A3.Ex19.m1.4.4.2.4">∼</mo><mi class="ltx_font_mathcaligraphic" id="A3.Ex19.m1.4.4.2.5">𝒫</mi><mrow id="A3.Ex19.m1.4.4.2.6"><mo stretchy="false" id="A3.Ex19.m1.4.4.2.6.1">(</mo><mo lspace="0em" rspace="0em" id="A3.Ex19.m1.4.4.2.6.2">⋅</mo><mo fence="false" rspace="0.167em" stretchy="false" id="A3.Ex19.m1.4.4.2.6.3">|</mo><mi id="A3.Ex19.m1.3.3.1.1">s</mi><mo id="A3.Ex19.m1.4.4.2.6.4">,</mo><mi id="A3.Ex19.m1.4.4.2.2">a</mi><mo stretchy="false" id="A3.Ex19.m1.4.4.2.6.5">)</mo></mrow></mrow></msub><mo lspace="0em" rspace="0em" id="A3.Ex19.m1.11.11.1.1.1.1.1.1.1.1.1.1.1.1.2a">​</mo><mrow id="A3.Ex19.m1.11.11.1.1.1.1.1.1.1.1.1.1.1.1.1.1"><mo id="A3.Ex19.m1.11.11.1.1.1.1.1.1.1.1.1.1.1.1.1.1.2">[</mo><mrow id="A3.Ex19.m1.11.11.1.1.1.1.1.1.1.1.1.1.1.1.1.1.1"><mi id="A3.Ex19.m1.11.11.1.1.1.1.1.1.1.1.1.1.1.1.1.1.1.3">V</mi><mo lspace="0em" rspace="0em" id="A3.Ex19.m1.11.11.1.1.1.1.1.1.1.1.1.1.1.1.1.1.1.2">​</mo><mrow id="A3.Ex19.m1.11.11.1.1.1.1.1.1.1.1.1.1.1.1.1.1.1.1.1"><mo stretchy="false" id="A3.Ex19.m1.11.11.1.1.1.1.1.1.1.1.1.1.1.1.1.1.1.1.1.2">(</mo><msup id="A3.Ex19.m1.11.11.1.1.1.1.1.1.1.1.1.1.1.1.1.1.1.1.1.1"><mi id="A3.Ex19.m1.11.11.1.1.1.1.1.1.1.1.1.1.1.1.1.1.1.1.1.1.2">s</mi><mo id="A3.Ex19.m1.11.11.1.1.1.1.1.1.1.1.1.1.1.1.1.1.1.1.1.1.3">′</mo></msup><mo stretchy="false" id="A3.Ex19.m1.11.11.1.1.1.1.1.1.1.1.1.1.1.1.1.1.1.1.1.3">)</mo></mrow></mrow><mo id="A3.Ex19.m1.11.11.1.1.1.1.1.1.1.1.1.1.1.1.1.1.3">]</mo></mrow></mrow></mrow><mo stretchy="false" id="A3.Ex19.m1.11.11.1.1.1.1.1.1.1.1.1.1.3">)</mo></mrow></mrow><mo id="A3.Ex19.m1.11.11.1.1.1.1.1.1.1.3">]</mo></mrow></mrow></mrow><mo id="A3.Ex19.m1.11.11.1.1.2.3">−</mo><mrow id="A3.Ex19.m1.11.11.1.1.2.2"><msub id="A3.Ex19.m1.11.11.1.1.2.2.3"><mi id="A3.Ex19.m1.11.11.1.1.2.2.3.2">𝔼</mi><mrow id="A3.Ex19.m1.6.6.2"><mrow id="A3.Ex19.m1.6.6.2.2.1"><mi id="A3.Ex19.m1.5.5.1.1">s</mi><mo id="A3.Ex19.m1.6.6.2.2.1.2">,</mo><msup id="A3.Ex19.m1.6.6.2.2.1.1"><mi id="A3.Ex19.m1.6.6.2.2.1.1.2">s</mi><mo id="A3.Ex19.m1.6.6.2.2.1.1.3">′</mo></msup></mrow><mo id="A3.Ex19.m1.6.6.2.3">∼</mo><mi id="A3.Ex19.m1.6.6.2.4">ρ</mi></mrow></msub><mo lspace="0em" rspace="0em" id="A3.Ex19.m1.11.11.1.1.2.2.2">​</mo><mrow id="A3.Ex19.m1.11.11.1.1.2.2.1.1"><mo id="A3.Ex19.m1.11.11.1.1.2.2.1.1.2">[</mo><mrow id="A3.Ex19.m1.11.11.1.1.2.2.1.1.1"><mrow id="A3.Ex19.m1.11.11.1.1.2.2.1.1.1.3"><mi id="A3.Ex19.m1.11.11.1.1.2.2.1.1.1.3.2">V</mi><mo lspace="0em" rspace="0em" id="A3.Ex19.m1.11.11.1.1.2.2.1.1.1.3.1">​</mo><mrow id="A3.Ex19.m1.11.11.1.1.2.2.1.1.1.3.3.2"><mo stretchy="false" id="A3.Ex19.m1.11.11.1.1.2.2.1.1.1.3.3.2.1">(</mo><mi id="A3.Ex19.m1.10.10">s</mi><mo stretchy="false" id="A3.Ex19.m1.11.11.1.1.2.2.1.1.1.3.3.2.2">)</mo></mrow></mrow><mo id="A3.Ex19.m1.11.11.1.1.2.2.1.1.1.2">−</mo><mrow id="A3.Ex19.m1.11.11.1.1.2.2.1.1.1.1"><mi id="A3.Ex19.m1.11.11.1.1.2.2.1.1.1.1.3">γ</mi><mo lspace="0em" rspace="0em" id="A3.Ex19.m1.11.11.1.1.2.2.1.1.1.1.2">​</mo><mi id="A3.Ex19.m1.11.11.1.1.2.2.1.1.1.1.4">V</mi><mo lspace="0em" rspace="0em" id="A3.Ex19.m1.11.11.1.1.2.2.1.1.1.1.2a">​</mo><mrow id="A3.Ex19.m1.11.11.1.1.2.2.1.1.1.1.1.1"><mo stretchy="false" id="A3.Ex19.m1.11.11.1.1.2.2.1.1.1.1.1.1.2">(</mo><msup id="A3.Ex19.m1.11.11.1.1.2.2.1.1.1.1.1.1.1"><mi id="A3.Ex19.m1.11.11.1.1.2.2.1.1.1.1.1.1.1.2">s</mi><mo id="A3.Ex19.m1.11.11.1.1.2.2.1.1.1.1.1.1.1.3">′</mo></msup><mo stretchy="false" id="A3.Ex19.m1.11.11.1.1.2.2.1.1.1.1.1.1.3">)</mo></mrow></mrow></mrow><mo id="A3.Ex19.m1.11.11.1.1.2.2.1.1.3">]</mo></mrow></mrow></mrow></mrow><mo id="A3.Ex19.m1.11.11.1.2">,</mo></mrow><annotation encoding="application/x-tex" id="A3.Ex19.m1.11b">\displaystyle=\sup_{Q}\mathcal{J}(Q)=\sup_{Q}\mathbb{E}_{s,a\sim\rho_{\text{data}}}\left[\phi(Q(s,a)-\gamma\mathbb{E}_{s^{\prime}\sim\mathcal{P}(\cdot|s,a)}\left[V(s^{\prime})\right])\right]-\mathbb{E}_{s,s^{\prime}\sim\rho}\left[V(s)-\gamma V(s^{\prime})\right],</annotation></semantics></math></td>
<td class="ltx_eqn_cell ltx_eqn_center_padright"></td>
</tr></tbody>
</table>
</div>
</div>
<div id="A3.SS5.3" class="ltx_proof">
<h6 class="ltx_title ltx_runin ltx_font_italic ltx_title_proof">Proof.</h6>
<div id="A3.SS5.1.p1" class="ltx_para">
<p id="A3.SS5.1.p1.3" class="ltx_p">The first equality is proven in section <a href="#A3.SS1" title="C.1 Proof for Saddle Point Theorem ‣ Appendix C Proofs for section 3.2 ‣ SequenceMatch: Imitation Learning for Autoregressive Sequence Modelling with Backtracking" class="ltx_ref"><span class="ltx_text ltx_ref_tag">C.1</span></a>. The second line follows from sections <a href="#A3.SS2" title="C.2 Proof for Bijection between 𝑟 and 𝑄 ‣ Appendix C Proofs for section 3.2 ‣ SequenceMatch: Imitation Learning for Autoregressive Sequence Modelling with Backtracking" class="ltx_ref"><span class="ltx_text ltx_ref_tag">C.2</span></a> and <a href="#A3.SS4" title="C.4 Proof of equivalence of solutions of 𝒥 and 𝐿 ‣ Appendix C Proofs for section 3.2 ‣ SequenceMatch: Imitation Learning for Autoregressive Sequence Modelling with Backtracking" class="ltx_ref"><span class="ltx_text ltx_ref_tag">C.4</span></a>. The first section shows that the objectives <math id="A3.SS5.1.p1.1.m1.2" class="ltx_Math" alttext="\mathcal{J}(Q,\theta)" display="inline"><semantics id="A3.SS5.1.p1.1.m1.2a"><mrow id="A3.SS5.1.p1.1.m1.2.3" xref="A3.SS5.1.p1.1.m1.2.3.cmml"><mi class="ltx_font_mathcaligraphic" id="A3.SS5.1.p1.1.m1.2.3.2" xref="A3.SS5.1.p1.1.m1.2.3.2.cmml">𝒥</mi><mo lspace="0em" rspace="0em" id="A3.SS5.1.p1.1.m1.2.3.1" xref="A3.SS5.1.p1.1.m1.2.3.1.cmml">​</mo><mrow id="A3.SS5.1.p1.1.m1.2.3.3.2" xref="A3.SS5.1.p1.1.m1.2.3.3.1.cmml"><mo stretchy="false" id="A3.SS5.1.p1.1.m1.2.3.3.2.1" xref="A3.SS5.1.p1.1.m1.2.3.3.1.cmml">(</mo><mi id="A3.SS5.1.p1.1.m1.1.1" xref="A3.SS5.1.p1.1.m1.1.1.cmml">Q</mi><mo id="A3.SS5.1.p1.1.m1.2.3.3.2.2" xref="A3.SS5.1.p1.1.m1.2.3.3.1.cmml">,</mo><mi id="A3.SS5.1.p1.1.m1.2.2" xref="A3.SS5.1.p1.1.m1.2.2.cmml">θ</mi><mo stretchy="false" id="A3.SS5.1.p1.1.m1.2.3.3.2.3" xref="A3.SS5.1.p1.1.m1.2.3.3.1.cmml">)</mo></mrow></mrow><annotation-xml encoding="MathML-Content" id="A3.SS5.1.p1.1.m1.2b"><apply id="A3.SS5.1.p1.1.m1.2.3.cmml" xref="A3.SS5.1.p1.1.m1.2.3"><times id="A3.SS5.1.p1.1.m1.2.3.1.cmml" xref="A3.SS5.1.p1.1.m1.2.3.1"></times><ci id="A3.SS5.1.p1.1.m1.2.3.2.cmml" xref="A3.SS5.1.p1.1.m1.2.3.2">𝒥</ci><interval closure="open" id="A3.SS5.1.p1.1.m1.2.3.3.1.cmml" xref="A3.SS5.1.p1.1.m1.2.3.3.2"><ci id="A3.SS5.1.p1.1.m1.1.1.cmml" xref="A3.SS5.1.p1.1.m1.1.1">𝑄</ci><ci id="A3.SS5.1.p1.1.m1.2.2.cmml" xref="A3.SS5.1.p1.1.m1.2.2">𝜃</ci></interval></apply></annotation-xml><annotation encoding="application/x-tex" id="A3.SS5.1.p1.1.m1.2c">\mathcal{J}(Q,\theta)</annotation></semantics></math> and <math id="A3.SS5.1.p1.2.m2.2" class="ltx_Math" alttext="L(\theta,r)" display="inline"><semantics id="A3.SS5.1.p1.2.m2.2a"><mrow id="A3.SS5.1.p1.2.m2.2.3" xref="A3.SS5.1.p1.2.m2.2.3.cmml"><mi id="A3.SS5.1.p1.2.m2.2.3.2" xref="A3.SS5.1.p1.2.m2.2.3.2.cmml">L</mi><mo lspace="0em" rspace="0em" id="A3.SS5.1.p1.2.m2.2.3.1" xref="A3.SS5.1.p1.2.m2.2.3.1.cmml">​</mo><mrow id="A3.SS5.1.p1.2.m2.2.3.3.2" xref="A3.SS5.1.p1.2.m2.2.3.3.1.cmml"><mo stretchy="false" id="A3.SS5.1.p1.2.m2.2.3.3.2.1" xref="A3.SS5.1.p1.2.m2.2.3.3.1.cmml">(</mo><mi id="A3.SS5.1.p1.2.m2.1.1" xref="A3.SS5.1.p1.2.m2.1.1.cmml">θ</mi><mo id="A3.SS5.1.p1.2.m2.2.3.3.2.2" xref="A3.SS5.1.p1.2.m2.2.3.3.1.cmml">,</mo><mi id="A3.SS5.1.p1.2.m2.2.2" xref="A3.SS5.1.p1.2.m2.2.2.cmml">r</mi><mo stretchy="false" id="A3.SS5.1.p1.2.m2.2.3.3.2.3" xref="A3.SS5.1.p1.2.m2.2.3.3.1.cmml">)</mo></mrow></mrow><annotation-xml encoding="MathML-Content" id="A3.SS5.1.p1.2.m2.2b"><apply id="A3.SS5.1.p1.2.m2.2.3.cmml" xref="A3.SS5.1.p1.2.m2.2.3"><times id="A3.SS5.1.p1.2.m2.2.3.1.cmml" xref="A3.SS5.1.p1.2.m2.2.3.1"></times><ci id="A3.SS5.1.p1.2.m2.2.3.2.cmml" xref="A3.SS5.1.p1.2.m2.2.3.2">𝐿</ci><interval closure="open" id="A3.SS5.1.p1.2.m2.2.3.3.1.cmml" xref="A3.SS5.1.p1.2.m2.2.3.3.2"><ci id="A3.SS5.1.p1.2.m2.1.1.cmml" xref="A3.SS5.1.p1.2.m2.1.1">𝜃</ci><ci id="A3.SS5.1.p1.2.m2.2.2.cmml" xref="A3.SS5.1.p1.2.m2.2.2">𝑟</ci></interval></apply></annotation-xml><annotation encoding="application/x-tex" id="A3.SS5.1.p1.2.m2.2c">L(\theta,r)</annotation></semantics></math> are the same, by the bijective property of <math id="A3.SS5.1.p1.3.m3.1" class="ltx_Math" alttext="\mathcal{T}" display="inline"><semantics id="A3.SS5.1.p1.3.m3.1a"><mi class="ltx_font_mathcaligraphic" id="A3.SS5.1.p1.3.m3.1.1" xref="A3.SS5.1.p1.3.m3.1.1.cmml">𝒯</mi><annotation-xml encoding="MathML-Content" id="A3.SS5.1.p1.3.m3.1b"><ci id="A3.SS5.1.p1.3.m3.1.1.cmml" xref="A3.SS5.1.p1.3.m3.1.1">𝒯</ci></annotation-xml><annotation encoding="application/x-tex" id="A3.SS5.1.p1.3.m3.1c">\mathcal{T}</annotation></semantics></math>. The second section proves that the (unique) saddle points of the objectives correspond to the same solutions.</p>
</div>
<div id="A3.SS5.2.p2" class="ltx_para">
<p id="A3.SS5.2.p2.5" class="ltx_p">The third line follows from the telescoping sum given in section <a href="#A3.SS3" title="C.3 Telescoping Sum Proofs ‣ Appendix C Proofs for section 3.2 ‣ SequenceMatch: Imitation Learning for Autoregressive Sequence Modelling with Backtracking" class="ltx_ref"><span class="ltx_text ltx_ref_tag">C.3</span></a>. The fourth line follows from the substitution of a general <math id="A3.SS5.2.p2.1.m1.1" class="ltx_Math" alttext="\psi(r)" display="inline"><semantics id="A3.SS5.2.p2.1.m1.1a"><mrow id="A3.SS5.2.p2.1.m1.1.2" xref="A3.SS5.2.p2.1.m1.1.2.cmml"><mi id="A3.SS5.2.p2.1.m1.1.2.2" xref="A3.SS5.2.p2.1.m1.1.2.2.cmml">ψ</mi><mo lspace="0em" rspace="0em" id="A3.SS5.2.p2.1.m1.1.2.1" xref="A3.SS5.2.p2.1.m1.1.2.1.cmml">​</mo><mrow id="A3.SS5.2.p2.1.m1.1.2.3.2" xref="A3.SS5.2.p2.1.m1.1.2.cmml"><mo stretchy="false" id="A3.SS5.2.p2.1.m1.1.2.3.2.1" xref="A3.SS5.2.p2.1.m1.1.2.cmml">(</mo><mi id="A3.SS5.2.p2.1.m1.1.1" xref="A3.SS5.2.p2.1.m1.1.1.cmml">r</mi><mo stretchy="false" id="A3.SS5.2.p2.1.m1.1.2.3.2.2" xref="A3.SS5.2.p2.1.m1.1.2.cmml">)</mo></mrow></mrow><annotation-xml encoding="MathML-Content" id="A3.SS5.2.p2.1.m1.1b"><apply id="A3.SS5.2.p2.1.m1.1.2.cmml" xref="A3.SS5.2.p2.1.m1.1.2"><times id="A3.SS5.2.p2.1.m1.1.2.1.cmml" xref="A3.SS5.2.p2.1.m1.1.2.1"></times><ci id="A3.SS5.2.p2.1.m1.1.2.2.cmml" xref="A3.SS5.2.p2.1.m1.1.2.2">𝜓</ci><ci id="A3.SS5.2.p2.1.m1.1.1.cmml" xref="A3.SS5.2.p2.1.m1.1.1">𝑟</ci></apply></annotation-xml><annotation encoding="application/x-tex" id="A3.SS5.2.p2.1.m1.1c">\psi(r)</annotation></semantics></math> with a simpler regularizer <math id="A3.SS5.2.p2.2.m2.5" class="ltx_Math" alttext="\mathbb{E}_{s,a\sim\rho_{\text{data}}}\left[g(r(s,a))\right]" display="inline"><semantics id="A3.SS5.2.p2.2.m2.5a"><mrow id="A3.SS5.2.p2.2.m2.5.5" xref="A3.SS5.2.p2.2.m2.5.5.cmml"><msub id="A3.SS5.2.p2.2.m2.5.5.3" xref="A3.SS5.2.p2.2.m2.5.5.3.cmml"><mi id="A3.SS5.2.p2.2.m2.5.5.3.2" xref="A3.SS5.2.p2.2.m2.5.5.3.2.cmml">𝔼</mi><mrow id="A3.SS5.2.p2.2.m2.2.2.2" xref="A3.SS5.2.p2.2.m2.2.2.2.cmml"><mrow id="A3.SS5.2.p2.2.m2.2.2.2.4.2" xref="A3.SS5.2.p2.2.m2.2.2.2.4.1.cmml"><mi id="A3.SS5.2.p2.2.m2.1.1.1.1" xref="A3.SS5.2.p2.2.m2.1.1.1.1.cmml">s</mi><mo id="A3.SS5.2.p2.2.m2.2.2.2.4.2.1" xref="A3.SS5.2.p2.2.m2.2.2.2.4.1.cmml">,</mo><mi id="A3.SS5.2.p2.2.m2.2.2.2.2" xref="A3.SS5.2.p2.2.m2.2.2.2.2.cmml">a</mi></mrow><mo id="A3.SS5.2.p2.2.m2.2.2.2.3" xref="A3.SS5.2.p2.2.m2.2.2.2.3.cmml">∼</mo><msub id="A3.SS5.2.p2.2.m2.2.2.2.5" xref="A3.SS5.2.p2.2.m2.2.2.2.5.cmml"><mi id="A3.SS5.2.p2.2.m2.2.2.2.5.2" xref="A3.SS5.2.p2.2.m2.2.2.2.5.2.cmml">ρ</mi><mtext id="A3.SS5.2.p2.2.m2.2.2.2.5.3" xref="A3.SS5.2.p2.2.m2.2.2.2.5.3a.cmml">data</mtext></msub></mrow></msub><mo lspace="0em" rspace="0em" id="A3.SS5.2.p2.2.m2.5.5.2" xref="A3.SS5.2.p2.2.m2.5.5.2.cmml">​</mo><mrow id="A3.SS5.2.p2.2.m2.5.5.1.1" xref="A3.SS5.2.p2.2.m2.5.5.1.2.cmml"><mo id="A3.SS5.2.p2.2.m2.5.5.1.1.2" xref="A3.SS5.2.p2.2.m2.5.5.1.2.1.cmml">[</mo><mrow id="A3.SS5.2.p2.2.m2.5.5.1.1.1" xref="A3.SS5.2.p2.2.m2.5.5.1.1.1.cmml"><mi id="A3.SS5.2.p2.2.m2.5.5.1.1.1.3" xref="A3.SS5.2.p2.2.m2.5.5.1.1.1.3.cmml">g</mi><mo lspace="0em" rspace="0em" id="A3.SS5.2.p2.2.m2.5.5.1.1.1.2" xref="A3.SS5.2.p2.2.m2.5.5.1.1.1.2.cmml">​</mo><mrow id="A3.SS5.2.p2.2.m2.5.5.1.1.1.1.1" xref="A3.SS5.2.p2.2.m2.5.5.1.1.1.1.1.1.cmml"><mo stretchy="false" id="A3.SS5.2.p2.2.m2.5.5.1.1.1.1.1.2" xref="A3.SS5.2.p2.2.m2.5.5.1.1.1.1.1.1.cmml">(</mo><mrow id="A3.SS5.2.p2.2.m2.5.5.1.1.1.1.1.1" xref="A3.SS5.2.p2.2.m2.5.5.1.1.1.1.1.1.cmml"><mi id="A3.SS5.2.p2.2.m2.5.5.1.1.1.1.1.1.2" xref="A3.SS5.2.p2.2.m2.5.5.1.1.1.1.1.1.2.cmml">r</mi><mo lspace="0em" rspace="0em" id="A3.SS5.2.p2.2.m2.5.5.1.1.1.1.1.1.1" xref="A3.SS5.2.p2.2.m2.5.5.1.1.1.1.1.1.1.cmml">​</mo><mrow id="A3.SS5.2.p2.2.m2.5.5.1.1.1.1.1.1.3.2" xref="A3.SS5.2.p2.2.m2.5.5.1.1.1.1.1.1.3.1.cmml"><mo stretchy="false" id="A3.SS5.2.p2.2.m2.5.5.1.1.1.1.1.1.3.2.1" xref="A3.SS5.2.p2.2.m2.5.5.1.1.1.1.1.1.3.1.cmml">(</mo><mi id="A3.SS5.2.p2.2.m2.3.3" xref="A3.SS5.2.p2.2.m2.3.3.cmml">s</mi><mo id="A3.SS5.2.p2.2.m2.5.5.1.1.1.1.1.1.3.2.2" xref="A3.SS5.2.p2.2.m2.5.5.1.1.1.1.1.1.3.1.cmml">,</mo><mi id="A3.SS5.2.p2.2.m2.4.4" xref="A3.SS5.2.p2.2.m2.4.4.cmml">a</mi><mo stretchy="false" id="A3.SS5.2.p2.2.m2.5.5.1.1.1.1.1.1.3.2.3" xref="A3.SS5.2.p2.2.m2.5.5.1.1.1.1.1.1.3.1.cmml">)</mo></mrow></mrow><mo stretchy="false" id="A3.SS5.2.p2.2.m2.5.5.1.1.1.1.1.3" xref="A3.SS5.2.p2.2.m2.5.5.1.1.1.1.1.1.cmml">)</mo></mrow></mrow><mo id="A3.SS5.2.p2.2.m2.5.5.1.1.3" xref="A3.SS5.2.p2.2.m2.5.5.1.2.1.cmml">]</mo></mrow></mrow><annotation-xml encoding="MathML-Content" id="A3.SS5.2.p2.2.m2.5b"><apply id="A3.SS5.2.p2.2.m2.5.5.cmml" xref="A3.SS5.2.p2.2.m2.5.5"><times id="A3.SS5.2.p2.2.m2.5.5.2.cmml" xref="A3.SS5.2.p2.2.m2.5.5.2"></times><apply id="A3.SS5.2.p2.2.m2.5.5.3.cmml" xref="A3.SS5.2.p2.2.m2.5.5.3"><csymbol cd="ambiguous" id="A3.SS5.2.p2.2.m2.5.5.3.1.cmml" xref="A3.SS5.2.p2.2.m2.5.5.3">subscript</csymbol><ci id="A3.SS5.2.p2.2.m2.5.5.3.2.cmml" xref="A3.SS5.2.p2.2.m2.5.5.3.2">𝔼</ci><apply id="A3.SS5.2.p2.2.m2.2.2.2.cmml" xref="A3.SS5.2.p2.2.m2.2.2.2"><csymbol cd="latexml" id="A3.SS5.2.p2.2.m2.2.2.2.3.cmml" xref="A3.SS5.2.p2.2.m2.2.2.2.3">similar-to</csymbol><list id="A3.SS5.2.p2.2.m2.2.2.2.4.1.cmml" xref="A3.SS5.2.p2.2.m2.2.2.2.4.2"><ci id="A3.SS5.2.p2.2.m2.1.1.1.1.cmml" xref="A3.SS5.2.p2.2.m2.1.1.1.1">𝑠</ci><ci id="A3.SS5.2.p2.2.m2.2.2.2.2.cmml" xref="A3.SS5.2.p2.2.m2.2.2.2.2">𝑎</ci></list><apply id="A3.SS5.2.p2.2.m2.2.2.2.5.cmml" xref="A3.SS5.2.p2.2.m2.2.2.2.5"><csymbol cd="ambiguous" id="A3.SS5.2.p2.2.m2.2.2.2.5.1.cmml" xref="A3.SS5.2.p2.2.m2.2.2.2.5">subscript</csymbol><ci id="A3.SS5.2.p2.2.m2.2.2.2.5.2.cmml" xref="A3.SS5.2.p2.2.m2.2.2.2.5.2">𝜌</ci><ci id="A3.SS5.2.p2.2.m2.2.2.2.5.3a.cmml" xref="A3.SS5.2.p2.2.m2.2.2.2.5.3"><mtext mathsize="50%" id="A3.SS5.2.p2.2.m2.2.2.2.5.3.cmml" xref="A3.SS5.2.p2.2.m2.2.2.2.5.3">data</mtext></ci></apply></apply></apply><apply id="A3.SS5.2.p2.2.m2.5.5.1.2.cmml" xref="A3.SS5.2.p2.2.m2.5.5.1.1"><csymbol cd="latexml" id="A3.SS5.2.p2.2.m2.5.5.1.2.1.cmml" xref="A3.SS5.2.p2.2.m2.5.5.1.1.2">delimited-[]</csymbol><apply id="A3.SS5.2.p2.2.m2.5.5.1.1.1.cmml" xref="A3.SS5.2.p2.2.m2.5.5.1.1.1"><times id="A3.SS5.2.p2.2.m2.5.5.1.1.1.2.cmml" xref="A3.SS5.2.p2.2.m2.5.5.1.1.1.2"></times><ci id="A3.SS5.2.p2.2.m2.5.5.1.1.1.3.cmml" xref="A3.SS5.2.p2.2.m2.5.5.1.1.1.3">𝑔</ci><apply id="A3.SS5.2.p2.2.m2.5.5.1.1.1.1.1.1.cmml" xref="A3.SS5.2.p2.2.m2.5.5.1.1.1.1.1"><times id="A3.SS5.2.p2.2.m2.5.5.1.1.1.1.1.1.1.cmml" xref="A3.SS5.2.p2.2.m2.5.5.1.1.1.1.1.1.1"></times><ci id="A3.SS5.2.p2.2.m2.5.5.1.1.1.1.1.1.2.cmml" xref="A3.SS5.2.p2.2.m2.5.5.1.1.1.1.1.1.2">𝑟</ci><interval closure="open" id="A3.SS5.2.p2.2.m2.5.5.1.1.1.1.1.1.3.1.cmml" xref="A3.SS5.2.p2.2.m2.5.5.1.1.1.1.1.1.3.2"><ci id="A3.SS5.2.p2.2.m2.3.3.cmml" xref="A3.SS5.2.p2.2.m2.3.3">𝑠</ci><ci id="A3.SS5.2.p2.2.m2.4.4.cmml" xref="A3.SS5.2.p2.2.m2.4.4">𝑎</ci></interval></apply></apply></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="A3.SS5.2.p2.2.m2.5c">\mathbb{E}_{s,a\sim\rho_{\text{data}}}\left[g(r(s,a))\right]</annotation></semantics></math>, where <math id="A3.SS5.2.p2.3.m3.2" class="ltx_Math" alttext="g(r)=r-\phi(r)" display="inline"><semantics id="A3.SS5.2.p2.3.m3.2a"><mrow id="A3.SS5.2.p2.3.m3.2.3" xref="A3.SS5.2.p2.3.m3.2.3.cmml"><mrow id="A3.SS5.2.p2.3.m3.2.3.2" xref="A3.SS5.2.p2.3.m3.2.3.2.cmml"><mi id="A3.SS5.2.p2.3.m3.2.3.2.2" xref="A3.SS5.2.p2.3.m3.2.3.2.2.cmml">g</mi><mo lspace="0em" rspace="0em" id="A3.SS5.2.p2.3.m3.2.3.2.1" xref="A3.SS5.2.p2.3.m3.2.3.2.1.cmml">​</mo><mrow id="A3.SS5.2.p2.3.m3.2.3.2.3.2" xref="A3.SS5.2.p2.3.m3.2.3.2.cmml"><mo stretchy="false" id="A3.SS5.2.p2.3.m3.2.3.2.3.2.1" xref="A3.SS5.2.p2.3.m3.2.3.2.cmml">(</mo><mi id="A3.SS5.2.p2.3.m3.1.1" xref="A3.SS5.2.p2.3.m3.1.1.cmml">r</mi><mo stretchy="false" id="A3.SS5.2.p2.3.m3.2.3.2.3.2.2" xref="A3.SS5.2.p2.3.m3.2.3.2.cmml">)</mo></mrow></mrow><mo id="A3.SS5.2.p2.3.m3.2.3.1" xref="A3.SS5.2.p2.3.m3.2.3.1.cmml">=</mo><mrow id="A3.SS5.2.p2.3.m3.2.3.3" xref="A3.SS5.2.p2.3.m3.2.3.3.cmml"><mi id="A3.SS5.2.p2.3.m3.2.3.3.2" xref="A3.SS5.2.p2.3.m3.2.3.3.2.cmml">r</mi><mo id="A3.SS5.2.p2.3.m3.2.3.3.1" xref="A3.SS5.2.p2.3.m3.2.3.3.1.cmml">−</mo><mrow id="A3.SS5.2.p2.3.m3.2.3.3.3" xref="A3.SS5.2.p2.3.m3.2.3.3.3.cmml"><mi id="A3.SS5.2.p2.3.m3.2.3.3.3.2" xref="A3.SS5.2.p2.3.m3.2.3.3.3.2.cmml">ϕ</mi><mo lspace="0em" rspace="0em" id="A3.SS5.2.p2.3.m3.2.3.3.3.1" xref="A3.SS5.2.p2.3.m3.2.3.3.3.1.cmml">​</mo><mrow id="A3.SS5.2.p2.3.m3.2.3.3.3.3.2" xref="A3.SS5.2.p2.3.m3.2.3.3.3.cmml"><mo stretchy="false" id="A3.SS5.2.p2.3.m3.2.3.3.3.3.2.1" xref="A3.SS5.2.p2.3.m3.2.3.3.3.cmml">(</mo><mi id="A3.SS5.2.p2.3.m3.2.2" xref="A3.SS5.2.p2.3.m3.2.2.cmml">r</mi><mo stretchy="false" id="A3.SS5.2.p2.3.m3.2.3.3.3.3.2.2" xref="A3.SS5.2.p2.3.m3.2.3.3.3.cmml">)</mo></mrow></mrow></mrow></mrow><annotation-xml encoding="MathML-Content" id="A3.SS5.2.p2.3.m3.2b"><apply id="A3.SS5.2.p2.3.m3.2.3.cmml" xref="A3.SS5.2.p2.3.m3.2.3"><eq id="A3.SS5.2.p2.3.m3.2.3.1.cmml" xref="A3.SS5.2.p2.3.m3.2.3.1"></eq><apply id="A3.SS5.2.p2.3.m3.2.3.2.cmml" xref="A3.SS5.2.p2.3.m3.2.3.2"><times id="A3.SS5.2.p2.3.m3.2.3.2.1.cmml" xref="A3.SS5.2.p2.3.m3.2.3.2.1"></times><ci id="A3.SS5.2.p2.3.m3.2.3.2.2.cmml" xref="A3.SS5.2.p2.3.m3.2.3.2.2">𝑔</ci><ci id="A3.SS5.2.p2.3.m3.1.1.cmml" xref="A3.SS5.2.p2.3.m3.1.1">𝑟</ci></apply><apply id="A3.SS5.2.p2.3.m3.2.3.3.cmml" xref="A3.SS5.2.p2.3.m3.2.3.3"><minus id="A3.SS5.2.p2.3.m3.2.3.3.1.cmml" xref="A3.SS5.2.p2.3.m3.2.3.3.1"></minus><ci id="A3.SS5.2.p2.3.m3.2.3.3.2.cmml" xref="A3.SS5.2.p2.3.m3.2.3.3.2">𝑟</ci><apply id="A3.SS5.2.p2.3.m3.2.3.3.3.cmml" xref="A3.SS5.2.p2.3.m3.2.3.3.3"><times id="A3.SS5.2.p2.3.m3.2.3.3.3.1.cmml" xref="A3.SS5.2.p2.3.m3.2.3.3.3.1"></times><ci id="A3.SS5.2.p2.3.m3.2.3.3.3.2.cmml" xref="A3.SS5.2.p2.3.m3.2.3.3.3.2">italic-ϕ</ci><ci id="A3.SS5.2.p2.3.m3.2.2.cmml" xref="A3.SS5.2.p2.3.m3.2.2">𝑟</ci></apply></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="A3.SS5.2.p2.3.m3.2c">g(r)=r-\phi(r)</annotation></semantics></math> if <math id="A3.SS5.2.p2.4.m4.1" class="ltx_Math" alttext="r\in\Omega" display="inline"><semantics id="A3.SS5.2.p2.4.m4.1a"><mrow id="A3.SS5.2.p2.4.m4.1.1" xref="A3.SS5.2.p2.4.m4.1.1.cmml"><mi id="A3.SS5.2.p2.4.m4.1.1.2" xref="A3.SS5.2.p2.4.m4.1.1.2.cmml">r</mi><mo id="A3.SS5.2.p2.4.m4.1.1.1" xref="A3.SS5.2.p2.4.m4.1.1.1.cmml">∈</mo><mi mathvariant="normal" id="A3.SS5.2.p2.4.m4.1.1.3" xref="A3.SS5.2.p2.4.m4.1.1.3.cmml">Ω</mi></mrow><annotation-xml encoding="MathML-Content" id="A3.SS5.2.p2.4.m4.1b"><apply id="A3.SS5.2.p2.4.m4.1.1.cmml" xref="A3.SS5.2.p2.4.m4.1.1"><in id="A3.SS5.2.p2.4.m4.1.1.1.cmml" xref="A3.SS5.2.p2.4.m4.1.1.1"></in><ci id="A3.SS5.2.p2.4.m4.1.1.2.cmml" xref="A3.SS5.2.p2.4.m4.1.1.2">𝑟</ci><ci id="A3.SS5.2.p2.4.m4.1.1.3.cmml" xref="A3.SS5.2.p2.4.m4.1.1.3">Ω</ci></apply></annotation-xml><annotation encoding="application/x-tex" id="A3.SS5.2.p2.4.m4.1c">r\in\Omega</annotation></semantics></math>, and infinity otherwise. This allows us to ground out the divergence minimization directly to concrete divergences such as the KL-divergence, JS-divergence, <math id="A3.SS5.2.p2.5.m5.1" class="ltx_Math" alttext="\chi^{2}" display="inline"><semantics id="A3.SS5.2.p2.5.m5.1a"><msup id="A3.SS5.2.p2.5.m5.1.1" xref="A3.SS5.2.p2.5.m5.1.1.cmml"><mi id="A3.SS5.2.p2.5.m5.1.1.2" xref="A3.SS5.2.p2.5.m5.1.1.2.cmml">χ</mi><mn id="A3.SS5.2.p2.5.m5.1.1.3" xref="A3.SS5.2.p2.5.m5.1.1.3.cmml">2</mn></msup><annotation-xml encoding="MathML-Content" id="A3.SS5.2.p2.5.m5.1b"><apply id="A3.SS5.2.p2.5.m5.1.1.cmml" xref="A3.SS5.2.p2.5.m5.1.1"><csymbol cd="ambiguous" id="A3.SS5.2.p2.5.m5.1.1.1.cmml" xref="A3.SS5.2.p2.5.m5.1.1">superscript</csymbol><ci id="A3.SS5.2.p2.5.m5.1.1.2.cmml" xref="A3.SS5.2.p2.5.m5.1.1.2">𝜒</ci><cn type="integer" id="A3.SS5.2.p2.5.m5.1.1.3.cmml" xref="A3.SS5.2.p2.5.m5.1.1.3">2</cn></apply></annotation-xml><annotation encoding="application/x-tex" id="A3.SS5.2.p2.5.m5.1c">\chi^{2}</annotation></semantics></math>-divergence, etc. We discuss this more extensively in section <a href="#A4.SS1" title="D.1 𝑓-divergences ‣ Appendix D Choices of divergence measures ‣ SequenceMatch: Imitation Learning for Autoregressive Sequence Modelling with Backtracking" class="ltx_ref"><span class="ltx_text ltx_ref_tag">D.1</span></a>. In the fifth line we expand the telescoping sum in a different way using the result in section <a href="#A3.SS3" title="C.3 Telescoping Sum Proofs ‣ Appendix C Proofs for section 3.2 ‣ SequenceMatch: Imitation Learning for Autoregressive Sequence Modelling with Backtracking" class="ltx_ref"><span class="ltx_text ltx_ref_tag">C.3</span></a>. This allows us to incorporate samples from any policy, with the hope that it will decrease variance.</p>
</div>
<div id="A3.SS5.3.p3" class="ltx_para">
<p id="A3.SS5.3.p3.13" class="ltx_p">In the final line we parameterize the policy from the <math id="A3.SS5.3.p3.1.m1.1" class="ltx_Math" alttext="Q" display="inline"><semantics id="A3.SS5.3.p3.1.m1.1a"><mi id="A3.SS5.3.p3.1.m1.1.1" xref="A3.SS5.3.p3.1.m1.1.1.cmml">Q</mi><annotation-xml encoding="MathML-Content" id="A3.SS5.3.p3.1.m1.1b"><ci id="A3.SS5.3.p3.1.m1.1.1.cmml" xref="A3.SS5.3.p3.1.m1.1.1">𝑄</ci></annotation-xml><annotation encoding="application/x-tex" id="A3.SS5.3.p3.1.m1.1c">Q</annotation></semantics></math>-values, setting <math id="A3.SS5.3.p3.2.m2.5" class="ltx_Math" alttext="\log p_{Q}(a|s)=Q(s,a)-\log\sum_{a^{\prime}\in\mathcal{A}}\exp Q(s,a^{\prime})" display="inline"><semantics id="A3.SS5.3.p3.2.m2.5a"><mrow id="A3.SS5.3.p3.2.m2.5.5" xref="A3.SS5.3.p3.2.m2.5.5.cmml"><mrow id="A3.SS5.3.p3.2.m2.4.4.1" xref="A3.SS5.3.p3.2.m2.4.4.1.cmml"><mrow id="A3.SS5.3.p3.2.m2.4.4.1.3" xref="A3.SS5.3.p3.2.m2.4.4.1.3.cmml"><mi id="A3.SS5.3.p3.2.m2.4.4.1.3.1" xref="A3.SS5.3.p3.2.m2.4.4.1.3.1.cmml">log</mi><mo lspace="0.167em" id="A3.SS5.3.p3.2.m2.4.4.1.3a" xref="A3.SS5.3.p3.2.m2.4.4.1.3.cmml">⁡</mo><msub id="A3.SS5.3.p3.2.m2.4.4.1.3.2" xref="A3.SS5.3.p3.2.m2.4.4.1.3.2.cmml"><mi id="A3.SS5.3.p3.2.m2.4.4.1.3.2.2" xref="A3.SS5.3.p3.2.m2.4.4.1.3.2.2.cmml">p</mi><mi id="A3.SS5.3.p3.2.m2.4.4.1.3.2.3" xref="A3.SS5.3.p3.2.m2.4.4.1.3.2.3.cmml">Q</mi></msub></mrow><mo lspace="0em" rspace="0em" id="A3.SS5.3.p3.2.m2.4.4.1.2" xref="A3.SS5.3.p3.2.m2.4.4.1.2.cmml">​</mo><mrow id="A3.SS5.3.p3.2.m2.4.4.1.1.1" xref="A3.SS5.3.p3.2.m2.4.4.1.1.1.1.cmml"><mo stretchy="false" id="A3.SS5.3.p3.2.m2.4.4.1.1.1.2" xref="A3.SS5.3.p3.2.m2.4.4.1.1.1.1.cmml">(</mo><mrow id="A3.SS5.3.p3.2.m2.4.4.1.1.1.1" xref="A3.SS5.3.p3.2.m2.4.4.1.1.1.1.cmml"><mi id="A3.SS5.3.p3.2.m2.4.4.1.1.1.1.2" xref="A3.SS5.3.p3.2.m2.4.4.1.1.1.1.2.cmml">a</mi><mo fence="false" id="A3.SS5.3.p3.2.m2.4.4.1.1.1.1.1" xref="A3.SS5.3.p3.2.m2.4.4.1.1.1.1.1.cmml">|</mo><mi id="A3.SS5.3.p3.2.m2.4.4.1.1.1.1.3" xref="A3.SS5.3.p3.2.m2.4.4.1.1.1.1.3.cmml">s</mi></mrow><mo stretchy="false" id="A3.SS5.3.p3.2.m2.4.4.1.1.1.3" xref="A3.SS5.3.p3.2.m2.4.4.1.1.1.1.cmml">)</mo></mrow></mrow><mo id="A3.SS5.3.p3.2.m2.5.5.3" xref="A3.SS5.3.p3.2.m2.5.5.3.cmml">=</mo><mrow id="A3.SS5.3.p3.2.m2.5.5.2" xref="A3.SS5.3.p3.2.m2.5.5.2.cmml"><mrow id="A3.SS5.3.p3.2.m2.5.5.2.3" xref="A3.SS5.3.p3.2.m2.5.5.2.3.cmml"><mi id="A3.SS5.3.p3.2.m2.5.5.2.3.2" xref="A3.SS5.3.p3.2.m2.5.5.2.3.2.cmml">Q</mi><mo lspace="0em" rspace="0em" id="A3.SS5.3.p3.2.m2.5.5.2.3.1" xref="A3.SS5.3.p3.2.m2.5.5.2.3.1.cmml">​</mo><mrow id="A3.SS5.3.p3.2.m2.5.5.2.3.3.2" xref="A3.SS5.3.p3.2.m2.5.5.2.3.3.1.cmml"><mo stretchy="false" id="A3.SS5.3.p3.2.m2.5.5.2.3.3.2.1" xref="A3.SS5.3.p3.2.m2.5.5.2.3.3.1.cmml">(</mo><mi id="A3.SS5.3.p3.2.m2.1.1" xref="A3.SS5.3.p3.2.m2.1.1.cmml">s</mi><mo id="A3.SS5.3.p3.2.m2.5.5.2.3.3.2.2" xref="A3.SS5.3.p3.2.m2.5.5.2.3.3.1.cmml">,</mo><mi id="A3.SS5.3.p3.2.m2.2.2" xref="A3.SS5.3.p3.2.m2.2.2.cmml">a</mi><mo stretchy="false" id="A3.SS5.3.p3.2.m2.5.5.2.3.3.2.3" xref="A3.SS5.3.p3.2.m2.5.5.2.3.3.1.cmml">)</mo></mrow></mrow><mo id="A3.SS5.3.p3.2.m2.5.5.2.2" xref="A3.SS5.3.p3.2.m2.5.5.2.2.cmml">−</mo><mrow id="A3.SS5.3.p3.2.m2.5.5.2.1" xref="A3.SS5.3.p3.2.m2.5.5.2.1.cmml"><mi id="A3.SS5.3.p3.2.m2.5.5.2.1.3" xref="A3.SS5.3.p3.2.m2.5.5.2.1.3.cmml">log</mi><mo lspace="0em" rspace="0em" id="A3.SS5.3.p3.2.m2.5.5.2.1.2" xref="A3.SS5.3.p3.2.m2.5.5.2.1.2.cmml">​</mo><mrow id="A3.SS5.3.p3.2.m2.5.5.2.1.1" xref="A3.SS5.3.p3.2.m2.5.5.2.1.1.cmml"><msub id="A3.SS5.3.p3.2.m2.5.5.2.1.1.2" xref="A3.SS5.3.p3.2.m2.5.5.2.1.1.2.cmml"><mo id="A3.SS5.3.p3.2.m2.5.5.2.1.1.2.2" xref="A3.SS5.3.p3.2.m2.5.5.2.1.1.2.2.cmml">∑</mo><mrow id="A3.SS5.3.p3.2.m2.5.5.2.1.1.2.3" xref="A3.SS5.3.p3.2.m2.5.5.2.1.1.2.3.cmml"><msup id="A3.SS5.3.p3.2.m2.5.5.2.1.1.2.3.2" xref="A3.SS5.3.p3.2.m2.5.5.2.1.1.2.3.2.cmml"><mi id="A3.SS5.3.p3.2.m2.5.5.2.1.1.2.3.2.2" xref="A3.SS5.3.p3.2.m2.5.5.2.1.1.2.3.2.2.cmml">a</mi><mo id="A3.SS5.3.p3.2.m2.5.5.2.1.1.2.3.2.3" xref="A3.SS5.3.p3.2.m2.5.5.2.1.1.2.3.2.3.cmml">′</mo></msup><mo id="A3.SS5.3.p3.2.m2.5.5.2.1.1.2.3.1" xref="A3.SS5.3.p3.2.m2.5.5.2.1.1.2.3.1.cmml">∈</mo><mi class="ltx_font_mathcaligraphic" id="A3.SS5.3.p3.2.m2.5.5.2.1.1.2.3.3" xref="A3.SS5.3.p3.2.m2.5.5.2.1.1.2.3.3.cmml">𝒜</mi></mrow></msub><mrow id="A3.SS5.3.p3.2.m2.5.5.2.1.1.1" xref="A3.SS5.3.p3.2.m2.5.5.2.1.1.1.cmml"><mrow id="A3.SS5.3.p3.2.m2.5.5.2.1.1.1.3" xref="A3.SS5.3.p3.2.m2.5.5.2.1.1.1.3.cmml"><mi id="A3.SS5.3.p3.2.m2.5.5.2.1.1.1.3.1" xref="A3.SS5.3.p3.2.m2.5.5.2.1.1.1.3.1.cmml">exp</mi><mo lspace="0.167em" id="A3.SS5.3.p3.2.m2.5.5.2.1.1.1.3a" xref="A3.SS5.3.p3.2.m2.5.5.2.1.1.1.3.cmml">⁡</mo><mi id="A3.SS5.3.p3.2.m2.5.5.2.1.1.1.3.2" xref="A3.SS5.3.p3.2.m2.5.5.2.1.1.1.3.2.cmml">Q</mi></mrow><mo lspace="0em" rspace="0em" id="A3.SS5.3.p3.2.m2.5.5.2.1.1.1.2" xref="A3.SS5.3.p3.2.m2.5.5.2.1.1.1.2.cmml">​</mo><mrow id="A3.SS5.3.p3.2.m2.5.5.2.1.1.1.1.1" xref="A3.SS5.3.p3.2.m2.5.5.2.1.1.1.1.2.cmml"><mo stretchy="false" id="A3.SS5.3.p3.2.m2.5.5.2.1.1.1.1.1.2" xref="A3.SS5.3.p3.2.m2.5.5.2.1.1.1.1.2.cmml">(</mo><mi id="A3.SS5.3.p3.2.m2.3.3" xref="A3.SS5.3.p3.2.m2.3.3.cmml">s</mi><mo id="A3.SS5.3.p3.2.m2.5.5.2.1.1.1.1.1.3" xref="A3.SS5.3.p3.2.m2.5.5.2.1.1.1.1.2.cmml">,</mo><msup id="A3.SS5.3.p3.2.m2.5.5.2.1.1.1.1.1.1" xref="A3.SS5.3.p3.2.m2.5.5.2.1.1.1.1.1.1.cmml"><mi id="A3.SS5.3.p3.2.m2.5.5.2.1.1.1.1.1.1.2" xref="A3.SS5.3.p3.2.m2.5.5.2.1.1.1.1.1.1.2.cmml">a</mi><mo id="A3.SS5.3.p3.2.m2.5.5.2.1.1.1.1.1.1.3" xref="A3.SS5.3.p3.2.m2.5.5.2.1.1.1.1.1.1.3.cmml">′</mo></msup><mo stretchy="false" id="A3.SS5.3.p3.2.m2.5.5.2.1.1.1.1.1.4" xref="A3.SS5.3.p3.2.m2.5.5.2.1.1.1.1.2.cmml">)</mo></mrow></mrow></mrow></mrow></mrow></mrow><annotation-xml encoding="MathML-Content" id="A3.SS5.3.p3.2.m2.5b"><apply id="A3.SS5.3.p3.2.m2.5.5.cmml" xref="A3.SS5.3.p3.2.m2.5.5"><eq id="A3.SS5.3.p3.2.m2.5.5.3.cmml" xref="A3.SS5.3.p3.2.m2.5.5.3"></eq><apply id="A3.SS5.3.p3.2.m2.4.4.1.cmml" xref="A3.SS5.3.p3.2.m2.4.4.1"><times id="A3.SS5.3.p3.2.m2.4.4.1.2.cmml" xref="A3.SS5.3.p3.2.m2.4.4.1.2"></times><apply id="A3.SS5.3.p3.2.m2.4.4.1.3.cmml" xref="A3.SS5.3.p3.2.m2.4.4.1.3"><log id="A3.SS5.3.p3.2.m2.4.4.1.3.1.cmml" xref="A3.SS5.3.p3.2.m2.4.4.1.3.1"></log><apply id="A3.SS5.3.p3.2.m2.4.4.1.3.2.cmml" xref="A3.SS5.3.p3.2.m2.4.4.1.3.2"><csymbol cd="ambiguous" id="A3.SS5.3.p3.2.m2.4.4.1.3.2.1.cmml" xref="A3.SS5.3.p3.2.m2.4.4.1.3.2">subscript</csymbol><ci id="A3.SS5.3.p3.2.m2.4.4.1.3.2.2.cmml" xref="A3.SS5.3.p3.2.m2.4.4.1.3.2.2">𝑝</ci><ci id="A3.SS5.3.p3.2.m2.4.4.1.3.2.3.cmml" xref="A3.SS5.3.p3.2.m2.4.4.1.3.2.3">𝑄</ci></apply></apply><apply id="A3.SS5.3.p3.2.m2.4.4.1.1.1.1.cmml" xref="A3.SS5.3.p3.2.m2.4.4.1.1.1"><csymbol cd="latexml" id="A3.SS5.3.p3.2.m2.4.4.1.1.1.1.1.cmml" xref="A3.SS5.3.p3.2.m2.4.4.1.1.1.1.1">conditional</csymbol><ci id="A3.SS5.3.p3.2.m2.4.4.1.1.1.1.2.cmml" xref="A3.SS5.3.p3.2.m2.4.4.1.1.1.1.2">𝑎</ci><ci id="A3.SS5.3.p3.2.m2.4.4.1.1.1.1.3.cmml" xref="A3.SS5.3.p3.2.m2.4.4.1.1.1.1.3">𝑠</ci></apply></apply><apply id="A3.SS5.3.p3.2.m2.5.5.2.cmml" xref="A3.SS5.3.p3.2.m2.5.5.2"><minus id="A3.SS5.3.p3.2.m2.5.5.2.2.cmml" xref="A3.SS5.3.p3.2.m2.5.5.2.2"></minus><apply id="A3.SS5.3.p3.2.m2.5.5.2.3.cmml" xref="A3.SS5.3.p3.2.m2.5.5.2.3"><times id="A3.SS5.3.p3.2.m2.5.5.2.3.1.cmml" xref="A3.SS5.3.p3.2.m2.5.5.2.3.1"></times><ci id="A3.SS5.3.p3.2.m2.5.5.2.3.2.cmml" xref="A3.SS5.3.p3.2.m2.5.5.2.3.2">𝑄</ci><interval closure="open" id="A3.SS5.3.p3.2.m2.5.5.2.3.3.1.cmml" xref="A3.SS5.3.p3.2.m2.5.5.2.3.3.2"><ci id="A3.SS5.3.p3.2.m2.1.1.cmml" xref="A3.SS5.3.p3.2.m2.1.1">𝑠</ci><ci id="A3.SS5.3.p3.2.m2.2.2.cmml" xref="A3.SS5.3.p3.2.m2.2.2">𝑎</ci></interval></apply><apply id="A3.SS5.3.p3.2.m2.5.5.2.1.cmml" xref="A3.SS5.3.p3.2.m2.5.5.2.1"><times id="A3.SS5.3.p3.2.m2.5.5.2.1.2.cmml" xref="A3.SS5.3.p3.2.m2.5.5.2.1.2"></times><log id="A3.SS5.3.p3.2.m2.5.5.2.1.3.cmml" xref="A3.SS5.3.p3.2.m2.5.5.2.1.3"></log><apply id="A3.SS5.3.p3.2.m2.5.5.2.1.1.cmml" xref="A3.SS5.3.p3.2.m2.5.5.2.1.1"><apply id="A3.SS5.3.p3.2.m2.5.5.2.1.1.2.cmml" xref="A3.SS5.3.p3.2.m2.5.5.2.1.1.2"><csymbol cd="ambiguous" id="A3.SS5.3.p3.2.m2.5.5.2.1.1.2.1.cmml" xref="A3.SS5.3.p3.2.m2.5.5.2.1.1.2">subscript</csymbol><sum id="A3.SS5.3.p3.2.m2.5.5.2.1.1.2.2.cmml" xref="A3.SS5.3.p3.2.m2.5.5.2.1.1.2.2"></sum><apply id="A3.SS5.3.p3.2.m2.5.5.2.1.1.2.3.cmml" xref="A3.SS5.3.p3.2.m2.5.5.2.1.1.2.3"><in id="A3.SS5.3.p3.2.m2.5.5.2.1.1.2.3.1.cmml" xref="A3.SS5.3.p3.2.m2.5.5.2.1.1.2.3.1"></in><apply id="A3.SS5.3.p3.2.m2.5.5.2.1.1.2.3.2.cmml" xref="A3.SS5.3.p3.2.m2.5.5.2.1.1.2.3.2"><csymbol cd="ambiguous" id="A3.SS5.3.p3.2.m2.5.5.2.1.1.2.3.2.1.cmml" xref="A3.SS5.3.p3.2.m2.5.5.2.1.1.2.3.2">superscript</csymbol><ci id="A3.SS5.3.p3.2.m2.5.5.2.1.1.2.3.2.2.cmml" xref="A3.SS5.3.p3.2.m2.5.5.2.1.1.2.3.2.2">𝑎</ci><ci id="A3.SS5.3.p3.2.m2.5.5.2.1.1.2.3.2.3.cmml" xref="A3.SS5.3.p3.2.m2.5.5.2.1.1.2.3.2.3">′</ci></apply><ci id="A3.SS5.3.p3.2.m2.5.5.2.1.1.2.3.3.cmml" xref="A3.SS5.3.p3.2.m2.5.5.2.1.1.2.3.3">𝒜</ci></apply></apply><apply id="A3.SS5.3.p3.2.m2.5.5.2.1.1.1.cmml" xref="A3.SS5.3.p3.2.m2.5.5.2.1.1.1"><times id="A3.SS5.3.p3.2.m2.5.5.2.1.1.1.2.cmml" xref="A3.SS5.3.p3.2.m2.5.5.2.1.1.1.2"></times><apply id="A3.SS5.3.p3.2.m2.5.5.2.1.1.1.3.cmml" xref="A3.SS5.3.p3.2.m2.5.5.2.1.1.1.3"><exp id="A3.SS5.3.p3.2.m2.5.5.2.1.1.1.3.1.cmml" xref="A3.SS5.3.p3.2.m2.5.5.2.1.1.1.3.1"></exp><ci id="A3.SS5.3.p3.2.m2.5.5.2.1.1.1.3.2.cmml" xref="A3.SS5.3.p3.2.m2.5.5.2.1.1.1.3.2">𝑄</ci></apply><interval closure="open" id="A3.SS5.3.p3.2.m2.5.5.2.1.1.1.1.2.cmml" xref="A3.SS5.3.p3.2.m2.5.5.2.1.1.1.1.1"><ci id="A3.SS5.3.p3.2.m2.3.3.cmml" xref="A3.SS5.3.p3.2.m2.3.3">𝑠</ci><apply id="A3.SS5.3.p3.2.m2.5.5.2.1.1.1.1.1.1.cmml" xref="A3.SS5.3.p3.2.m2.5.5.2.1.1.1.1.1.1"><csymbol cd="ambiguous" id="A3.SS5.3.p3.2.m2.5.5.2.1.1.1.1.1.1.1.cmml" xref="A3.SS5.3.p3.2.m2.5.5.2.1.1.1.1.1.1">superscript</csymbol><ci id="A3.SS5.3.p3.2.m2.5.5.2.1.1.1.1.1.1.2.cmml" xref="A3.SS5.3.p3.2.m2.5.5.2.1.1.1.1.1.1.2">𝑎</ci><ci id="A3.SS5.3.p3.2.m2.5.5.2.1.1.1.1.1.1.3.cmml" xref="A3.SS5.3.p3.2.m2.5.5.2.1.1.1.1.1.1.3">′</ci></apply></interval></apply></apply></apply></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="A3.SS5.3.p3.2.m2.5c">\log p_{Q}(a|s)=Q(s,a)-\log\sum_{a^{\prime}\in\mathcal{A}}\exp Q(s,a^{\prime})</annotation></semantics></math>. The fact that <math id="A3.SS5.3.p3.3.m3.4" class="ltx_Math" alttext="\sup_{Q}\inf_{\theta}\mathcal{J}(p_{\theta},Q)=\sup_{Q}\mathcal{J}(p_{Q},Q)" display="inline"><semantics id="A3.SS5.3.p3.3.m3.4a"><mrow id="A3.SS5.3.p3.3.m3.4.4" xref="A3.SS5.3.p3.3.m3.4.4.cmml"><mrow id="A3.SS5.3.p3.3.m3.3.3.1" xref="A3.SS5.3.p3.3.m3.3.3.1.cmml"><msub id="A3.SS5.3.p3.3.m3.3.3.1.2" xref="A3.SS5.3.p3.3.m3.3.3.1.2.cmml"><mo id="A3.SS5.3.p3.3.m3.3.3.1.2.2" xref="A3.SS5.3.p3.3.m3.3.3.1.2.2.cmml">sup</mo><mi id="A3.SS5.3.p3.3.m3.3.3.1.2.3" xref="A3.SS5.3.p3.3.m3.3.3.1.2.3.cmml">Q</mi></msub><mrow id="A3.SS5.3.p3.3.m3.3.3.1.1" xref="A3.SS5.3.p3.3.m3.3.3.1.1.cmml"><msub id="A3.SS5.3.p3.3.m3.3.3.1.1.2" xref="A3.SS5.3.p3.3.m3.3.3.1.1.2.cmml"><mo lspace="0.167em" rspace="0.167em" id="A3.SS5.3.p3.3.m3.3.3.1.1.2.2" xref="A3.SS5.3.p3.3.m3.3.3.1.1.2.2.cmml">inf</mo><mi id="A3.SS5.3.p3.3.m3.3.3.1.1.2.3" xref="A3.SS5.3.p3.3.m3.3.3.1.1.2.3.cmml">θ</mi></msub><mrow id="A3.SS5.3.p3.3.m3.3.3.1.1.1" xref="A3.SS5.3.p3.3.m3.3.3.1.1.1.cmml"><mi class="ltx_font_mathcaligraphic" id="A3.SS5.3.p3.3.m3.3.3.1.1.1.3" xref="A3.SS5.3.p3.3.m3.3.3.1.1.1.3.cmml">𝒥</mi><mo lspace="0em" rspace="0em" id="A3.SS5.3.p3.3.m3.3.3.1.1.1.2" xref="A3.SS5.3.p3.3.m3.3.3.1.1.1.2.cmml">​</mo><mrow id="A3.SS5.3.p3.3.m3.3.3.1.1.1.1.1" xref="A3.SS5.3.p3.3.m3.3.3.1.1.1.1.2.cmml"><mo stretchy="false" id="A3.SS5.3.p3.3.m3.3.3.1.1.1.1.1.2" xref="A3.SS5.3.p3.3.m3.3.3.1.1.1.1.2.cmml">(</mo><msub id="A3.SS5.3.p3.3.m3.3.3.1.1.1.1.1.1" xref="A3.SS5.3.p3.3.m3.3.3.1.1.1.1.1.1.cmml"><mi id="A3.SS5.3.p3.3.m3.3.3.1.1.1.1.1.1.2" xref="A3.SS5.3.p3.3.m3.3.3.1.1.1.1.1.1.2.cmml">p</mi><mi id="A3.SS5.3.p3.3.m3.3.3.1.1.1.1.1.1.3" xref="A3.SS5.3.p3.3.m3.3.3.1.1.1.1.1.1.3.cmml">θ</mi></msub><mo id="A3.SS5.3.p3.3.m3.3.3.1.1.1.1.1.3" xref="A3.SS5.3.p3.3.m3.3.3.1.1.1.1.2.cmml">,</mo><mi id="A3.SS5.3.p3.3.m3.1.1" xref="A3.SS5.3.p3.3.m3.1.1.cmml">Q</mi><mo stretchy="false" id="A3.SS5.3.p3.3.m3.3.3.1.1.1.1.1.4" xref="A3.SS5.3.p3.3.m3.3.3.1.1.1.1.2.cmml">)</mo></mrow></mrow></mrow></mrow><mo rspace="0.1389em" id="A3.SS5.3.p3.3.m3.4.4.3" xref="A3.SS5.3.p3.3.m3.4.4.3.cmml">=</mo><mrow id="A3.SS5.3.p3.3.m3.4.4.2" xref="A3.SS5.3.p3.3.m3.4.4.2.cmml"><msub id="A3.SS5.3.p3.3.m3.4.4.2.2" xref="A3.SS5.3.p3.3.m3.4.4.2.2.cmml"><mo lspace="0.1389em" rspace="0.167em" id="A3.SS5.3.p3.3.m3.4.4.2.2.2" xref="A3.SS5.3.p3.3.m3.4.4.2.2.2.cmml">sup</mo><mi id="A3.SS5.3.p3.3.m3.4.4.2.2.3" xref="A3.SS5.3.p3.3.m3.4.4.2.2.3.cmml">Q</mi></msub><mrow id="A3.SS5.3.p3.3.m3.4.4.2.1" xref="A3.SS5.3.p3.3.m3.4.4.2.1.cmml"><mi class="ltx_font_mathcaligraphic" id="A3.SS5.3.p3.3.m3.4.4.2.1.3" xref="A3.SS5.3.p3.3.m3.4.4.2.1.3.cmml">𝒥</mi><mo lspace="0em" rspace="0em" id="A3.SS5.3.p3.3.m3.4.4.2.1.2" xref="A3.SS5.3.p3.3.m3.4.4.2.1.2.cmml">​</mo><mrow id="A3.SS5.3.p3.3.m3.4.4.2.1.1.1" xref="A3.SS5.3.p3.3.m3.4.4.2.1.1.2.cmml"><mo stretchy="false" id="A3.SS5.3.p3.3.m3.4.4.2.1.1.1.2" xref="A3.SS5.3.p3.3.m3.4.4.2.1.1.2.cmml">(</mo><msub id="A3.SS5.3.p3.3.m3.4.4.2.1.1.1.1" xref="A3.SS5.3.p3.3.m3.4.4.2.1.1.1.1.cmml"><mi id="A3.SS5.3.p3.3.m3.4.4.2.1.1.1.1.2" xref="A3.SS5.3.p3.3.m3.4.4.2.1.1.1.1.2.cmml">p</mi><mi id="A3.SS5.3.p3.3.m3.4.4.2.1.1.1.1.3" xref="A3.SS5.3.p3.3.m3.4.4.2.1.1.1.1.3.cmml">Q</mi></msub><mo id="A3.SS5.3.p3.3.m3.4.4.2.1.1.1.3" xref="A3.SS5.3.p3.3.m3.4.4.2.1.1.2.cmml">,</mo><mi id="A3.SS5.3.p3.3.m3.2.2" xref="A3.SS5.3.p3.3.m3.2.2.cmml">Q</mi><mo stretchy="false" id="A3.SS5.3.p3.3.m3.4.4.2.1.1.1.4" xref="A3.SS5.3.p3.3.m3.4.4.2.1.1.2.cmml">)</mo></mrow></mrow></mrow></mrow><annotation-xml encoding="MathML-Content" id="A3.SS5.3.p3.3.m3.4b"><apply id="A3.SS5.3.p3.3.m3.4.4.cmml" xref="A3.SS5.3.p3.3.m3.4.4"><eq id="A3.SS5.3.p3.3.m3.4.4.3.cmml" xref="A3.SS5.3.p3.3.m3.4.4.3"></eq><apply id="A3.SS5.3.p3.3.m3.3.3.1.cmml" xref="A3.SS5.3.p3.3.m3.3.3.1"><apply id="A3.SS5.3.p3.3.m3.3.3.1.2.cmml" xref="A3.SS5.3.p3.3.m3.3.3.1.2"><csymbol cd="ambiguous" id="A3.SS5.3.p3.3.m3.3.3.1.2.1.cmml" xref="A3.SS5.3.p3.3.m3.3.3.1.2">subscript</csymbol><csymbol cd="latexml" id="A3.SS5.3.p3.3.m3.3.3.1.2.2.cmml" xref="A3.SS5.3.p3.3.m3.3.3.1.2.2">supremum</csymbol><ci id="A3.SS5.3.p3.3.m3.3.3.1.2.3.cmml" xref="A3.SS5.3.p3.3.m3.3.3.1.2.3">𝑄</ci></apply><apply id="A3.SS5.3.p3.3.m3.3.3.1.1.cmml" xref="A3.SS5.3.p3.3.m3.3.3.1.1"><apply id="A3.SS5.3.p3.3.m3.3.3.1.1.2.cmml" xref="A3.SS5.3.p3.3.m3.3.3.1.1.2"><csymbol cd="ambiguous" id="A3.SS5.3.p3.3.m3.3.3.1.1.2.1.cmml" xref="A3.SS5.3.p3.3.m3.3.3.1.1.2">subscript</csymbol><csymbol cd="latexml" id="A3.SS5.3.p3.3.m3.3.3.1.1.2.2.cmml" xref="A3.SS5.3.p3.3.m3.3.3.1.1.2.2">infimum</csymbol><ci id="A3.SS5.3.p3.3.m3.3.3.1.1.2.3.cmml" xref="A3.SS5.3.p3.3.m3.3.3.1.1.2.3">𝜃</ci></apply><apply id="A3.SS5.3.p3.3.m3.3.3.1.1.1.cmml" xref="A3.SS5.3.p3.3.m3.3.3.1.1.1"><times id="A3.SS5.3.p3.3.m3.3.3.1.1.1.2.cmml" xref="A3.SS5.3.p3.3.m3.3.3.1.1.1.2"></times><ci id="A3.SS5.3.p3.3.m3.3.3.1.1.1.3.cmml" xref="A3.SS5.3.p3.3.m3.3.3.1.1.1.3">𝒥</ci><interval closure="open" id="A3.SS5.3.p3.3.m3.3.3.1.1.1.1.2.cmml" xref="A3.SS5.3.p3.3.m3.3.3.1.1.1.1.1"><apply id="A3.SS5.3.p3.3.m3.3.3.1.1.1.1.1.1.cmml" xref="A3.SS5.3.p3.3.m3.3.3.1.1.1.1.1.1"><csymbol cd="ambiguous" id="A3.SS5.3.p3.3.m3.3.3.1.1.1.1.1.1.1.cmml" xref="A3.SS5.3.p3.3.m3.3.3.1.1.1.1.1.1">subscript</csymbol><ci id="A3.SS5.3.p3.3.m3.3.3.1.1.1.1.1.1.2.cmml" xref="A3.SS5.3.p3.3.m3.3.3.1.1.1.1.1.1.2">𝑝</ci><ci id="A3.SS5.3.p3.3.m3.3.3.1.1.1.1.1.1.3.cmml" xref="A3.SS5.3.p3.3.m3.3.3.1.1.1.1.1.1.3">𝜃</ci></apply><ci id="A3.SS5.3.p3.3.m3.1.1.cmml" xref="A3.SS5.3.p3.3.m3.1.1">𝑄</ci></interval></apply></apply></apply><apply id="A3.SS5.3.p3.3.m3.4.4.2.cmml" xref="A3.SS5.3.p3.3.m3.4.4.2"><apply id="A3.SS5.3.p3.3.m3.4.4.2.2.cmml" xref="A3.SS5.3.p3.3.m3.4.4.2.2"><csymbol cd="ambiguous" id="A3.SS5.3.p3.3.m3.4.4.2.2.1.cmml" xref="A3.SS5.3.p3.3.m3.4.4.2.2">subscript</csymbol><csymbol cd="latexml" id="A3.SS5.3.p3.3.m3.4.4.2.2.2.cmml" xref="A3.SS5.3.p3.3.m3.4.4.2.2.2">supremum</csymbol><ci id="A3.SS5.3.p3.3.m3.4.4.2.2.3.cmml" xref="A3.SS5.3.p3.3.m3.4.4.2.2.3">𝑄</ci></apply><apply id="A3.SS5.3.p3.3.m3.4.4.2.1.cmml" xref="A3.SS5.3.p3.3.m3.4.4.2.1"><times id="A3.SS5.3.p3.3.m3.4.4.2.1.2.cmml" xref="A3.SS5.3.p3.3.m3.4.4.2.1.2"></times><ci id="A3.SS5.3.p3.3.m3.4.4.2.1.3.cmml" xref="A3.SS5.3.p3.3.m3.4.4.2.1.3">𝒥</ci><interval closure="open" id="A3.SS5.3.p3.3.m3.4.4.2.1.1.2.cmml" xref="A3.SS5.3.p3.3.m3.4.4.2.1.1.1"><apply id="A3.SS5.3.p3.3.m3.4.4.2.1.1.1.1.cmml" xref="A3.SS5.3.p3.3.m3.4.4.2.1.1.1.1"><csymbol cd="ambiguous" id="A3.SS5.3.p3.3.m3.4.4.2.1.1.1.1.1.cmml" xref="A3.SS5.3.p3.3.m3.4.4.2.1.1.1.1">subscript</csymbol><ci id="A3.SS5.3.p3.3.m3.4.4.2.1.1.1.1.2.cmml" xref="A3.SS5.3.p3.3.m3.4.4.2.1.1.1.1.2">𝑝</ci><ci id="A3.SS5.3.p3.3.m3.4.4.2.1.1.1.1.3.cmml" xref="A3.SS5.3.p3.3.m3.4.4.2.1.1.1.1.3">𝑄</ci></apply><ci id="A3.SS5.3.p3.3.m3.2.2.cmml" xref="A3.SS5.3.p3.3.m3.2.2">𝑄</ci></interval></apply></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="A3.SS5.3.p3.3.m3.4c">\sup_{Q}\inf_{\theta}\mathcal{J}(p_{\theta},Q)=\sup_{Q}\mathcal{J}(p_{Q},Q)</annotation></semantics></math> follows from the fact that there is a unique saddle point for <math id="A3.SS5.3.p3.4.m4.2" class="ltx_Math" alttext="\mathcal{J}(p_{\theta},Q)" display="inline"><semantics id="A3.SS5.3.p3.4.m4.2a"><mrow id="A3.SS5.3.p3.4.m4.2.2" xref="A3.SS5.3.p3.4.m4.2.2.cmml"><mi class="ltx_font_mathcaligraphic" id="A3.SS5.3.p3.4.m4.2.2.3" xref="A3.SS5.3.p3.4.m4.2.2.3.cmml">𝒥</mi><mo lspace="0em" rspace="0em" id="A3.SS5.3.p3.4.m4.2.2.2" xref="A3.SS5.3.p3.4.m4.2.2.2.cmml">​</mo><mrow id="A3.SS5.3.p3.4.m4.2.2.1.1" xref="A3.SS5.3.p3.4.m4.2.2.1.2.cmml"><mo stretchy="false" id="A3.SS5.3.p3.4.m4.2.2.1.1.2" xref="A3.SS5.3.p3.4.m4.2.2.1.2.cmml">(</mo><msub id="A3.SS5.3.p3.4.m4.2.2.1.1.1" xref="A3.SS5.3.p3.4.m4.2.2.1.1.1.cmml"><mi id="A3.SS5.3.p3.4.m4.2.2.1.1.1.2" xref="A3.SS5.3.p3.4.m4.2.2.1.1.1.2.cmml">p</mi><mi id="A3.SS5.3.p3.4.m4.2.2.1.1.1.3" xref="A3.SS5.3.p3.4.m4.2.2.1.1.1.3.cmml">θ</mi></msub><mo id="A3.SS5.3.p3.4.m4.2.2.1.1.3" xref="A3.SS5.3.p3.4.m4.2.2.1.2.cmml">,</mo><mi id="A3.SS5.3.p3.4.m4.1.1" xref="A3.SS5.3.p3.4.m4.1.1.cmml">Q</mi><mo stretchy="false" id="A3.SS5.3.p3.4.m4.2.2.1.1.4" xref="A3.SS5.3.p3.4.m4.2.2.1.2.cmml">)</mo></mrow></mrow><annotation-xml encoding="MathML-Content" id="A3.SS5.3.p3.4.m4.2b"><apply id="A3.SS5.3.p3.4.m4.2.2.cmml" xref="A3.SS5.3.p3.4.m4.2.2"><times id="A3.SS5.3.p3.4.m4.2.2.2.cmml" xref="A3.SS5.3.p3.4.m4.2.2.2"></times><ci id="A3.SS5.3.p3.4.m4.2.2.3.cmml" xref="A3.SS5.3.p3.4.m4.2.2.3">𝒥</ci><interval closure="open" id="A3.SS5.3.p3.4.m4.2.2.1.2.cmml" xref="A3.SS5.3.p3.4.m4.2.2.1.1"><apply id="A3.SS5.3.p3.4.m4.2.2.1.1.1.cmml" xref="A3.SS5.3.p3.4.m4.2.2.1.1.1"><csymbol cd="ambiguous" id="A3.SS5.3.p3.4.m4.2.2.1.1.1.1.cmml" xref="A3.SS5.3.p3.4.m4.2.2.1.1.1">subscript</csymbol><ci id="A3.SS5.3.p3.4.m4.2.2.1.1.1.2.cmml" xref="A3.SS5.3.p3.4.m4.2.2.1.1.1.2">𝑝</ci><ci id="A3.SS5.3.p3.4.m4.2.2.1.1.1.3.cmml" xref="A3.SS5.3.p3.4.m4.2.2.1.1.1.3">𝜃</ci></apply><ci id="A3.SS5.3.p3.4.m4.1.1.cmml" xref="A3.SS5.3.p3.4.m4.1.1">𝑄</ci></interval></apply></annotation-xml><annotation encoding="application/x-tex" id="A3.SS5.3.p3.4.m4.2c">\mathcal{J}(p_{\theta},Q)</annotation></semantics></math>, the fact that <math id="A3.SS5.3.p3.5.m5.2" class="ltx_Math" alttext="\mathcal{J}(p_{Q},Q)" display="inline"><semantics id="A3.SS5.3.p3.5.m5.2a"><mrow id="A3.SS5.3.p3.5.m5.2.2" xref="A3.SS5.3.p3.5.m5.2.2.cmml"><mi class="ltx_font_mathcaligraphic" id="A3.SS5.3.p3.5.m5.2.2.3" xref="A3.SS5.3.p3.5.m5.2.2.3.cmml">𝒥</mi><mo lspace="0em" rspace="0em" id="A3.SS5.3.p3.5.m5.2.2.2" xref="A3.SS5.3.p3.5.m5.2.2.2.cmml">​</mo><mrow id="A3.SS5.3.p3.5.m5.2.2.1.1" xref="A3.SS5.3.p3.5.m5.2.2.1.2.cmml"><mo stretchy="false" id="A3.SS5.3.p3.5.m5.2.2.1.1.2" xref="A3.SS5.3.p3.5.m5.2.2.1.2.cmml">(</mo><msub id="A3.SS5.3.p3.5.m5.2.2.1.1.1" xref="A3.SS5.3.p3.5.m5.2.2.1.1.1.cmml"><mi id="A3.SS5.3.p3.5.m5.2.2.1.1.1.2" xref="A3.SS5.3.p3.5.m5.2.2.1.1.1.2.cmml">p</mi><mi id="A3.SS5.3.p3.5.m5.2.2.1.1.1.3" xref="A3.SS5.3.p3.5.m5.2.2.1.1.1.3.cmml">Q</mi></msub><mo id="A3.SS5.3.p3.5.m5.2.2.1.1.3" xref="A3.SS5.3.p3.5.m5.2.2.1.2.cmml">,</mo><mi id="A3.SS5.3.p3.5.m5.1.1" xref="A3.SS5.3.p3.5.m5.1.1.cmml">Q</mi><mo stretchy="false" id="A3.SS5.3.p3.5.m5.2.2.1.1.4" xref="A3.SS5.3.p3.5.m5.2.2.1.2.cmml">)</mo></mrow></mrow><annotation-xml encoding="MathML-Content" id="A3.SS5.3.p3.5.m5.2b"><apply id="A3.SS5.3.p3.5.m5.2.2.cmml" xref="A3.SS5.3.p3.5.m5.2.2"><times id="A3.SS5.3.p3.5.m5.2.2.2.cmml" xref="A3.SS5.3.p3.5.m5.2.2.2"></times><ci id="A3.SS5.3.p3.5.m5.2.2.3.cmml" xref="A3.SS5.3.p3.5.m5.2.2.3">𝒥</ci><interval closure="open" id="A3.SS5.3.p3.5.m5.2.2.1.2.cmml" xref="A3.SS5.3.p3.5.m5.2.2.1.1"><apply id="A3.SS5.3.p3.5.m5.2.2.1.1.1.cmml" xref="A3.SS5.3.p3.5.m5.2.2.1.1.1"><csymbol cd="ambiguous" id="A3.SS5.3.p3.5.m5.2.2.1.1.1.1.cmml" xref="A3.SS5.3.p3.5.m5.2.2.1.1.1">subscript</csymbol><ci id="A3.SS5.3.p3.5.m5.2.2.1.1.1.2.cmml" xref="A3.SS5.3.p3.5.m5.2.2.1.1.1.2">𝑝</ci><ci id="A3.SS5.3.p3.5.m5.2.2.1.1.1.3.cmml" xref="A3.SS5.3.p3.5.m5.2.2.1.1.1.3">𝑄</ci></apply><ci id="A3.SS5.3.p3.5.m5.1.1.cmml" xref="A3.SS5.3.p3.5.m5.1.1">𝑄</ci></interval></apply></annotation-xml><annotation encoding="application/x-tex" id="A3.SS5.3.p3.5.m5.2c">\mathcal{J}(p_{Q},Q)</annotation></semantics></math> is concave in <math id="A3.SS5.3.p3.6.m6.1" class="ltx_Math" alttext="Q" display="inline"><semantics id="A3.SS5.3.p3.6.m6.1a"><mi id="A3.SS5.3.p3.6.m6.1.1" xref="A3.SS5.3.p3.6.m6.1.1.cmml">Q</mi><annotation-xml encoding="MathML-Content" id="A3.SS5.3.p3.6.m6.1b"><ci id="A3.SS5.3.p3.6.m6.1.1.cmml" xref="A3.SS5.3.p3.6.m6.1.1">𝑄</ci></annotation-xml><annotation encoding="application/x-tex" id="A3.SS5.3.p3.6.m6.1c">Q</annotation></semantics></math>, and that the saddle point for <math id="A3.SS5.3.p3.7.m7.2" class="ltx_Math" alttext="\mathcal{J}(p_{Q},Q)" display="inline"><semantics id="A3.SS5.3.p3.7.m7.2a"><mrow id="A3.SS5.3.p3.7.m7.2.2" xref="A3.SS5.3.p3.7.m7.2.2.cmml"><mi class="ltx_font_mathcaligraphic" id="A3.SS5.3.p3.7.m7.2.2.3" xref="A3.SS5.3.p3.7.m7.2.2.3.cmml">𝒥</mi><mo lspace="0em" rspace="0em" id="A3.SS5.3.p3.7.m7.2.2.2" xref="A3.SS5.3.p3.7.m7.2.2.2.cmml">​</mo><mrow id="A3.SS5.3.p3.7.m7.2.2.1.1" xref="A3.SS5.3.p3.7.m7.2.2.1.2.cmml"><mo stretchy="false" id="A3.SS5.3.p3.7.m7.2.2.1.1.2" xref="A3.SS5.3.p3.7.m7.2.2.1.2.cmml">(</mo><msub id="A3.SS5.3.p3.7.m7.2.2.1.1.1" xref="A3.SS5.3.p3.7.m7.2.2.1.1.1.cmml"><mi id="A3.SS5.3.p3.7.m7.2.2.1.1.1.2" xref="A3.SS5.3.p3.7.m7.2.2.1.1.1.2.cmml">p</mi><mi id="A3.SS5.3.p3.7.m7.2.2.1.1.1.3" xref="A3.SS5.3.p3.7.m7.2.2.1.1.1.3.cmml">Q</mi></msub><mo id="A3.SS5.3.p3.7.m7.2.2.1.1.3" xref="A3.SS5.3.p3.7.m7.2.2.1.2.cmml">,</mo><mi id="A3.SS5.3.p3.7.m7.1.1" xref="A3.SS5.3.p3.7.m7.1.1.cmml">Q</mi><mo stretchy="false" id="A3.SS5.3.p3.7.m7.2.2.1.1.4" xref="A3.SS5.3.p3.7.m7.2.2.1.2.cmml">)</mo></mrow></mrow><annotation-xml encoding="MathML-Content" id="A3.SS5.3.p3.7.m7.2b"><apply id="A3.SS5.3.p3.7.m7.2.2.cmml" xref="A3.SS5.3.p3.7.m7.2.2"><times id="A3.SS5.3.p3.7.m7.2.2.2.cmml" xref="A3.SS5.3.p3.7.m7.2.2.2"></times><ci id="A3.SS5.3.p3.7.m7.2.2.3.cmml" xref="A3.SS5.3.p3.7.m7.2.2.3">𝒥</ci><interval closure="open" id="A3.SS5.3.p3.7.m7.2.2.1.2.cmml" xref="A3.SS5.3.p3.7.m7.2.2.1.1"><apply id="A3.SS5.3.p3.7.m7.2.2.1.1.1.cmml" xref="A3.SS5.3.p3.7.m7.2.2.1.1.1"><csymbol cd="ambiguous" id="A3.SS5.3.p3.7.m7.2.2.1.1.1.1.cmml" xref="A3.SS5.3.p3.7.m7.2.2.1.1.1">subscript</csymbol><ci id="A3.SS5.3.p3.7.m7.2.2.1.1.1.2.cmml" xref="A3.SS5.3.p3.7.m7.2.2.1.1.1.2">𝑝</ci><ci id="A3.SS5.3.p3.7.m7.2.2.1.1.1.3.cmml" xref="A3.SS5.3.p3.7.m7.2.2.1.1.1.3">𝑄</ci></apply><ci id="A3.SS5.3.p3.7.m7.1.1.cmml" xref="A3.SS5.3.p3.7.m7.1.1">𝑄</ci></interval></apply></annotation-xml><annotation encoding="application/x-tex" id="A3.SS5.3.p3.7.m7.2c">\mathcal{J}(p_{Q},Q)</annotation></semantics></math> has a supremum in <math id="A3.SS5.3.p3.8.m8.1" class="ltx_Math" alttext="Q" display="inline"><semantics id="A3.SS5.3.p3.8.m8.1a"><mi id="A3.SS5.3.p3.8.m8.1.1" xref="A3.SS5.3.p3.8.m8.1.1.cmml">Q</mi><annotation-xml encoding="MathML-Content" id="A3.SS5.3.p3.8.m8.1b"><ci id="A3.SS5.3.p3.8.m8.1.1.cmml" xref="A3.SS5.3.p3.8.m8.1.1">𝑄</ci></annotation-xml><annotation encoding="application/x-tex" id="A3.SS5.3.p3.8.m8.1c">Q</annotation></semantics></math> where <math id="A3.SS5.3.p3.9.m9.1" class="ltx_Math" alttext="\theta=\theta^{*}" display="inline"><semantics id="A3.SS5.3.p3.9.m9.1a"><mrow id="A3.SS5.3.p3.9.m9.1.1" xref="A3.SS5.3.p3.9.m9.1.1.cmml"><mi id="A3.SS5.3.p3.9.m9.1.1.2" xref="A3.SS5.3.p3.9.m9.1.1.2.cmml">θ</mi><mo id="A3.SS5.3.p3.9.m9.1.1.1" xref="A3.SS5.3.p3.9.m9.1.1.1.cmml">=</mo><msup id="A3.SS5.3.p3.9.m9.1.1.3" xref="A3.SS5.3.p3.9.m9.1.1.3.cmml"><mi id="A3.SS5.3.p3.9.m9.1.1.3.2" xref="A3.SS5.3.p3.9.m9.1.1.3.2.cmml">θ</mi><mo id="A3.SS5.3.p3.9.m9.1.1.3.3" xref="A3.SS5.3.p3.9.m9.1.1.3.3.cmml">∗</mo></msup></mrow><annotation-xml encoding="MathML-Content" id="A3.SS5.3.p3.9.m9.1b"><apply id="A3.SS5.3.p3.9.m9.1.1.cmml" xref="A3.SS5.3.p3.9.m9.1.1"><eq id="A3.SS5.3.p3.9.m9.1.1.1.cmml" xref="A3.SS5.3.p3.9.m9.1.1.1"></eq><ci id="A3.SS5.3.p3.9.m9.1.1.2.cmml" xref="A3.SS5.3.p3.9.m9.1.1.2">𝜃</ci><apply id="A3.SS5.3.p3.9.m9.1.1.3.cmml" xref="A3.SS5.3.p3.9.m9.1.1.3"><csymbol cd="ambiguous" id="A3.SS5.3.p3.9.m9.1.1.3.1.cmml" xref="A3.SS5.3.p3.9.m9.1.1.3">superscript</csymbol><ci id="A3.SS5.3.p3.9.m9.1.1.3.2.cmml" xref="A3.SS5.3.p3.9.m9.1.1.3.2">𝜃</ci><times id="A3.SS5.3.p3.9.m9.1.1.3.3.cmml" xref="A3.SS5.3.p3.9.m9.1.1.3.3"></times></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="A3.SS5.3.p3.9.m9.1c">\theta=\theta^{*}</annotation></semantics></math>, with <math id="A3.SS5.3.p3.10.m10.5" class="ltx_Math" alttext="\log p_{\theta}^{*}(a|s)=Q^{*}(s,a)-\log\sum_{a^{\prime}\in\mathcal{A}}\exp Q^{*}(s,a^{\prime})" display="inline"><semantics id="A3.SS5.3.p3.10.m10.5a"><mrow id="A3.SS5.3.p3.10.m10.5.5" xref="A3.SS5.3.p3.10.m10.5.5.cmml"><mrow id="A3.SS5.3.p3.10.m10.4.4.1" xref="A3.SS5.3.p3.10.m10.4.4.1.cmml"><mrow id="A3.SS5.3.p3.10.m10.4.4.1.3" xref="A3.SS5.3.p3.10.m10.4.4.1.3.cmml"><mi id="A3.SS5.3.p3.10.m10.4.4.1.3.1" xref="A3.SS5.3.p3.10.m10.4.4.1.3.1.cmml">log</mi><mo lspace="0.167em" id="A3.SS5.3.p3.10.m10.4.4.1.3a" xref="A3.SS5.3.p3.10.m10.4.4.1.3.cmml">⁡</mo><msubsup id="A3.SS5.3.p3.10.m10.4.4.1.3.2" xref="A3.SS5.3.p3.10.m10.4.4.1.3.2.cmml"><mi id="A3.SS5.3.p3.10.m10.4.4.1.3.2.2.2" xref="A3.SS5.3.p3.10.m10.4.4.1.3.2.2.2.cmml">p</mi><mi id="A3.SS5.3.p3.10.m10.4.4.1.3.2.2.3" xref="A3.SS5.3.p3.10.m10.4.4.1.3.2.2.3.cmml">θ</mi><mo id="A3.SS5.3.p3.10.m10.4.4.1.3.2.3" xref="A3.SS5.3.p3.10.m10.4.4.1.3.2.3.cmml">∗</mo></msubsup></mrow><mo lspace="0em" rspace="0em" id="A3.SS5.3.p3.10.m10.4.4.1.2" xref="A3.SS5.3.p3.10.m10.4.4.1.2.cmml">​</mo><mrow id="A3.SS5.3.p3.10.m10.4.4.1.1.1" xref="A3.SS5.3.p3.10.m10.4.4.1.1.1.1.cmml"><mo stretchy="false" id="A3.SS5.3.p3.10.m10.4.4.1.1.1.2" xref="A3.SS5.3.p3.10.m10.4.4.1.1.1.1.cmml">(</mo><mrow id="A3.SS5.3.p3.10.m10.4.4.1.1.1.1" xref="A3.SS5.3.p3.10.m10.4.4.1.1.1.1.cmml"><mi id="A3.SS5.3.p3.10.m10.4.4.1.1.1.1.2" xref="A3.SS5.3.p3.10.m10.4.4.1.1.1.1.2.cmml">a</mi><mo fence="false" id="A3.SS5.3.p3.10.m10.4.4.1.1.1.1.1" xref="A3.SS5.3.p3.10.m10.4.4.1.1.1.1.1.cmml">|</mo><mi id="A3.SS5.3.p3.10.m10.4.4.1.1.1.1.3" xref="A3.SS5.3.p3.10.m10.4.4.1.1.1.1.3.cmml">s</mi></mrow><mo stretchy="false" id="A3.SS5.3.p3.10.m10.4.4.1.1.1.3" xref="A3.SS5.3.p3.10.m10.4.4.1.1.1.1.cmml">)</mo></mrow></mrow><mo id="A3.SS5.3.p3.10.m10.5.5.3" xref="A3.SS5.3.p3.10.m10.5.5.3.cmml">=</mo><mrow id="A3.SS5.3.p3.10.m10.5.5.2" xref="A3.SS5.3.p3.10.m10.5.5.2.cmml"><mrow id="A3.SS5.3.p3.10.m10.5.5.2.3" xref="A3.SS5.3.p3.10.m10.5.5.2.3.cmml"><msup id="A3.SS5.3.p3.10.m10.5.5.2.3.2" xref="A3.SS5.3.p3.10.m10.5.5.2.3.2.cmml"><mi id="A3.SS5.3.p3.10.m10.5.5.2.3.2.2" xref="A3.SS5.3.p3.10.m10.5.5.2.3.2.2.cmml">Q</mi><mo id="A3.SS5.3.p3.10.m10.5.5.2.3.2.3" xref="A3.SS5.3.p3.10.m10.5.5.2.3.2.3.cmml">∗</mo></msup><mo lspace="0em" rspace="0em" id="A3.SS5.3.p3.10.m10.5.5.2.3.1" xref="A3.SS5.3.p3.10.m10.5.5.2.3.1.cmml">​</mo><mrow id="A3.SS5.3.p3.10.m10.5.5.2.3.3.2" xref="A3.SS5.3.p3.10.m10.5.5.2.3.3.1.cmml"><mo stretchy="false" id="A3.SS5.3.p3.10.m10.5.5.2.3.3.2.1" xref="A3.SS5.3.p3.10.m10.5.5.2.3.3.1.cmml">(</mo><mi id="A3.SS5.3.p3.10.m10.1.1" xref="A3.SS5.3.p3.10.m10.1.1.cmml">s</mi><mo id="A3.SS5.3.p3.10.m10.5.5.2.3.3.2.2" xref="A3.SS5.3.p3.10.m10.5.5.2.3.3.1.cmml">,</mo><mi id="A3.SS5.3.p3.10.m10.2.2" xref="A3.SS5.3.p3.10.m10.2.2.cmml">a</mi><mo stretchy="false" id="A3.SS5.3.p3.10.m10.5.5.2.3.3.2.3" xref="A3.SS5.3.p3.10.m10.5.5.2.3.3.1.cmml">)</mo></mrow></mrow><mo id="A3.SS5.3.p3.10.m10.5.5.2.2" xref="A3.SS5.3.p3.10.m10.5.5.2.2.cmml">−</mo><mrow id="A3.SS5.3.p3.10.m10.5.5.2.1" xref="A3.SS5.3.p3.10.m10.5.5.2.1.cmml"><mi id="A3.SS5.3.p3.10.m10.5.5.2.1.3" xref="A3.SS5.3.p3.10.m10.5.5.2.1.3.cmml">log</mi><mo lspace="0em" rspace="0em" id="A3.SS5.3.p3.10.m10.5.5.2.1.2" xref="A3.SS5.3.p3.10.m10.5.5.2.1.2.cmml">​</mo><mrow id="A3.SS5.3.p3.10.m10.5.5.2.1.1" xref="A3.SS5.3.p3.10.m10.5.5.2.1.1.cmml"><msub id="A3.SS5.3.p3.10.m10.5.5.2.1.1.2" xref="A3.SS5.3.p3.10.m10.5.5.2.1.1.2.cmml"><mo id="A3.SS5.3.p3.10.m10.5.5.2.1.1.2.2" xref="A3.SS5.3.p3.10.m10.5.5.2.1.1.2.2.cmml">∑</mo><mrow id="A3.SS5.3.p3.10.m10.5.5.2.1.1.2.3" xref="A3.SS5.3.p3.10.m10.5.5.2.1.1.2.3.cmml"><msup id="A3.SS5.3.p3.10.m10.5.5.2.1.1.2.3.2" xref="A3.SS5.3.p3.10.m10.5.5.2.1.1.2.3.2.cmml"><mi id="A3.SS5.3.p3.10.m10.5.5.2.1.1.2.3.2.2" xref="A3.SS5.3.p3.10.m10.5.5.2.1.1.2.3.2.2.cmml">a</mi><mo id="A3.SS5.3.p3.10.m10.5.5.2.1.1.2.3.2.3" xref="A3.SS5.3.p3.10.m10.5.5.2.1.1.2.3.2.3.cmml">′</mo></msup><mo id="A3.SS5.3.p3.10.m10.5.5.2.1.1.2.3.1" xref="A3.SS5.3.p3.10.m10.5.5.2.1.1.2.3.1.cmml">∈</mo><mi class="ltx_font_mathcaligraphic" id="A3.SS5.3.p3.10.m10.5.5.2.1.1.2.3.3" xref="A3.SS5.3.p3.10.m10.5.5.2.1.1.2.3.3.cmml">𝒜</mi></mrow></msub><mrow id="A3.SS5.3.p3.10.m10.5.5.2.1.1.1" xref="A3.SS5.3.p3.10.m10.5.5.2.1.1.1.cmml"><mrow id="A3.SS5.3.p3.10.m10.5.5.2.1.1.1.3" xref="A3.SS5.3.p3.10.m10.5.5.2.1.1.1.3.cmml"><mi id="A3.SS5.3.p3.10.m10.5.5.2.1.1.1.3.1" xref="A3.SS5.3.p3.10.m10.5.5.2.1.1.1.3.1.cmml">exp</mi><mo lspace="0.167em" id="A3.SS5.3.p3.10.m10.5.5.2.1.1.1.3a" xref="A3.SS5.3.p3.10.m10.5.5.2.1.1.1.3.cmml">⁡</mo><msup id="A3.SS5.3.p3.10.m10.5.5.2.1.1.1.3.2" xref="A3.SS5.3.p3.10.m10.5.5.2.1.1.1.3.2.cmml"><mi id="A3.SS5.3.p3.10.m10.5.5.2.1.1.1.3.2.2" xref="A3.SS5.3.p3.10.m10.5.5.2.1.1.1.3.2.2.cmml">Q</mi><mo id="A3.SS5.3.p3.10.m10.5.5.2.1.1.1.3.2.3" xref="A3.SS5.3.p3.10.m10.5.5.2.1.1.1.3.2.3.cmml">∗</mo></msup></mrow><mo lspace="0em" rspace="0em" id="A3.SS5.3.p3.10.m10.5.5.2.1.1.1.2" xref="A3.SS5.3.p3.10.m10.5.5.2.1.1.1.2.cmml">​</mo><mrow id="A3.SS5.3.p3.10.m10.5.5.2.1.1.1.1.1" xref="A3.SS5.3.p3.10.m10.5.5.2.1.1.1.1.2.cmml"><mo stretchy="false" id="A3.SS5.3.p3.10.m10.5.5.2.1.1.1.1.1.2" xref="A3.SS5.3.p3.10.m10.5.5.2.1.1.1.1.2.cmml">(</mo><mi id="A3.SS5.3.p3.10.m10.3.3" xref="A3.SS5.3.p3.10.m10.3.3.cmml">s</mi><mo id="A3.SS5.3.p3.10.m10.5.5.2.1.1.1.1.1.3" xref="A3.SS5.3.p3.10.m10.5.5.2.1.1.1.1.2.cmml">,</mo><msup id="A3.SS5.3.p3.10.m10.5.5.2.1.1.1.1.1.1" xref="A3.SS5.3.p3.10.m10.5.5.2.1.1.1.1.1.1.cmml"><mi id="A3.SS5.3.p3.10.m10.5.5.2.1.1.1.1.1.1.2" xref="A3.SS5.3.p3.10.m10.5.5.2.1.1.1.1.1.1.2.cmml">a</mi><mo id="A3.SS5.3.p3.10.m10.5.5.2.1.1.1.1.1.1.3" xref="A3.SS5.3.p3.10.m10.5.5.2.1.1.1.1.1.1.3.cmml">′</mo></msup><mo stretchy="false" id="A3.SS5.3.p3.10.m10.5.5.2.1.1.1.1.1.4" xref="A3.SS5.3.p3.10.m10.5.5.2.1.1.1.1.2.cmml">)</mo></mrow></mrow></mrow></mrow></mrow></mrow><annotation-xml encoding="MathML-Content" id="A3.SS5.3.p3.10.m10.5b"><apply id="A3.SS5.3.p3.10.m10.5.5.cmml" xref="A3.SS5.3.p3.10.m10.5.5"><eq id="A3.SS5.3.p3.10.m10.5.5.3.cmml" xref="A3.SS5.3.p3.10.m10.5.5.3"></eq><apply id="A3.SS5.3.p3.10.m10.4.4.1.cmml" xref="A3.SS5.3.p3.10.m10.4.4.1"><times id="A3.SS5.3.p3.10.m10.4.4.1.2.cmml" xref="A3.SS5.3.p3.10.m10.4.4.1.2"></times><apply id="A3.SS5.3.p3.10.m10.4.4.1.3.cmml" xref="A3.SS5.3.p3.10.m10.4.4.1.3"><log id="A3.SS5.3.p3.10.m10.4.4.1.3.1.cmml" xref="A3.SS5.3.p3.10.m10.4.4.1.3.1"></log><apply id="A3.SS5.3.p3.10.m10.4.4.1.3.2.cmml" xref="A3.SS5.3.p3.10.m10.4.4.1.3.2"><csymbol cd="ambiguous" id="A3.SS5.3.p3.10.m10.4.4.1.3.2.1.cmml" xref="A3.SS5.3.p3.10.m10.4.4.1.3.2">superscript</csymbol><apply id="A3.SS5.3.p3.10.m10.4.4.1.3.2.2.cmml" xref="A3.SS5.3.p3.10.m10.4.4.1.3.2"><csymbol cd="ambiguous" id="A3.SS5.3.p3.10.m10.4.4.1.3.2.2.1.cmml" xref="A3.SS5.3.p3.10.m10.4.4.1.3.2">subscript</csymbol><ci id="A3.SS5.3.p3.10.m10.4.4.1.3.2.2.2.cmml" xref="A3.SS5.3.p3.10.m10.4.4.1.3.2.2.2">𝑝</ci><ci id="A3.SS5.3.p3.10.m10.4.4.1.3.2.2.3.cmml" xref="A3.SS5.3.p3.10.m10.4.4.1.3.2.2.3">𝜃</ci></apply><times id="A3.SS5.3.p3.10.m10.4.4.1.3.2.3.cmml" xref="A3.SS5.3.p3.10.m10.4.4.1.3.2.3"></times></apply></apply><apply id="A3.SS5.3.p3.10.m10.4.4.1.1.1.1.cmml" xref="A3.SS5.3.p3.10.m10.4.4.1.1.1"><csymbol cd="latexml" id="A3.SS5.3.p3.10.m10.4.4.1.1.1.1.1.cmml" xref="A3.SS5.3.p3.10.m10.4.4.1.1.1.1.1">conditional</csymbol><ci id="A3.SS5.3.p3.10.m10.4.4.1.1.1.1.2.cmml" xref="A3.SS5.3.p3.10.m10.4.4.1.1.1.1.2">𝑎</ci><ci id="A3.SS5.3.p3.10.m10.4.4.1.1.1.1.3.cmml" xref="A3.SS5.3.p3.10.m10.4.4.1.1.1.1.3">𝑠</ci></apply></apply><apply id="A3.SS5.3.p3.10.m10.5.5.2.cmml" xref="A3.SS5.3.p3.10.m10.5.5.2"><minus id="A3.SS5.3.p3.10.m10.5.5.2.2.cmml" xref="A3.SS5.3.p3.10.m10.5.5.2.2"></minus><apply id="A3.SS5.3.p3.10.m10.5.5.2.3.cmml" xref="A3.SS5.3.p3.10.m10.5.5.2.3"><times id="A3.SS5.3.p3.10.m10.5.5.2.3.1.cmml" xref="A3.SS5.3.p3.10.m10.5.5.2.3.1"></times><apply id="A3.SS5.3.p3.10.m10.5.5.2.3.2.cmml" xref="A3.SS5.3.p3.10.m10.5.5.2.3.2"><csymbol cd="ambiguous" id="A3.SS5.3.p3.10.m10.5.5.2.3.2.1.cmml" xref="A3.SS5.3.p3.10.m10.5.5.2.3.2">superscript</csymbol><ci id="A3.SS5.3.p3.10.m10.5.5.2.3.2.2.cmml" xref="A3.SS5.3.p3.10.m10.5.5.2.3.2.2">𝑄</ci><times id="A3.SS5.3.p3.10.m10.5.5.2.3.2.3.cmml" xref="A3.SS5.3.p3.10.m10.5.5.2.3.2.3"></times></apply><interval closure="open" id="A3.SS5.3.p3.10.m10.5.5.2.3.3.1.cmml" xref="A3.SS5.3.p3.10.m10.5.5.2.3.3.2"><ci id="A3.SS5.3.p3.10.m10.1.1.cmml" xref="A3.SS5.3.p3.10.m10.1.1">𝑠</ci><ci id="A3.SS5.3.p3.10.m10.2.2.cmml" xref="A3.SS5.3.p3.10.m10.2.2">𝑎</ci></interval></apply><apply id="A3.SS5.3.p3.10.m10.5.5.2.1.cmml" xref="A3.SS5.3.p3.10.m10.5.5.2.1"><times id="A3.SS5.3.p3.10.m10.5.5.2.1.2.cmml" xref="A3.SS5.3.p3.10.m10.5.5.2.1.2"></times><log id="A3.SS5.3.p3.10.m10.5.5.2.1.3.cmml" xref="A3.SS5.3.p3.10.m10.5.5.2.1.3"></log><apply id="A3.SS5.3.p3.10.m10.5.5.2.1.1.cmml" xref="A3.SS5.3.p3.10.m10.5.5.2.1.1"><apply id="A3.SS5.3.p3.10.m10.5.5.2.1.1.2.cmml" xref="A3.SS5.3.p3.10.m10.5.5.2.1.1.2"><csymbol cd="ambiguous" id="A3.SS5.3.p3.10.m10.5.5.2.1.1.2.1.cmml" xref="A3.SS5.3.p3.10.m10.5.5.2.1.1.2">subscript</csymbol><sum id="A3.SS5.3.p3.10.m10.5.5.2.1.1.2.2.cmml" xref="A3.SS5.3.p3.10.m10.5.5.2.1.1.2.2"></sum><apply id="A3.SS5.3.p3.10.m10.5.5.2.1.1.2.3.cmml" xref="A3.SS5.3.p3.10.m10.5.5.2.1.1.2.3"><in id="A3.SS5.3.p3.10.m10.5.5.2.1.1.2.3.1.cmml" xref="A3.SS5.3.p3.10.m10.5.5.2.1.1.2.3.1"></in><apply id="A3.SS5.3.p3.10.m10.5.5.2.1.1.2.3.2.cmml" xref="A3.SS5.3.p3.10.m10.5.5.2.1.1.2.3.2"><csymbol cd="ambiguous" id="A3.SS5.3.p3.10.m10.5.5.2.1.1.2.3.2.1.cmml" xref="A3.SS5.3.p3.10.m10.5.5.2.1.1.2.3.2">superscript</csymbol><ci id="A3.SS5.3.p3.10.m10.5.5.2.1.1.2.3.2.2.cmml" xref="A3.SS5.3.p3.10.m10.5.5.2.1.1.2.3.2.2">𝑎</ci><ci id="A3.SS5.3.p3.10.m10.5.5.2.1.1.2.3.2.3.cmml" xref="A3.SS5.3.p3.10.m10.5.5.2.1.1.2.3.2.3">′</ci></apply><ci id="A3.SS5.3.p3.10.m10.5.5.2.1.1.2.3.3.cmml" xref="A3.SS5.3.p3.10.m10.5.5.2.1.1.2.3.3">𝒜</ci></apply></apply><apply id="A3.SS5.3.p3.10.m10.5.5.2.1.1.1.cmml" xref="A3.SS5.3.p3.10.m10.5.5.2.1.1.1"><times id="A3.SS5.3.p3.10.m10.5.5.2.1.1.1.2.cmml" xref="A3.SS5.3.p3.10.m10.5.5.2.1.1.1.2"></times><apply id="A3.SS5.3.p3.10.m10.5.5.2.1.1.1.3.cmml" xref="A3.SS5.3.p3.10.m10.5.5.2.1.1.1.3"><exp id="A3.SS5.3.p3.10.m10.5.5.2.1.1.1.3.1.cmml" xref="A3.SS5.3.p3.10.m10.5.5.2.1.1.1.3.1"></exp><apply id="A3.SS5.3.p3.10.m10.5.5.2.1.1.1.3.2.cmml" xref="A3.SS5.3.p3.10.m10.5.5.2.1.1.1.3.2"><csymbol cd="ambiguous" id="A3.SS5.3.p3.10.m10.5.5.2.1.1.1.3.2.1.cmml" xref="A3.SS5.3.p3.10.m10.5.5.2.1.1.1.3.2">superscript</csymbol><ci id="A3.SS5.3.p3.10.m10.5.5.2.1.1.1.3.2.2.cmml" xref="A3.SS5.3.p3.10.m10.5.5.2.1.1.1.3.2.2">𝑄</ci><times id="A3.SS5.3.p3.10.m10.5.5.2.1.1.1.3.2.3.cmml" xref="A3.SS5.3.p3.10.m10.5.5.2.1.1.1.3.2.3"></times></apply></apply><interval closure="open" id="A3.SS5.3.p3.10.m10.5.5.2.1.1.1.1.2.cmml" xref="A3.SS5.3.p3.10.m10.5.5.2.1.1.1.1.1"><ci id="A3.SS5.3.p3.10.m10.3.3.cmml" xref="A3.SS5.3.p3.10.m10.3.3">𝑠</ci><apply id="A3.SS5.3.p3.10.m10.5.5.2.1.1.1.1.1.1.cmml" xref="A3.SS5.3.p3.10.m10.5.5.2.1.1.1.1.1.1"><csymbol cd="ambiguous" id="A3.SS5.3.p3.10.m10.5.5.2.1.1.1.1.1.1.1.cmml" xref="A3.SS5.3.p3.10.m10.5.5.2.1.1.1.1.1.1">superscript</csymbol><ci id="A3.SS5.3.p3.10.m10.5.5.2.1.1.1.1.1.1.2.cmml" xref="A3.SS5.3.p3.10.m10.5.5.2.1.1.1.1.1.1.2">𝑎</ci><ci id="A3.SS5.3.p3.10.m10.5.5.2.1.1.1.1.1.1.3.cmml" xref="A3.SS5.3.p3.10.m10.5.5.2.1.1.1.1.1.1.3">′</ci></apply></interval></apply></apply></apply></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="A3.SS5.3.p3.10.m10.5c">\log p_{\theta}^{*}(a|s)=Q^{*}(s,a)-\log\sum_{a^{\prime}\in\mathcal{A}}\exp Q^{*}(s,a^{\prime})</annotation></semantics></math> and <math id="A3.SS5.3.p3.11.m11.1" class="ltx_Math" alttext="Q^{*}" display="inline"><semantics id="A3.SS5.3.p3.11.m11.1a"><msup id="A3.SS5.3.p3.11.m11.1.1" xref="A3.SS5.3.p3.11.m11.1.1.cmml"><mi id="A3.SS5.3.p3.11.m11.1.1.2" xref="A3.SS5.3.p3.11.m11.1.1.2.cmml">Q</mi><mo id="A3.SS5.3.p3.11.m11.1.1.3" xref="A3.SS5.3.p3.11.m11.1.1.3.cmml">∗</mo></msup><annotation-xml encoding="MathML-Content" id="A3.SS5.3.p3.11.m11.1b"><apply id="A3.SS5.3.p3.11.m11.1.1.cmml" xref="A3.SS5.3.p3.11.m11.1.1"><csymbol cd="ambiguous" id="A3.SS5.3.p3.11.m11.1.1.1.cmml" xref="A3.SS5.3.p3.11.m11.1.1">superscript</csymbol><ci id="A3.SS5.3.p3.11.m11.1.1.2.cmml" xref="A3.SS5.3.p3.11.m11.1.1.2">𝑄</ci><times id="A3.SS5.3.p3.11.m11.1.1.3.cmml" xref="A3.SS5.3.p3.11.m11.1.1.3"></times></apply></annotation-xml><annotation encoding="application/x-tex" id="A3.SS5.3.p3.11.m11.1c">Q^{*}</annotation></semantics></math> the corresponding supremum in <math id="A3.SS5.3.p3.12.m12.1" class="ltx_Math" alttext="Q" display="inline"><semantics id="A3.SS5.3.p3.12.m12.1a"><mi id="A3.SS5.3.p3.12.m12.1.1" xref="A3.SS5.3.p3.12.m12.1.1.cmml">Q</mi><annotation-xml encoding="MathML-Content" id="A3.SS5.3.p3.12.m12.1b"><ci id="A3.SS5.3.p3.12.m12.1.1.cmml" xref="A3.SS5.3.p3.12.m12.1.1">𝑄</ci></annotation-xml><annotation encoding="application/x-tex" id="A3.SS5.3.p3.12.m12.1c">Q</annotation></semantics></math>. This allows elimination of <math id="A3.SS5.3.p3.13.m13.1" class="ltx_Math" alttext="\theta" display="inline"><semantics id="A3.SS5.3.p3.13.m13.1a"><mi id="A3.SS5.3.p3.13.m13.1.1" xref="A3.SS5.3.p3.13.m13.1.1.cmml">θ</mi><annotation-xml encoding="MathML-Content" id="A3.SS5.3.p3.13.m13.1b"><ci id="A3.SS5.3.p3.13.m13.1.1.cmml" xref="A3.SS5.3.p3.13.m13.1.1">𝜃</ci></annotation-xml><annotation encoding="application/x-tex" id="A3.SS5.3.p3.13.m13.1c">\theta</annotation></semantics></math> from the optimization process entirely, and completes the proof.
∎</p>
</div>
</div>
</section>
</section>
<section id="A4" class="ltx_appendix">
<h2 class="ltx_title ltx_title_appendix">
<span class="ltx_tag ltx_tag_appendix">Appendix D </span>Choices of divergence measures</h2>

<section id="A4.SS1" class="ltx_subsection">
<h3 class="ltx_title ltx_title_subsection">
<span class="ltx_tag ltx_tag_subsection">D.1 </span><math id="A4.SS1.1.m1.1" class="ltx_Math" alttext="f" display="inline"><semantics id="A4.SS1.1.m1.1b"><mi id="A4.SS1.1.m1.1.1" xref="A4.SS1.1.m1.1.1.cmml">f</mi><annotation-xml encoding="MathML-Content" id="A4.SS1.1.m1.1c"><ci id="A4.SS1.1.m1.1.1.cmml" xref="A4.SS1.1.m1.1.1">𝑓</ci></annotation-xml><annotation encoding="application/x-tex" id="A4.SS1.1.m1.1d">f</annotation></semantics></math>-divergences</h3>

<div id="A4.SS1.p1" class="ltx_para">
<p id="A4.SS1.p1.2" class="ltx_p">We recall that for any <math id="A4.SS1.p1.1.m1.1" class="ltx_Math" alttext="f" display="inline"><semantics id="A4.SS1.p1.1.m1.1a"><mi id="A4.SS1.p1.1.m1.1.1" xref="A4.SS1.p1.1.m1.1.1.cmml">f</mi><annotation-xml encoding="MathML-Content" id="A4.SS1.p1.1.m1.1b"><ci id="A4.SS1.p1.1.m1.1.1.cmml" xref="A4.SS1.p1.1.m1.1.1">𝑓</ci></annotation-xml><annotation encoding="application/x-tex" id="A4.SS1.p1.1.m1.1c">f</annotation></semantics></math>-divergence with <math id="A4.SS1.p1.2.m2.5" class="ltx_Math" alttext="D_{f}(P,Q)=\mathbb{E}_{x\sim Q}\left[f(P(x)/Q(x))\right]" display="inline"><semantics id="A4.SS1.p1.2.m2.5a"><mrow id="A4.SS1.p1.2.m2.5.5" xref="A4.SS1.p1.2.m2.5.5.cmml"><mrow id="A4.SS1.p1.2.m2.5.5.3" xref="A4.SS1.p1.2.m2.5.5.3.cmml"><msub id="A4.SS1.p1.2.m2.5.5.3.2" xref="A4.SS1.p1.2.m2.5.5.3.2.cmml"><mi id="A4.SS1.p1.2.m2.5.5.3.2.2" xref="A4.SS1.p1.2.m2.5.5.3.2.2.cmml">D</mi><mi id="A4.SS1.p1.2.m2.5.5.3.2.3" xref="A4.SS1.p1.2.m2.5.5.3.2.3.cmml">f</mi></msub><mo lspace="0em" rspace="0em" id="A4.SS1.p1.2.m2.5.5.3.1" xref="A4.SS1.p1.2.m2.5.5.3.1.cmml">​</mo><mrow id="A4.SS1.p1.2.m2.5.5.3.3.2" xref="A4.SS1.p1.2.m2.5.5.3.3.1.cmml"><mo stretchy="false" id="A4.SS1.p1.2.m2.5.5.3.3.2.1" xref="A4.SS1.p1.2.m2.5.5.3.3.1.cmml">(</mo><mi id="A4.SS1.p1.2.m2.1.1" xref="A4.SS1.p1.2.m2.1.1.cmml">P</mi><mo id="A4.SS1.p1.2.m2.5.5.3.3.2.2" xref="A4.SS1.p1.2.m2.5.5.3.3.1.cmml">,</mo><mi id="A4.SS1.p1.2.m2.2.2" xref="A4.SS1.p1.2.m2.2.2.cmml">Q</mi><mo stretchy="false" id="A4.SS1.p1.2.m2.5.5.3.3.2.3" xref="A4.SS1.p1.2.m2.5.5.3.3.1.cmml">)</mo></mrow></mrow><mo id="A4.SS1.p1.2.m2.5.5.2" xref="A4.SS1.p1.2.m2.5.5.2.cmml">=</mo><mrow id="A4.SS1.p1.2.m2.5.5.1" xref="A4.SS1.p1.2.m2.5.5.1.cmml"><msub id="A4.SS1.p1.2.m2.5.5.1.3" xref="A4.SS1.p1.2.m2.5.5.1.3.cmml"><mi id="A4.SS1.p1.2.m2.5.5.1.3.2" xref="A4.SS1.p1.2.m2.5.5.1.3.2.cmml">𝔼</mi><mrow id="A4.SS1.p1.2.m2.5.5.1.3.3" xref="A4.SS1.p1.2.m2.5.5.1.3.3.cmml"><mi id="A4.SS1.p1.2.m2.5.5.1.3.3.2" xref="A4.SS1.p1.2.m2.5.5.1.3.3.2.cmml">x</mi><mo id="A4.SS1.p1.2.m2.5.5.1.3.3.1" xref="A4.SS1.p1.2.m2.5.5.1.3.3.1.cmml">∼</mo><mi id="A4.SS1.p1.2.m2.5.5.1.3.3.3" xref="A4.SS1.p1.2.m2.5.5.1.3.3.3.cmml">Q</mi></mrow></msub><mo lspace="0em" rspace="0em" id="A4.SS1.p1.2.m2.5.5.1.2" xref="A4.SS1.p1.2.m2.5.5.1.2.cmml">​</mo><mrow id="A4.SS1.p1.2.m2.5.5.1.1.1" xref="A4.SS1.p1.2.m2.5.5.1.1.2.cmml"><mo id="A4.SS1.p1.2.m2.5.5.1.1.1.2" xref="A4.SS1.p1.2.m2.5.5.1.1.2.1.cmml">[</mo><mrow id="A4.SS1.p1.2.m2.5.5.1.1.1.1" xref="A4.SS1.p1.2.m2.5.5.1.1.1.1.cmml"><mi id="A4.SS1.p1.2.m2.5.5.1.1.1.1.3" xref="A4.SS1.p1.2.m2.5.5.1.1.1.1.3.cmml">f</mi><mo lspace="0em" rspace="0em" id="A4.SS1.p1.2.m2.5.5.1.1.1.1.2" xref="A4.SS1.p1.2.m2.5.5.1.1.1.1.2.cmml">​</mo><mrow id="A4.SS1.p1.2.m2.5.5.1.1.1.1.1.1" xref="A4.SS1.p1.2.m2.5.5.1.1.1.1.1.1.1.cmml"><mo stretchy="false" id="A4.SS1.p1.2.m2.5.5.1.1.1.1.1.1.2" xref="A4.SS1.p1.2.m2.5.5.1.1.1.1.1.1.1.cmml">(</mo><mrow id="A4.SS1.p1.2.m2.5.5.1.1.1.1.1.1.1" xref="A4.SS1.p1.2.m2.5.5.1.1.1.1.1.1.1.cmml"><mrow id="A4.SS1.p1.2.m2.5.5.1.1.1.1.1.1.1.2" xref="A4.SS1.p1.2.m2.5.5.1.1.1.1.1.1.1.2.cmml"><mrow id="A4.SS1.p1.2.m2.5.5.1.1.1.1.1.1.1.2.2" xref="A4.SS1.p1.2.m2.5.5.1.1.1.1.1.1.1.2.2.cmml"><mi id="A4.SS1.p1.2.m2.5.5.1.1.1.1.1.1.1.2.2.2" xref="A4.SS1.p1.2.m2.5.5.1.1.1.1.1.1.1.2.2.2.cmml">P</mi><mo lspace="0em" rspace="0em" id="A4.SS1.p1.2.m2.5.5.1.1.1.1.1.1.1.2.2.1" xref="A4.SS1.p1.2.m2.5.5.1.1.1.1.1.1.1.2.2.1.cmml">​</mo><mrow id="A4.SS1.p1.2.m2.5.5.1.1.1.1.1.1.1.2.2.3.2" xref="A4.SS1.p1.2.m2.5.5.1.1.1.1.1.1.1.2.2.cmml"><mo stretchy="false" id="A4.SS1.p1.2.m2.5.5.1.1.1.1.1.1.1.2.2.3.2.1" xref="A4.SS1.p1.2.m2.5.5.1.1.1.1.1.1.1.2.2.cmml">(</mo><mi id="A4.SS1.p1.2.m2.3.3" xref="A4.SS1.p1.2.m2.3.3.cmml">x</mi><mo stretchy="false" id="A4.SS1.p1.2.m2.5.5.1.1.1.1.1.1.1.2.2.3.2.2" xref="A4.SS1.p1.2.m2.5.5.1.1.1.1.1.1.1.2.2.cmml">)</mo></mrow></mrow><mo id="A4.SS1.p1.2.m2.5.5.1.1.1.1.1.1.1.2.1" xref="A4.SS1.p1.2.m2.5.5.1.1.1.1.1.1.1.2.1.cmml">/</mo><mi id="A4.SS1.p1.2.m2.5.5.1.1.1.1.1.1.1.2.3" xref="A4.SS1.p1.2.m2.5.5.1.1.1.1.1.1.1.2.3.cmml">Q</mi></mrow><mo lspace="0em" rspace="0em" id="A4.SS1.p1.2.m2.5.5.1.1.1.1.1.1.1.1" xref="A4.SS1.p1.2.m2.5.5.1.1.1.1.1.1.1.1.cmml">​</mo><mrow id="A4.SS1.p1.2.m2.5.5.1.1.1.1.1.1.1.3.2" xref="A4.SS1.p1.2.m2.5.5.1.1.1.1.1.1.1.cmml"><mo stretchy="false" id="A4.SS1.p1.2.m2.5.5.1.1.1.1.1.1.1.3.2.1" xref="A4.SS1.p1.2.m2.5.5.1.1.1.1.1.1.1.cmml">(</mo><mi id="A4.SS1.p1.2.m2.4.4" xref="A4.SS1.p1.2.m2.4.4.cmml">x</mi><mo stretchy="false" id="A4.SS1.p1.2.m2.5.5.1.1.1.1.1.1.1.3.2.2" xref="A4.SS1.p1.2.m2.5.5.1.1.1.1.1.1.1.cmml">)</mo></mrow></mrow><mo stretchy="false" id="A4.SS1.p1.2.m2.5.5.1.1.1.1.1.1.3" xref="A4.SS1.p1.2.m2.5.5.1.1.1.1.1.1.1.cmml">)</mo></mrow></mrow><mo id="A4.SS1.p1.2.m2.5.5.1.1.1.3" xref="A4.SS1.p1.2.m2.5.5.1.1.2.1.cmml">]</mo></mrow></mrow></mrow><annotation-xml encoding="MathML-Content" id="A4.SS1.p1.2.m2.5b"><apply id="A4.SS1.p1.2.m2.5.5.cmml" xref="A4.SS1.p1.2.m2.5.5"><eq id="A4.SS1.p1.2.m2.5.5.2.cmml" xref="A4.SS1.p1.2.m2.5.5.2"></eq><apply id="A4.SS1.p1.2.m2.5.5.3.cmml" xref="A4.SS1.p1.2.m2.5.5.3"><times id="A4.SS1.p1.2.m2.5.5.3.1.cmml" xref="A4.SS1.p1.2.m2.5.5.3.1"></times><apply id="A4.SS1.p1.2.m2.5.5.3.2.cmml" xref="A4.SS1.p1.2.m2.5.5.3.2"><csymbol cd="ambiguous" id="A4.SS1.p1.2.m2.5.5.3.2.1.cmml" xref="A4.SS1.p1.2.m2.5.5.3.2">subscript</csymbol><ci id="A4.SS1.p1.2.m2.5.5.3.2.2.cmml" xref="A4.SS1.p1.2.m2.5.5.3.2.2">𝐷</ci><ci id="A4.SS1.p1.2.m2.5.5.3.2.3.cmml" xref="A4.SS1.p1.2.m2.5.5.3.2.3">𝑓</ci></apply><interval closure="open" id="A4.SS1.p1.2.m2.5.5.3.3.1.cmml" xref="A4.SS1.p1.2.m2.5.5.3.3.2"><ci id="A4.SS1.p1.2.m2.1.1.cmml" xref="A4.SS1.p1.2.m2.1.1">𝑃</ci><ci id="A4.SS1.p1.2.m2.2.2.cmml" xref="A4.SS1.p1.2.m2.2.2">𝑄</ci></interval></apply><apply id="A4.SS1.p1.2.m2.5.5.1.cmml" xref="A4.SS1.p1.2.m2.5.5.1"><times id="A4.SS1.p1.2.m2.5.5.1.2.cmml" xref="A4.SS1.p1.2.m2.5.5.1.2"></times><apply id="A4.SS1.p1.2.m2.5.5.1.3.cmml" xref="A4.SS1.p1.2.m2.5.5.1.3"><csymbol cd="ambiguous" id="A4.SS1.p1.2.m2.5.5.1.3.1.cmml" xref="A4.SS1.p1.2.m2.5.5.1.3">subscript</csymbol><ci id="A4.SS1.p1.2.m2.5.5.1.3.2.cmml" xref="A4.SS1.p1.2.m2.5.5.1.3.2">𝔼</ci><apply id="A4.SS1.p1.2.m2.5.5.1.3.3.cmml" xref="A4.SS1.p1.2.m2.5.5.1.3.3"><csymbol cd="latexml" id="A4.SS1.p1.2.m2.5.5.1.3.3.1.cmml" xref="A4.SS1.p1.2.m2.5.5.1.3.3.1">similar-to</csymbol><ci id="A4.SS1.p1.2.m2.5.5.1.3.3.2.cmml" xref="A4.SS1.p1.2.m2.5.5.1.3.3.2">𝑥</ci><ci id="A4.SS1.p1.2.m2.5.5.1.3.3.3.cmml" xref="A4.SS1.p1.2.m2.5.5.1.3.3.3">𝑄</ci></apply></apply><apply id="A4.SS1.p1.2.m2.5.5.1.1.2.cmml" xref="A4.SS1.p1.2.m2.5.5.1.1.1"><csymbol cd="latexml" id="A4.SS1.p1.2.m2.5.5.1.1.2.1.cmml" xref="A4.SS1.p1.2.m2.5.5.1.1.1.2">delimited-[]</csymbol><apply id="A4.SS1.p1.2.m2.5.5.1.1.1.1.cmml" xref="A4.SS1.p1.2.m2.5.5.1.1.1.1"><times id="A4.SS1.p1.2.m2.5.5.1.1.1.1.2.cmml" xref="A4.SS1.p1.2.m2.5.5.1.1.1.1.2"></times><ci id="A4.SS1.p1.2.m2.5.5.1.1.1.1.3.cmml" xref="A4.SS1.p1.2.m2.5.5.1.1.1.1.3">𝑓</ci><apply id="A4.SS1.p1.2.m2.5.5.1.1.1.1.1.1.1.cmml" xref="A4.SS1.p1.2.m2.5.5.1.1.1.1.1.1"><times id="A4.SS1.p1.2.m2.5.5.1.1.1.1.1.1.1.1.cmml" xref="A4.SS1.p1.2.m2.5.5.1.1.1.1.1.1.1.1"></times><apply id="A4.SS1.p1.2.m2.5.5.1.1.1.1.1.1.1.2.cmml" xref="A4.SS1.p1.2.m2.5.5.1.1.1.1.1.1.1.2"><divide id="A4.SS1.p1.2.m2.5.5.1.1.1.1.1.1.1.2.1.cmml" xref="A4.SS1.p1.2.m2.5.5.1.1.1.1.1.1.1.2.1"></divide><apply id="A4.SS1.p1.2.m2.5.5.1.1.1.1.1.1.1.2.2.cmml" xref="A4.SS1.p1.2.m2.5.5.1.1.1.1.1.1.1.2.2"><times id="A4.SS1.p1.2.m2.5.5.1.1.1.1.1.1.1.2.2.1.cmml" xref="A4.SS1.p1.2.m2.5.5.1.1.1.1.1.1.1.2.2.1"></times><ci id="A4.SS1.p1.2.m2.5.5.1.1.1.1.1.1.1.2.2.2.cmml" xref="A4.SS1.p1.2.m2.5.5.1.1.1.1.1.1.1.2.2.2">𝑃</ci><ci id="A4.SS1.p1.2.m2.3.3.cmml" xref="A4.SS1.p1.2.m2.3.3">𝑥</ci></apply><ci id="A4.SS1.p1.2.m2.5.5.1.1.1.1.1.1.1.2.3.cmml" xref="A4.SS1.p1.2.m2.5.5.1.1.1.1.1.1.1.2.3">𝑄</ci></apply><ci id="A4.SS1.p1.2.m2.4.4.cmml" xref="A4.SS1.p1.2.m2.4.4">𝑥</ci></apply></apply></apply></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="A4.SS1.p1.2.m2.5c">D_{f}(P,Q)=\mathbb{E}_{x\sim Q}\left[f(P(x)/Q(x))\right]</annotation></semantics></math>, we have the variational form</p>
<table id="A4.Ex20" class="ltx_equation ltx_eqn_table">

<tbody><tr class="ltx_equation ltx_eqn_row ltx_align_baseline">
<td class="ltx_eqn_cell ltx_eqn_center_padleft"></td>
<td class="ltx_eqn_cell ltx_align_center"><math id="A4.Ex20.m1.4" class="ltx_math_unparsed" alttext="D_{f}(P,Q)=\sup_{\phi}\left\{\mathbb{E}_{x\sim P}\left[\phi(x)\right]-\mathbb{E}_{x\sim Q}\left[f^{*}(\phi(x)\right]\right\}," display="block"><semantics id="A4.Ex20.m1.4a"><mrow id="A4.Ex20.m1.4b"><msub id="A4.Ex20.m1.4.5"><mi id="A4.Ex20.m1.4.5.2">D</mi><mi id="A4.Ex20.m1.4.5.3">f</mi></msub><mrow id="A4.Ex20.m1.4.6"><mo stretchy="false" id="A4.Ex20.m1.4.6.1">(</mo><mi id="A4.Ex20.m1.1.1">P</mi><mo id="A4.Ex20.m1.4.6.2">,</mo><mi id="A4.Ex20.m1.2.2">Q</mi><mo stretchy="false" id="A4.Ex20.m1.4.6.3">)</mo></mrow><mo rspace="0.1389em" id="A4.Ex20.m1.4.7">=</mo><munder id="A4.Ex20.m1.4.8"><mo lspace="0.1389em" movablelimits="false" rspace="0em" id="A4.Ex20.m1.4.8.2">sup</mo><mi id="A4.Ex20.m1.4.8.3">ϕ</mi></munder><mrow id="A4.Ex20.m1.4.9"><mo id="A4.Ex20.m1.4.9.1">{</mo><msub id="A4.Ex20.m1.4.9.2"><mi id="A4.Ex20.m1.4.9.2.2">𝔼</mi><mrow id="A4.Ex20.m1.4.9.2.3"><mi id="A4.Ex20.m1.4.9.2.3.2">x</mi><mo id="A4.Ex20.m1.4.9.2.3.1">∼</mo><mi id="A4.Ex20.m1.4.9.2.3.3">P</mi></mrow></msub><mrow id="A4.Ex20.m1.4.9.3"><mo id="A4.Ex20.m1.4.9.3.1">[</mo><mi id="A4.Ex20.m1.4.9.3.2">ϕ</mi><mrow id="A4.Ex20.m1.4.9.3.3"><mo stretchy="false" id="A4.Ex20.m1.4.9.3.3.1">(</mo><mi id="A4.Ex20.m1.3.3">x</mi><mo stretchy="false" id="A4.Ex20.m1.4.9.3.3.2">)</mo></mrow><mo id="A4.Ex20.m1.4.9.3.4">]</mo></mrow><mo id="A4.Ex20.m1.4.9.4">−</mo><msub id="A4.Ex20.m1.4.9.5"><mi id="A4.Ex20.m1.4.9.5.2">𝔼</mi><mrow id="A4.Ex20.m1.4.9.5.3"><mi id="A4.Ex20.m1.4.9.5.3.2">x</mi><mo id="A4.Ex20.m1.4.9.5.3.1">∼</mo><mi id="A4.Ex20.m1.4.9.5.3.3">Q</mi></mrow></msub><mrow id="A4.Ex20.m1.4.9.6"><mo id="A4.Ex20.m1.4.9.6.1">[</mo><msup id="A4.Ex20.m1.4.9.6.2"><mi id="A4.Ex20.m1.4.9.6.2.2">f</mi><mo id="A4.Ex20.m1.4.9.6.2.3">∗</mo></msup><mrow id="A4.Ex20.m1.4.9.6.3"><mo stretchy="false" id="A4.Ex20.m1.4.9.6.3.1">(</mo><mi id="A4.Ex20.m1.4.9.6.3.2">ϕ</mi><mrow id="A4.Ex20.m1.4.9.6.3.3"><mo stretchy="false" id="A4.Ex20.m1.4.9.6.3.3.1">(</mo><mi id="A4.Ex20.m1.4.4">x</mi><mo stretchy="false" id="A4.Ex20.m1.4.9.6.3.3.2">)</mo></mrow><mo id="A4.Ex20.m1.4.9.6.3.4">]</mo></mrow><mo id="A4.Ex20.m1.4.9.6.4">}</mo></mrow><mo id="A4.Ex20.m1.4.9.7">,</mo></mrow></mrow><annotation encoding="application/x-tex" id="A4.Ex20.m1.4c">D_{f}(P,Q)=\sup_{\phi}\left\{\mathbb{E}_{x\sim P}\left[\phi(x)\right]-\mathbb{E}_{x\sim Q}\left[f^{*}(\phi(x)\right]\right\},</annotation></semantics></math></td>
<td class="ltx_eqn_cell ltx_eqn_center_padright"></td>
</tr></tbody>
</table>
</div>
<div id="A4.SS1.p2" class="ltx_para">
<p id="A4.SS1.p2.4" class="ltx_p">with the convex conjugate <math id="A4.SS1.p2.1.m1.3" class="ltx_Math" alttext="f^{*}(y)=\sup_{x}\left\{x\cdot y-f(x)\right\}" display="inline"><semantics id="A4.SS1.p2.1.m1.3a"><mrow id="A4.SS1.p2.1.m1.3.3" xref="A4.SS1.p2.1.m1.3.3.cmml"><mrow id="A4.SS1.p2.1.m1.3.3.3" xref="A4.SS1.p2.1.m1.3.3.3.cmml"><msup id="A4.SS1.p2.1.m1.3.3.3.2" xref="A4.SS1.p2.1.m1.3.3.3.2.cmml"><mi id="A4.SS1.p2.1.m1.3.3.3.2.2" xref="A4.SS1.p2.1.m1.3.3.3.2.2.cmml">f</mi><mo id="A4.SS1.p2.1.m1.3.3.3.2.3" xref="A4.SS1.p2.1.m1.3.3.3.2.3.cmml">∗</mo></msup><mo lspace="0em" rspace="0em" id="A4.SS1.p2.1.m1.3.3.3.1" xref="A4.SS1.p2.1.m1.3.3.3.1.cmml">​</mo><mrow id="A4.SS1.p2.1.m1.3.3.3.3.2" xref="A4.SS1.p2.1.m1.3.3.3.cmml"><mo stretchy="false" id="A4.SS1.p2.1.m1.3.3.3.3.2.1" xref="A4.SS1.p2.1.m1.3.3.3.cmml">(</mo><mi id="A4.SS1.p2.1.m1.1.1" xref="A4.SS1.p2.1.m1.1.1.cmml">y</mi><mo stretchy="false" id="A4.SS1.p2.1.m1.3.3.3.3.2.2" xref="A4.SS1.p2.1.m1.3.3.3.cmml">)</mo></mrow></mrow><mo rspace="0.1389em" id="A4.SS1.p2.1.m1.3.3.2" xref="A4.SS1.p2.1.m1.3.3.2.cmml">=</mo><mrow id="A4.SS1.p2.1.m1.3.3.1" xref="A4.SS1.p2.1.m1.3.3.1.cmml"><msub id="A4.SS1.p2.1.m1.3.3.1.2" xref="A4.SS1.p2.1.m1.3.3.1.2.cmml"><mo lspace="0.1389em" rspace="0em" id="A4.SS1.p2.1.m1.3.3.1.2.2" xref="A4.SS1.p2.1.m1.3.3.1.2.2.cmml">sup</mo><mi id="A4.SS1.p2.1.m1.3.3.1.2.3" xref="A4.SS1.p2.1.m1.3.3.1.2.3.cmml">x</mi></msub><mrow id="A4.SS1.p2.1.m1.3.3.1.1.1" xref="A4.SS1.p2.1.m1.3.3.1.1.2.cmml"><mo id="A4.SS1.p2.1.m1.3.3.1.1.1.2" xref="A4.SS1.p2.1.m1.3.3.1.1.2.cmml">{</mo><mrow id="A4.SS1.p2.1.m1.3.3.1.1.1.1" xref="A4.SS1.p2.1.m1.3.3.1.1.1.1.cmml"><mrow id="A4.SS1.p2.1.m1.3.3.1.1.1.1.2" xref="A4.SS1.p2.1.m1.3.3.1.1.1.1.2.cmml"><mi id="A4.SS1.p2.1.m1.3.3.1.1.1.1.2.2" xref="A4.SS1.p2.1.m1.3.3.1.1.1.1.2.2.cmml">x</mi><mo lspace="0.222em" rspace="0.222em" id="A4.SS1.p2.1.m1.3.3.1.1.1.1.2.1" xref="A4.SS1.p2.1.m1.3.3.1.1.1.1.2.1.cmml">⋅</mo><mi id="A4.SS1.p2.1.m1.3.3.1.1.1.1.2.3" xref="A4.SS1.p2.1.m1.3.3.1.1.1.1.2.3.cmml">y</mi></mrow><mo id="A4.SS1.p2.1.m1.3.3.1.1.1.1.1" xref="A4.SS1.p2.1.m1.3.3.1.1.1.1.1.cmml">−</mo><mrow id="A4.SS1.p2.1.m1.3.3.1.1.1.1.3" xref="A4.SS1.p2.1.m1.3.3.1.1.1.1.3.cmml"><mi id="A4.SS1.p2.1.m1.3.3.1.1.1.1.3.2" xref="A4.SS1.p2.1.m1.3.3.1.1.1.1.3.2.cmml">f</mi><mo lspace="0em" rspace="0em" id="A4.SS1.p2.1.m1.3.3.1.1.1.1.3.1" xref="A4.SS1.p2.1.m1.3.3.1.1.1.1.3.1.cmml">​</mo><mrow id="A4.SS1.p2.1.m1.3.3.1.1.1.1.3.3.2" xref="A4.SS1.p2.1.m1.3.3.1.1.1.1.3.cmml"><mo stretchy="false" id="A4.SS1.p2.1.m1.3.3.1.1.1.1.3.3.2.1" xref="A4.SS1.p2.1.m1.3.3.1.1.1.1.3.cmml">(</mo><mi id="A4.SS1.p2.1.m1.2.2" xref="A4.SS1.p2.1.m1.2.2.cmml">x</mi><mo stretchy="false" id="A4.SS1.p2.1.m1.3.3.1.1.1.1.3.3.2.2" xref="A4.SS1.p2.1.m1.3.3.1.1.1.1.3.cmml">)</mo></mrow></mrow></mrow><mo id="A4.SS1.p2.1.m1.3.3.1.1.1.3" xref="A4.SS1.p2.1.m1.3.3.1.1.2.cmml">}</mo></mrow></mrow></mrow><annotation-xml encoding="MathML-Content" id="A4.SS1.p2.1.m1.3b"><apply id="A4.SS1.p2.1.m1.3.3.cmml" xref="A4.SS1.p2.1.m1.3.3"><eq id="A4.SS1.p2.1.m1.3.3.2.cmml" xref="A4.SS1.p2.1.m1.3.3.2"></eq><apply id="A4.SS1.p2.1.m1.3.3.3.cmml" xref="A4.SS1.p2.1.m1.3.3.3"><times id="A4.SS1.p2.1.m1.3.3.3.1.cmml" xref="A4.SS1.p2.1.m1.3.3.3.1"></times><apply id="A4.SS1.p2.1.m1.3.3.3.2.cmml" xref="A4.SS1.p2.1.m1.3.3.3.2"><csymbol cd="ambiguous" id="A4.SS1.p2.1.m1.3.3.3.2.1.cmml" xref="A4.SS1.p2.1.m1.3.3.3.2">superscript</csymbol><ci id="A4.SS1.p2.1.m1.3.3.3.2.2.cmml" xref="A4.SS1.p2.1.m1.3.3.3.2.2">𝑓</ci><times id="A4.SS1.p2.1.m1.3.3.3.2.3.cmml" xref="A4.SS1.p2.1.m1.3.3.3.2.3"></times></apply><ci id="A4.SS1.p2.1.m1.1.1.cmml" xref="A4.SS1.p2.1.m1.1.1">𝑦</ci></apply><apply id="A4.SS1.p2.1.m1.3.3.1.cmml" xref="A4.SS1.p2.1.m1.3.3.1"><apply id="A4.SS1.p2.1.m1.3.3.1.2.cmml" xref="A4.SS1.p2.1.m1.3.3.1.2"><csymbol cd="ambiguous" id="A4.SS1.p2.1.m1.3.3.1.2.1.cmml" xref="A4.SS1.p2.1.m1.3.3.1.2">subscript</csymbol><csymbol cd="latexml" id="A4.SS1.p2.1.m1.3.3.1.2.2.cmml" xref="A4.SS1.p2.1.m1.3.3.1.2.2">supremum</csymbol><ci id="A4.SS1.p2.1.m1.3.3.1.2.3.cmml" xref="A4.SS1.p2.1.m1.3.3.1.2.3">𝑥</ci></apply><set id="A4.SS1.p2.1.m1.3.3.1.1.2.cmml" xref="A4.SS1.p2.1.m1.3.3.1.1.1"><apply id="A4.SS1.p2.1.m1.3.3.1.1.1.1.cmml" xref="A4.SS1.p2.1.m1.3.3.1.1.1.1"><minus id="A4.SS1.p2.1.m1.3.3.1.1.1.1.1.cmml" xref="A4.SS1.p2.1.m1.3.3.1.1.1.1.1"></minus><apply id="A4.SS1.p2.1.m1.3.3.1.1.1.1.2.cmml" xref="A4.SS1.p2.1.m1.3.3.1.1.1.1.2"><ci id="A4.SS1.p2.1.m1.3.3.1.1.1.1.2.1.cmml" xref="A4.SS1.p2.1.m1.3.3.1.1.1.1.2.1">⋅</ci><ci id="A4.SS1.p2.1.m1.3.3.1.1.1.1.2.2.cmml" xref="A4.SS1.p2.1.m1.3.3.1.1.1.1.2.2">𝑥</ci><ci id="A4.SS1.p2.1.m1.3.3.1.1.1.1.2.3.cmml" xref="A4.SS1.p2.1.m1.3.3.1.1.1.1.2.3">𝑦</ci></apply><apply id="A4.SS1.p2.1.m1.3.3.1.1.1.1.3.cmml" xref="A4.SS1.p2.1.m1.3.3.1.1.1.1.3"><times id="A4.SS1.p2.1.m1.3.3.1.1.1.1.3.1.cmml" xref="A4.SS1.p2.1.m1.3.3.1.1.1.1.3.1"></times><ci id="A4.SS1.p2.1.m1.3.3.1.1.1.1.3.2.cmml" xref="A4.SS1.p2.1.m1.3.3.1.1.1.1.3.2">𝑓</ci><ci id="A4.SS1.p2.1.m1.2.2.cmml" xref="A4.SS1.p2.1.m1.2.2">𝑥</ci></apply></apply></set></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="A4.SS1.p2.1.m1.3c">f^{*}(y)=\sup_{x}\left\{x\cdot y-f(x)\right\}</annotation></semantics></math>) and a discriminator <math id="A4.SS1.p2.2.m2.1" class="ltx_Math" alttext="\phi:\mathcal{X}\to\mathbb{R}" display="inline"><semantics id="A4.SS1.p2.2.m2.1a"><mrow id="A4.SS1.p2.2.m2.1.1" xref="A4.SS1.p2.2.m2.1.1.cmml"><mi id="A4.SS1.p2.2.m2.1.1.2" xref="A4.SS1.p2.2.m2.1.1.2.cmml">ϕ</mi><mo lspace="0.278em" rspace="0.278em" id="A4.SS1.p2.2.m2.1.1.1" xref="A4.SS1.p2.2.m2.1.1.1.cmml">:</mo><mrow id="A4.SS1.p2.2.m2.1.1.3" xref="A4.SS1.p2.2.m2.1.1.3.cmml"><mi class="ltx_font_mathcaligraphic" id="A4.SS1.p2.2.m2.1.1.3.2" xref="A4.SS1.p2.2.m2.1.1.3.2.cmml">𝒳</mi><mo stretchy="false" id="A4.SS1.p2.2.m2.1.1.3.1" xref="A4.SS1.p2.2.m2.1.1.3.1.cmml">→</mo><mi id="A4.SS1.p2.2.m2.1.1.3.3" xref="A4.SS1.p2.2.m2.1.1.3.3.cmml">ℝ</mi></mrow></mrow><annotation-xml encoding="MathML-Content" id="A4.SS1.p2.2.m2.1b"><apply id="A4.SS1.p2.2.m2.1.1.cmml" xref="A4.SS1.p2.2.m2.1.1"><ci id="A4.SS1.p2.2.m2.1.1.1.cmml" xref="A4.SS1.p2.2.m2.1.1.1">:</ci><ci id="A4.SS1.p2.2.m2.1.1.2.cmml" xref="A4.SS1.p2.2.m2.1.1.2">italic-ϕ</ci><apply id="A4.SS1.p2.2.m2.1.1.3.cmml" xref="A4.SS1.p2.2.m2.1.1.3"><ci id="A4.SS1.p2.2.m2.1.1.3.1.cmml" xref="A4.SS1.p2.2.m2.1.1.3.1">→</ci><ci id="A4.SS1.p2.2.m2.1.1.3.2.cmml" xref="A4.SS1.p2.2.m2.1.1.3.2">𝒳</ci><ci id="A4.SS1.p2.2.m2.1.1.3.3.cmml" xref="A4.SS1.p2.2.m2.1.1.3.3">ℝ</ci></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="A4.SS1.p2.2.m2.1c">\phi:\mathcal{X}\to\mathbb{R}</annotation></semantics></math>. Optimizing a model against an <math id="A4.SS1.p2.3.m3.1" class="ltx_Math" alttext="f" display="inline"><semantics id="A4.SS1.p2.3.m3.1a"><mi id="A4.SS1.p2.3.m3.1.1" xref="A4.SS1.p2.3.m3.1.1.cmml">f</mi><annotation-xml encoding="MathML-Content" id="A4.SS1.p2.3.m3.1b"><ci id="A4.SS1.p2.3.m3.1.1.cmml" xref="A4.SS1.p2.3.m3.1.1">𝑓</ci></annotation-xml><annotation encoding="application/x-tex" id="A4.SS1.p2.3.m3.1c">f</annotation></semantics></math>-divergence other than the KL-divergence typically involves a difficult min-max optimization problem where we simultaneously improve the model and improve the discriminator <math id="A4.SS1.p2.4.m4.1" class="ltx_Math" alttext="\phi" display="inline"><semantics id="A4.SS1.p2.4.m4.1a"><mi id="A4.SS1.p2.4.m4.1.1" xref="A4.SS1.p2.4.m4.1.1.cmml">ϕ</mi><annotation-xml encoding="MathML-Content" id="A4.SS1.p2.4.m4.1b"><ci id="A4.SS1.p2.4.m4.1.1.cmml" xref="A4.SS1.p2.4.m4.1.1">italic-ϕ</ci></annotation-xml><annotation encoding="application/x-tex" id="A4.SS1.p2.4.m4.1c">\phi</annotation></semantics></math>. This is subject to unstable training <cite class="ltx_cite ltx_citemacro_citep">[<a href="#bib.bib19" title="" class="ltx_ref">19</a>, <a href="#bib.bib16" title="" class="ltx_ref">16</a>, <a href="#bib.bib34" title="" class="ltx_ref">34</a>, <a href="#bib.bib12" title="" class="ltx_ref">12</a>]</cite>.</p>
</div>
<div id="A4.SS1.p3" class="ltx_para">
<p id="A4.SS1.p3.2" class="ltx_p">In the main paper, we explain that we require a divergence</p>
<table id="A9.EGx16" class="ltx_equationgroup ltx_eqn_align ltx_eqn_table">

<tbody id="A4.Ex21"><tr class="ltx_equation ltx_eqn_row ltx_align_baseline">
<td class="ltx_eqn_cell ltx_eqn_center_padleft"></td>
<td class="ltx_td ltx_align_right ltx_eqn_cell"><math id="A4.Ex21.m1.1" class="ltx_Math" alttext="\displaystyle d_{\psi}(\rho_{\theta},\rho_{\text{data}})=\psi^{*}(\rho_{\theta}-\rho_{\text{data}})." display="inline"><semantics id="A4.Ex21.m1.1a"><mrow id="A4.Ex21.m1.1.1.1" xref="A4.Ex21.m1.1.1.1.1.cmml"><mrow id="A4.Ex21.m1.1.1.1.1" xref="A4.Ex21.m1.1.1.1.1.cmml"><mrow id="A4.Ex21.m1.1.1.1.1.2" xref="A4.Ex21.m1.1.1.1.1.2.cmml"><msub id="A4.Ex21.m1.1.1.1.1.2.4" xref="A4.Ex21.m1.1.1.1.1.2.4.cmml"><mi id="A4.Ex21.m1.1.1.1.1.2.4.2" xref="A4.Ex21.m1.1.1.1.1.2.4.2.cmml">d</mi><mi id="A4.Ex21.m1.1.1.1.1.2.4.3" xref="A4.Ex21.m1.1.1.1.1.2.4.3.cmml">ψ</mi></msub><mo lspace="0em" rspace="0em" id="A4.Ex21.m1.1.1.1.1.2.3" xref="A4.Ex21.m1.1.1.1.1.2.3.cmml">​</mo><mrow id="A4.Ex21.m1.1.1.1.1.2.2.2" xref="A4.Ex21.m1.1.1.1.1.2.2.3.cmml"><mo stretchy="false" id="A4.Ex21.m1.1.1.1.1.2.2.2.3" xref="A4.Ex21.m1.1.1.1.1.2.2.3.cmml">(</mo><msub id="A4.Ex21.m1.1.1.1.1.1.1.1.1" xref="A4.Ex21.m1.1.1.1.1.1.1.1.1.cmml"><mi id="A4.Ex21.m1.1.1.1.1.1.1.1.1.2" xref="A4.Ex21.m1.1.1.1.1.1.1.1.1.2.cmml">ρ</mi><mi id="A4.Ex21.m1.1.1.1.1.1.1.1.1.3" xref="A4.Ex21.m1.1.1.1.1.1.1.1.1.3.cmml">θ</mi></msub><mo id="A4.Ex21.m1.1.1.1.1.2.2.2.4" xref="A4.Ex21.m1.1.1.1.1.2.2.3.cmml">,</mo><msub id="A4.Ex21.m1.1.1.1.1.2.2.2.2" xref="A4.Ex21.m1.1.1.1.1.2.2.2.2.cmml"><mi id="A4.Ex21.m1.1.1.1.1.2.2.2.2.2" xref="A4.Ex21.m1.1.1.1.1.2.2.2.2.2.cmml">ρ</mi><mtext id="A4.Ex21.m1.1.1.1.1.2.2.2.2.3" xref="A4.Ex21.m1.1.1.1.1.2.2.2.2.3a.cmml">data</mtext></msub><mo stretchy="false" id="A4.Ex21.m1.1.1.1.1.2.2.2.5" xref="A4.Ex21.m1.1.1.1.1.2.2.3.cmml">)</mo></mrow></mrow><mo id="A4.Ex21.m1.1.1.1.1.4" xref="A4.Ex21.m1.1.1.1.1.4.cmml">=</mo><mrow id="A4.Ex21.m1.1.1.1.1.3" xref="A4.Ex21.m1.1.1.1.1.3.cmml"><msup id="A4.Ex21.m1.1.1.1.1.3.3" xref="A4.Ex21.m1.1.1.1.1.3.3.cmml"><mi id="A4.Ex21.m1.1.1.1.1.3.3.2" xref="A4.Ex21.m1.1.1.1.1.3.3.2.cmml">ψ</mi><mo id="A4.Ex21.m1.1.1.1.1.3.3.3" xref="A4.Ex21.m1.1.1.1.1.3.3.3.cmml">∗</mo></msup><mo lspace="0em" rspace="0em" id="A4.Ex21.m1.1.1.1.1.3.2" xref="A4.Ex21.m1.1.1.1.1.3.2.cmml">​</mo><mrow id="A4.Ex21.m1.1.1.1.1.3.1.1" xref="A4.Ex21.m1.1.1.1.1.3.1.1.1.cmml"><mo stretchy="false" id="A4.Ex21.m1.1.1.1.1.3.1.1.2" xref="A4.Ex21.m1.1.1.1.1.3.1.1.1.cmml">(</mo><mrow id="A4.Ex21.m1.1.1.1.1.3.1.1.1" xref="A4.Ex21.m1.1.1.1.1.3.1.1.1.cmml"><msub id="A4.Ex21.m1.1.1.1.1.3.1.1.1.2" xref="A4.Ex21.m1.1.1.1.1.3.1.1.1.2.cmml"><mi id="A4.Ex21.m1.1.1.1.1.3.1.1.1.2.2" xref="A4.Ex21.m1.1.1.1.1.3.1.1.1.2.2.cmml">ρ</mi><mi id="A4.Ex21.m1.1.1.1.1.3.1.1.1.2.3" xref="A4.Ex21.m1.1.1.1.1.3.1.1.1.2.3.cmml">θ</mi></msub><mo id="A4.Ex21.m1.1.1.1.1.3.1.1.1.1" xref="A4.Ex21.m1.1.1.1.1.3.1.1.1.1.cmml">−</mo><msub id="A4.Ex21.m1.1.1.1.1.3.1.1.1.3" xref="A4.Ex21.m1.1.1.1.1.3.1.1.1.3.cmml"><mi id="A4.Ex21.m1.1.1.1.1.3.1.1.1.3.2" xref="A4.Ex21.m1.1.1.1.1.3.1.1.1.3.2.cmml">ρ</mi><mtext id="A4.Ex21.m1.1.1.1.1.3.1.1.1.3.3" xref="A4.Ex21.m1.1.1.1.1.3.1.1.1.3.3a.cmml">data</mtext></msub></mrow><mo stretchy="false" id="A4.Ex21.m1.1.1.1.1.3.1.1.3" xref="A4.Ex21.m1.1.1.1.1.3.1.1.1.cmml">)</mo></mrow></mrow></mrow><mo lspace="0em" id="A4.Ex21.m1.1.1.1.2" xref="A4.Ex21.m1.1.1.1.1.cmml">.</mo></mrow><annotation-xml encoding="MathML-Content" id="A4.Ex21.m1.1b"><apply id="A4.Ex21.m1.1.1.1.1.cmml" xref="A4.Ex21.m1.1.1.1"><eq id="A4.Ex21.m1.1.1.1.1.4.cmml" xref="A4.Ex21.m1.1.1.1.1.4"></eq><apply id="A4.Ex21.m1.1.1.1.1.2.cmml" xref="A4.Ex21.m1.1.1.1.1.2"><times id="A4.Ex21.m1.1.1.1.1.2.3.cmml" xref="A4.Ex21.m1.1.1.1.1.2.3"></times><apply id="A4.Ex21.m1.1.1.1.1.2.4.cmml" xref="A4.Ex21.m1.1.1.1.1.2.4"><csymbol cd="ambiguous" id="A4.Ex21.m1.1.1.1.1.2.4.1.cmml" xref="A4.Ex21.m1.1.1.1.1.2.4">subscript</csymbol><ci id="A4.Ex21.m1.1.1.1.1.2.4.2.cmml" xref="A4.Ex21.m1.1.1.1.1.2.4.2">𝑑</ci><ci id="A4.Ex21.m1.1.1.1.1.2.4.3.cmml" xref="A4.Ex21.m1.1.1.1.1.2.4.3">𝜓</ci></apply><interval closure="open" id="A4.Ex21.m1.1.1.1.1.2.2.3.cmml" xref="A4.Ex21.m1.1.1.1.1.2.2.2"><apply id="A4.Ex21.m1.1.1.1.1.1.1.1.1.cmml" xref="A4.Ex21.m1.1.1.1.1.1.1.1.1"><csymbol cd="ambiguous" id="A4.Ex21.m1.1.1.1.1.1.1.1.1.1.cmml" xref="A4.Ex21.m1.1.1.1.1.1.1.1.1">subscript</csymbol><ci id="A4.Ex21.m1.1.1.1.1.1.1.1.1.2.cmml" xref="A4.Ex21.m1.1.1.1.1.1.1.1.1.2">𝜌</ci><ci id="A4.Ex21.m1.1.1.1.1.1.1.1.1.3.cmml" xref="A4.Ex21.m1.1.1.1.1.1.1.1.1.3">𝜃</ci></apply><apply id="A4.Ex21.m1.1.1.1.1.2.2.2.2.cmml" xref="A4.Ex21.m1.1.1.1.1.2.2.2.2"><csymbol cd="ambiguous" id="A4.Ex21.m1.1.1.1.1.2.2.2.2.1.cmml" xref="A4.Ex21.m1.1.1.1.1.2.2.2.2">subscript</csymbol><ci id="A4.Ex21.m1.1.1.1.1.2.2.2.2.2.cmml" xref="A4.Ex21.m1.1.1.1.1.2.2.2.2.2">𝜌</ci><ci id="A4.Ex21.m1.1.1.1.1.2.2.2.2.3a.cmml" xref="A4.Ex21.m1.1.1.1.1.2.2.2.2.3"><mtext mathsize="70%" id="A4.Ex21.m1.1.1.1.1.2.2.2.2.3.cmml" xref="A4.Ex21.m1.1.1.1.1.2.2.2.2.3">data</mtext></ci></apply></interval></apply><apply id="A4.Ex21.m1.1.1.1.1.3.cmml" xref="A4.Ex21.m1.1.1.1.1.3"><times id="A4.Ex21.m1.1.1.1.1.3.2.cmml" xref="A4.Ex21.m1.1.1.1.1.3.2"></times><apply id="A4.Ex21.m1.1.1.1.1.3.3.cmml" xref="A4.Ex21.m1.1.1.1.1.3.3"><csymbol cd="ambiguous" id="A4.Ex21.m1.1.1.1.1.3.3.1.cmml" xref="A4.Ex21.m1.1.1.1.1.3.3">superscript</csymbol><ci id="A4.Ex21.m1.1.1.1.1.3.3.2.cmml" xref="A4.Ex21.m1.1.1.1.1.3.3.2">𝜓</ci><times id="A4.Ex21.m1.1.1.1.1.3.3.3.cmml" xref="A4.Ex21.m1.1.1.1.1.3.3.3"></times></apply><apply id="A4.Ex21.m1.1.1.1.1.3.1.1.1.cmml" xref="A4.Ex21.m1.1.1.1.1.3.1.1"><minus id="A4.Ex21.m1.1.1.1.1.3.1.1.1.1.cmml" xref="A4.Ex21.m1.1.1.1.1.3.1.1.1.1"></minus><apply id="A4.Ex21.m1.1.1.1.1.3.1.1.1.2.cmml" xref="A4.Ex21.m1.1.1.1.1.3.1.1.1.2"><csymbol cd="ambiguous" id="A4.Ex21.m1.1.1.1.1.3.1.1.1.2.1.cmml" xref="A4.Ex21.m1.1.1.1.1.3.1.1.1.2">subscript</csymbol><ci id="A4.Ex21.m1.1.1.1.1.3.1.1.1.2.2.cmml" xref="A4.Ex21.m1.1.1.1.1.3.1.1.1.2.2">𝜌</ci><ci id="A4.Ex21.m1.1.1.1.1.3.1.1.1.2.3.cmml" xref="A4.Ex21.m1.1.1.1.1.3.1.1.1.2.3">𝜃</ci></apply><apply id="A4.Ex21.m1.1.1.1.1.3.1.1.1.3.cmml" xref="A4.Ex21.m1.1.1.1.1.3.1.1.1.3"><csymbol cd="ambiguous" id="A4.Ex21.m1.1.1.1.1.3.1.1.1.3.1.cmml" xref="A4.Ex21.m1.1.1.1.1.3.1.1.1.3">subscript</csymbol><ci id="A4.Ex21.m1.1.1.1.1.3.1.1.1.3.2.cmml" xref="A4.Ex21.m1.1.1.1.1.3.1.1.1.3.2">𝜌</ci><ci id="A4.Ex21.m1.1.1.1.1.3.1.1.1.3.3a.cmml" xref="A4.Ex21.m1.1.1.1.1.3.1.1.1.3.3"><mtext mathsize="70%" id="A4.Ex21.m1.1.1.1.1.3.1.1.1.3.3.cmml" xref="A4.Ex21.m1.1.1.1.1.3.1.1.1.3.3">data</mtext></ci></apply></apply></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="A4.Ex21.m1.1c">\displaystyle d_{\psi}(\rho_{\theta},\rho_{\text{data}})=\psi^{*}(\rho_{\theta}-\rho_{\text{data}}).</annotation></semantics></math></td>
<td class="ltx_eqn_cell ltx_eqn_center_padright"></td>
</tr></tbody>
</table>
<p id="A4.SS1.p3.1" class="ltx_p">With our choice of <math id="A4.SS1.p3.1.m1.1" class="ltx_Math" alttext="\psi" display="inline"><semantics id="A4.SS1.p3.1.m1.1a"><mi id="A4.SS1.p3.1.m1.1.1" xref="A4.SS1.p3.1.m1.1.1.cmml">ψ</mi><annotation-xml encoding="MathML-Content" id="A4.SS1.p3.1.m1.1b"><ci id="A4.SS1.p3.1.m1.1.1.cmml" xref="A4.SS1.p3.1.m1.1.1">𝜓</ci></annotation-xml><annotation encoding="application/x-tex" id="A4.SS1.p3.1.m1.1c">\psi</annotation></semantics></math>, we get that</p>
</div>
<div id="A4.SS1.p4" class="ltx_para">
<table id="A9.EGx17" class="ltx_equationgroup ltx_eqn_align ltx_eqn_table">

<tbody id="A4.Ex22"><tr class="ltx_equation ltx_eqn_row ltx_align_baseline">
<td class="ltx_eqn_cell ltx_eqn_center_padleft"></td>
<td class="ltx_td ltx_align_right ltx_eqn_cell"><math id="A4.Ex22.m1.12" class="ltx_Math" alttext="\displaystyle d_{\psi}\left(\rho,\rho_{\text{data}}\right)=\max_{r\in\mathcal{R}_{\psi}}\mathbb{E}_{s,a\sim\rho_{\text{data}}}[\phi(r(s,a))]-\mathbb{E}_{s,a\sim\rho_{\theta}}[r(s,a)]" display="inline"><semantics id="A4.Ex22.m1.12a"><mrow id="A4.Ex22.m1.12.12" xref="A4.Ex22.m1.12.12.cmml"><mrow id="A4.Ex22.m1.10.10.1" xref="A4.Ex22.m1.10.10.1.cmml"><msub id="A4.Ex22.m1.10.10.1.3" xref="A4.Ex22.m1.10.10.1.3.cmml"><mi id="A4.Ex22.m1.10.10.1.3.2" xref="A4.Ex22.m1.10.10.1.3.2.cmml">d</mi><mi id="A4.Ex22.m1.10.10.1.3.3" xref="A4.Ex22.m1.10.10.1.3.3.cmml">ψ</mi></msub><mo lspace="0em" rspace="0em" id="A4.Ex22.m1.10.10.1.2" xref="A4.Ex22.m1.10.10.1.2.cmml">​</mo><mrow id="A4.Ex22.m1.10.10.1.1.1" xref="A4.Ex22.m1.10.10.1.1.2.cmml"><mo id="A4.Ex22.m1.10.10.1.1.1.2" xref="A4.Ex22.m1.10.10.1.1.2.cmml">(</mo><mi id="A4.Ex22.m1.5.5" xref="A4.Ex22.m1.5.5.cmml">ρ</mi><mo id="A4.Ex22.m1.10.10.1.1.1.3" xref="A4.Ex22.m1.10.10.1.1.2.cmml">,</mo><msub id="A4.Ex22.m1.10.10.1.1.1.1" xref="A4.Ex22.m1.10.10.1.1.1.1.cmml"><mi id="A4.Ex22.m1.10.10.1.1.1.1.2" xref="A4.Ex22.m1.10.10.1.1.1.1.2.cmml">ρ</mi><mtext id="A4.Ex22.m1.10.10.1.1.1.1.3" xref="A4.Ex22.m1.10.10.1.1.1.1.3a.cmml">data</mtext></msub><mo id="A4.Ex22.m1.10.10.1.1.1.4" xref="A4.Ex22.m1.10.10.1.1.2.cmml">)</mo></mrow></mrow><mo id="A4.Ex22.m1.12.12.4" xref="A4.Ex22.m1.12.12.4.cmml">=</mo><mrow id="A4.Ex22.m1.12.12.3" xref="A4.Ex22.m1.12.12.3.cmml"><mrow id="A4.Ex22.m1.11.11.2.1" xref="A4.Ex22.m1.11.11.2.1.cmml"><mrow id="A4.Ex22.m1.11.11.2.1.3" xref="A4.Ex22.m1.11.11.2.1.3.cmml"><munder id="A4.Ex22.m1.11.11.2.1.3.1" xref="A4.Ex22.m1.11.11.2.1.3.1.cmml"><mi id="A4.Ex22.m1.11.11.2.1.3.1.2" xref="A4.Ex22.m1.11.11.2.1.3.1.2.cmml">max</mi><mrow id="A4.Ex22.m1.11.11.2.1.3.1.3" xref="A4.Ex22.m1.11.11.2.1.3.1.3.cmml"><mi id="A4.Ex22.m1.11.11.2.1.3.1.3.2" xref="A4.Ex22.m1.11.11.2.1.3.1.3.2.cmml">r</mi><mo id="A4.Ex22.m1.11.11.2.1.3.1.3.1" xref="A4.Ex22.m1.11.11.2.1.3.1.3.1.cmml">∈</mo><msub id="A4.Ex22.m1.11.11.2.1.3.1.3.3" xref="A4.Ex22.m1.11.11.2.1.3.1.3.3.cmml"><mi class="ltx_font_mathcaligraphic" id="A4.Ex22.m1.11.11.2.1.3.1.3.3.2" xref="A4.Ex22.m1.11.11.2.1.3.1.3.3.2.cmml">ℛ</mi><mi id="A4.Ex22.m1.11.11.2.1.3.1.3.3.3" xref="A4.Ex22.m1.11.11.2.1.3.1.3.3.3.cmml">ψ</mi></msub></mrow></munder><mo lspace="0.167em" id="A4.Ex22.m1.11.11.2.1.3a" xref="A4.Ex22.m1.11.11.2.1.3.cmml">⁡</mo><msub id="A4.Ex22.m1.11.11.2.1.3.2" xref="A4.Ex22.m1.11.11.2.1.3.2.cmml"><mi id="A4.Ex22.m1.11.11.2.1.3.2.2" xref="A4.Ex22.m1.11.11.2.1.3.2.2.cmml">𝔼</mi><mrow id="A4.Ex22.m1.2.2.2" xref="A4.Ex22.m1.2.2.2.cmml"><mrow id="A4.Ex22.m1.2.2.2.4.2" xref="A4.Ex22.m1.2.2.2.4.1.cmml"><mi id="A4.Ex22.m1.1.1.1.1" xref="A4.Ex22.m1.1.1.1.1.cmml">s</mi><mo id="A4.Ex22.m1.2.2.2.4.2.1" xref="A4.Ex22.m1.2.2.2.4.1.cmml">,</mo><mi id="A4.Ex22.m1.2.2.2.2" xref="A4.Ex22.m1.2.2.2.2.cmml">a</mi></mrow><mo id="A4.Ex22.m1.2.2.2.3" xref="A4.Ex22.m1.2.2.2.3.cmml">∼</mo><msub id="A4.Ex22.m1.2.2.2.5" xref="A4.Ex22.m1.2.2.2.5.cmml"><mi id="A4.Ex22.m1.2.2.2.5.2" xref="A4.Ex22.m1.2.2.2.5.2.cmml">ρ</mi><mtext id="A4.Ex22.m1.2.2.2.5.3" xref="A4.Ex22.m1.2.2.2.5.3a.cmml">data</mtext></msub></mrow></msub></mrow><mo lspace="0em" rspace="0em" id="A4.Ex22.m1.11.11.2.1.2" xref="A4.Ex22.m1.11.11.2.1.2.cmml">​</mo><mrow id="A4.Ex22.m1.11.11.2.1.1.1" xref="A4.Ex22.m1.11.11.2.1.1.2.cmml"><mo stretchy="false" id="A4.Ex22.m1.11.11.2.1.1.1.2" xref="A4.Ex22.m1.11.11.2.1.1.2.1.cmml">[</mo><mrow id="A4.Ex22.m1.11.11.2.1.1.1.1" xref="A4.Ex22.m1.11.11.2.1.1.1.1.cmml"><mi id="A4.Ex22.m1.11.11.2.1.1.1.1.3" xref="A4.Ex22.m1.11.11.2.1.1.1.1.3.cmml">ϕ</mi><mo lspace="0em" rspace="0em" id="A4.Ex22.m1.11.11.2.1.1.1.1.2" xref="A4.Ex22.m1.11.11.2.1.1.1.1.2.cmml">​</mo><mrow id="A4.Ex22.m1.11.11.2.1.1.1.1.1.1" xref="A4.Ex22.m1.11.11.2.1.1.1.1.1.1.1.cmml"><mo stretchy="false" id="A4.Ex22.m1.11.11.2.1.1.1.1.1.1.2" xref="A4.Ex22.m1.11.11.2.1.1.1.1.1.1.1.cmml">(</mo><mrow id="A4.Ex22.m1.11.11.2.1.1.1.1.1.1.1" xref="A4.Ex22.m1.11.11.2.1.1.1.1.1.1.1.cmml"><mi id="A4.Ex22.m1.11.11.2.1.1.1.1.1.1.1.2" xref="A4.Ex22.m1.11.11.2.1.1.1.1.1.1.1.2.cmml">r</mi><mo lspace="0em" rspace="0em" id="A4.Ex22.m1.11.11.2.1.1.1.1.1.1.1.1" xref="A4.Ex22.m1.11.11.2.1.1.1.1.1.1.1.1.cmml">​</mo><mrow id="A4.Ex22.m1.11.11.2.1.1.1.1.1.1.1.3.2" xref="A4.Ex22.m1.11.11.2.1.1.1.1.1.1.1.3.1.cmml"><mo stretchy="false" id="A4.Ex22.m1.11.11.2.1.1.1.1.1.1.1.3.2.1" xref="A4.Ex22.m1.11.11.2.1.1.1.1.1.1.1.3.1.cmml">(</mo><mi id="A4.Ex22.m1.6.6" xref="A4.Ex22.m1.6.6.cmml">s</mi><mo id="A4.Ex22.m1.11.11.2.1.1.1.1.1.1.1.3.2.2" xref="A4.Ex22.m1.11.11.2.1.1.1.1.1.1.1.3.1.cmml">,</mo><mi id="A4.Ex22.m1.7.7" xref="A4.Ex22.m1.7.7.cmml">a</mi><mo stretchy="false" id="A4.Ex22.m1.11.11.2.1.1.1.1.1.1.1.3.2.3" xref="A4.Ex22.m1.11.11.2.1.1.1.1.1.1.1.3.1.cmml">)</mo></mrow></mrow><mo stretchy="false" id="A4.Ex22.m1.11.11.2.1.1.1.1.1.1.3" xref="A4.Ex22.m1.11.11.2.1.1.1.1.1.1.1.cmml">)</mo></mrow></mrow><mo stretchy="false" id="A4.Ex22.m1.11.11.2.1.1.1.3" xref="A4.Ex22.m1.11.11.2.1.1.2.1.cmml">]</mo></mrow></mrow><mo id="A4.Ex22.m1.12.12.3.3" xref="A4.Ex22.m1.12.12.3.3.cmml">−</mo><mrow id="A4.Ex22.m1.12.12.3.2" xref="A4.Ex22.m1.12.12.3.2.cmml"><msub id="A4.Ex22.m1.12.12.3.2.3" xref="A4.Ex22.m1.12.12.3.2.3.cmml"><mi id="A4.Ex22.m1.12.12.3.2.3.2" xref="A4.Ex22.m1.12.12.3.2.3.2.cmml">𝔼</mi><mrow id="A4.Ex22.m1.4.4.2" xref="A4.Ex22.m1.4.4.2.cmml"><mrow id="A4.Ex22.m1.4.4.2.4.2" xref="A4.Ex22.m1.4.4.2.4.1.cmml"><mi id="A4.Ex22.m1.3.3.1.1" xref="A4.Ex22.m1.3.3.1.1.cmml">s</mi><mo id="A4.Ex22.m1.4.4.2.4.2.1" xref="A4.Ex22.m1.4.4.2.4.1.cmml">,</mo><mi id="A4.Ex22.m1.4.4.2.2" xref="A4.Ex22.m1.4.4.2.2.cmml">a</mi></mrow><mo id="A4.Ex22.m1.4.4.2.3" xref="A4.Ex22.m1.4.4.2.3.cmml">∼</mo><msub id="A4.Ex22.m1.4.4.2.5" xref="A4.Ex22.m1.4.4.2.5.cmml"><mi id="A4.Ex22.m1.4.4.2.5.2" xref="A4.Ex22.m1.4.4.2.5.2.cmml">ρ</mi><mi id="A4.Ex22.m1.4.4.2.5.3" xref="A4.Ex22.m1.4.4.2.5.3.cmml">θ</mi></msub></mrow></msub><mo lspace="0em" rspace="0em" id="A4.Ex22.m1.12.12.3.2.2" xref="A4.Ex22.m1.12.12.3.2.2.cmml">​</mo><mrow id="A4.Ex22.m1.12.12.3.2.1.1" xref="A4.Ex22.m1.12.12.3.2.1.2.cmml"><mo stretchy="false" id="A4.Ex22.m1.12.12.3.2.1.1.2" xref="A4.Ex22.m1.12.12.3.2.1.2.1.cmml">[</mo><mrow id="A4.Ex22.m1.12.12.3.2.1.1.1" xref="A4.Ex22.m1.12.12.3.2.1.1.1.cmml"><mi id="A4.Ex22.m1.12.12.3.2.1.1.1.2" xref="A4.Ex22.m1.12.12.3.2.1.1.1.2.cmml">r</mi><mo lspace="0em" rspace="0em" id="A4.Ex22.m1.12.12.3.2.1.1.1.1" xref="A4.Ex22.m1.12.12.3.2.1.1.1.1.cmml">​</mo><mrow id="A4.Ex22.m1.12.12.3.2.1.1.1.3.2" xref="A4.Ex22.m1.12.12.3.2.1.1.1.3.1.cmml"><mo stretchy="false" id="A4.Ex22.m1.12.12.3.2.1.1.1.3.2.1" xref="A4.Ex22.m1.12.12.3.2.1.1.1.3.1.cmml">(</mo><mi id="A4.Ex22.m1.8.8" xref="A4.Ex22.m1.8.8.cmml">s</mi><mo id="A4.Ex22.m1.12.12.3.2.1.1.1.3.2.2" xref="A4.Ex22.m1.12.12.3.2.1.1.1.3.1.cmml">,</mo><mi id="A4.Ex22.m1.9.9" xref="A4.Ex22.m1.9.9.cmml">a</mi><mo stretchy="false" id="A4.Ex22.m1.12.12.3.2.1.1.1.3.2.3" xref="A4.Ex22.m1.12.12.3.2.1.1.1.3.1.cmml">)</mo></mrow></mrow><mo stretchy="false" id="A4.Ex22.m1.12.12.3.2.1.1.3" xref="A4.Ex22.m1.12.12.3.2.1.2.1.cmml">]</mo></mrow></mrow></mrow></mrow><annotation-xml encoding="MathML-Content" id="A4.Ex22.m1.12b"><apply id="A4.Ex22.m1.12.12.cmml" xref="A4.Ex22.m1.12.12"><eq id="A4.Ex22.m1.12.12.4.cmml" xref="A4.Ex22.m1.12.12.4"></eq><apply id="A4.Ex22.m1.10.10.1.cmml" xref="A4.Ex22.m1.10.10.1"><times id="A4.Ex22.m1.10.10.1.2.cmml" xref="A4.Ex22.m1.10.10.1.2"></times><apply id="A4.Ex22.m1.10.10.1.3.cmml" xref="A4.Ex22.m1.10.10.1.3"><csymbol cd="ambiguous" id="A4.Ex22.m1.10.10.1.3.1.cmml" xref="A4.Ex22.m1.10.10.1.3">subscript</csymbol><ci id="A4.Ex22.m1.10.10.1.3.2.cmml" xref="A4.Ex22.m1.10.10.1.3.2">𝑑</ci><ci id="A4.Ex22.m1.10.10.1.3.3.cmml" xref="A4.Ex22.m1.10.10.1.3.3">𝜓</ci></apply><interval closure="open" id="A4.Ex22.m1.10.10.1.1.2.cmml" xref="A4.Ex22.m1.10.10.1.1.1"><ci id="A4.Ex22.m1.5.5.cmml" xref="A4.Ex22.m1.5.5">𝜌</ci><apply id="A4.Ex22.m1.10.10.1.1.1.1.cmml" xref="A4.Ex22.m1.10.10.1.1.1.1"><csymbol cd="ambiguous" id="A4.Ex22.m1.10.10.1.1.1.1.1.cmml" xref="A4.Ex22.m1.10.10.1.1.1.1">subscript</csymbol><ci id="A4.Ex22.m1.10.10.1.1.1.1.2.cmml" xref="A4.Ex22.m1.10.10.1.1.1.1.2">𝜌</ci><ci id="A4.Ex22.m1.10.10.1.1.1.1.3a.cmml" xref="A4.Ex22.m1.10.10.1.1.1.1.3"><mtext mathsize="70%" id="A4.Ex22.m1.10.10.1.1.1.1.3.cmml" xref="A4.Ex22.m1.10.10.1.1.1.1.3">data</mtext></ci></apply></interval></apply><apply id="A4.Ex22.m1.12.12.3.cmml" xref="A4.Ex22.m1.12.12.3"><minus id="A4.Ex22.m1.12.12.3.3.cmml" xref="A4.Ex22.m1.12.12.3.3"></minus><apply id="A4.Ex22.m1.11.11.2.1.cmml" xref="A4.Ex22.m1.11.11.2.1"><times id="A4.Ex22.m1.11.11.2.1.2.cmml" xref="A4.Ex22.m1.11.11.2.1.2"></times><apply id="A4.Ex22.m1.11.11.2.1.3.cmml" xref="A4.Ex22.m1.11.11.2.1.3"><apply id="A4.Ex22.m1.11.11.2.1.3.1.cmml" xref="A4.Ex22.m1.11.11.2.1.3.1"><csymbol cd="ambiguous" id="A4.Ex22.m1.11.11.2.1.3.1.1.cmml" xref="A4.Ex22.m1.11.11.2.1.3.1">subscript</csymbol><max id="A4.Ex22.m1.11.11.2.1.3.1.2.cmml" xref="A4.Ex22.m1.11.11.2.1.3.1.2"></max><apply id="A4.Ex22.m1.11.11.2.1.3.1.3.cmml" xref="A4.Ex22.m1.11.11.2.1.3.1.3"><in id="A4.Ex22.m1.11.11.2.1.3.1.3.1.cmml" xref="A4.Ex22.m1.11.11.2.1.3.1.3.1"></in><ci id="A4.Ex22.m1.11.11.2.1.3.1.3.2.cmml" xref="A4.Ex22.m1.11.11.2.1.3.1.3.2">𝑟</ci><apply id="A4.Ex22.m1.11.11.2.1.3.1.3.3.cmml" xref="A4.Ex22.m1.11.11.2.1.3.1.3.3"><csymbol cd="ambiguous" id="A4.Ex22.m1.11.11.2.1.3.1.3.3.1.cmml" xref="A4.Ex22.m1.11.11.2.1.3.1.3.3">subscript</csymbol><ci id="A4.Ex22.m1.11.11.2.1.3.1.3.3.2.cmml" xref="A4.Ex22.m1.11.11.2.1.3.1.3.3.2">ℛ</ci><ci id="A4.Ex22.m1.11.11.2.1.3.1.3.3.3.cmml" xref="A4.Ex22.m1.11.11.2.1.3.1.3.3.3">𝜓</ci></apply></apply></apply><apply id="A4.Ex22.m1.11.11.2.1.3.2.cmml" xref="A4.Ex22.m1.11.11.2.1.3.2"><csymbol cd="ambiguous" id="A4.Ex22.m1.11.11.2.1.3.2.1.cmml" xref="A4.Ex22.m1.11.11.2.1.3.2">subscript</csymbol><ci id="A4.Ex22.m1.11.11.2.1.3.2.2.cmml" xref="A4.Ex22.m1.11.11.2.1.3.2.2">𝔼</ci><apply id="A4.Ex22.m1.2.2.2.cmml" xref="A4.Ex22.m1.2.2.2"><csymbol cd="latexml" id="A4.Ex22.m1.2.2.2.3.cmml" xref="A4.Ex22.m1.2.2.2.3">similar-to</csymbol><list id="A4.Ex22.m1.2.2.2.4.1.cmml" xref="A4.Ex22.m1.2.2.2.4.2"><ci id="A4.Ex22.m1.1.1.1.1.cmml" xref="A4.Ex22.m1.1.1.1.1">𝑠</ci><ci id="A4.Ex22.m1.2.2.2.2.cmml" xref="A4.Ex22.m1.2.2.2.2">𝑎</ci></list><apply id="A4.Ex22.m1.2.2.2.5.cmml" xref="A4.Ex22.m1.2.2.2.5"><csymbol cd="ambiguous" id="A4.Ex22.m1.2.2.2.5.1.cmml" xref="A4.Ex22.m1.2.2.2.5">subscript</csymbol><ci id="A4.Ex22.m1.2.2.2.5.2.cmml" xref="A4.Ex22.m1.2.2.2.5.2">𝜌</ci><ci id="A4.Ex22.m1.2.2.2.5.3a.cmml" xref="A4.Ex22.m1.2.2.2.5.3"><mtext mathsize="50%" id="A4.Ex22.m1.2.2.2.5.3.cmml" xref="A4.Ex22.m1.2.2.2.5.3">data</mtext></ci></apply></apply></apply></apply><apply id="A4.Ex22.m1.11.11.2.1.1.2.cmml" xref="A4.Ex22.m1.11.11.2.1.1.1"><csymbol cd="latexml" id="A4.Ex22.m1.11.11.2.1.1.2.1.cmml" xref="A4.Ex22.m1.11.11.2.1.1.1.2">delimited-[]</csymbol><apply id="A4.Ex22.m1.11.11.2.1.1.1.1.cmml" xref="A4.Ex22.m1.11.11.2.1.1.1.1"><times id="A4.Ex22.m1.11.11.2.1.1.1.1.2.cmml" xref="A4.Ex22.m1.11.11.2.1.1.1.1.2"></times><ci id="A4.Ex22.m1.11.11.2.1.1.1.1.3.cmml" xref="A4.Ex22.m1.11.11.2.1.1.1.1.3">italic-ϕ</ci><apply id="A4.Ex22.m1.11.11.2.1.1.1.1.1.1.1.cmml" xref="A4.Ex22.m1.11.11.2.1.1.1.1.1.1"><times id="A4.Ex22.m1.11.11.2.1.1.1.1.1.1.1.1.cmml" xref="A4.Ex22.m1.11.11.2.1.1.1.1.1.1.1.1"></times><ci id="A4.Ex22.m1.11.11.2.1.1.1.1.1.1.1.2.cmml" xref="A4.Ex22.m1.11.11.2.1.1.1.1.1.1.1.2">𝑟</ci><interval closure="open" id="A4.Ex22.m1.11.11.2.1.1.1.1.1.1.1.3.1.cmml" xref="A4.Ex22.m1.11.11.2.1.1.1.1.1.1.1.3.2"><ci id="A4.Ex22.m1.6.6.cmml" xref="A4.Ex22.m1.6.6">𝑠</ci><ci id="A4.Ex22.m1.7.7.cmml" xref="A4.Ex22.m1.7.7">𝑎</ci></interval></apply></apply></apply></apply><apply id="A4.Ex22.m1.12.12.3.2.cmml" xref="A4.Ex22.m1.12.12.3.2"><times id="A4.Ex22.m1.12.12.3.2.2.cmml" xref="A4.Ex22.m1.12.12.3.2.2"></times><apply id="A4.Ex22.m1.12.12.3.2.3.cmml" xref="A4.Ex22.m1.12.12.3.2.3"><csymbol cd="ambiguous" id="A4.Ex22.m1.12.12.3.2.3.1.cmml" xref="A4.Ex22.m1.12.12.3.2.3">subscript</csymbol><ci id="A4.Ex22.m1.12.12.3.2.3.2.cmml" xref="A4.Ex22.m1.12.12.3.2.3.2">𝔼</ci><apply id="A4.Ex22.m1.4.4.2.cmml" xref="A4.Ex22.m1.4.4.2"><csymbol cd="latexml" id="A4.Ex22.m1.4.4.2.3.cmml" xref="A4.Ex22.m1.4.4.2.3">similar-to</csymbol><list id="A4.Ex22.m1.4.4.2.4.1.cmml" xref="A4.Ex22.m1.4.4.2.4.2"><ci id="A4.Ex22.m1.3.3.1.1.cmml" xref="A4.Ex22.m1.3.3.1.1">𝑠</ci><ci id="A4.Ex22.m1.4.4.2.2.cmml" xref="A4.Ex22.m1.4.4.2.2">𝑎</ci></list><apply id="A4.Ex22.m1.4.4.2.5.cmml" xref="A4.Ex22.m1.4.4.2.5"><csymbol cd="ambiguous" id="A4.Ex22.m1.4.4.2.5.1.cmml" xref="A4.Ex22.m1.4.4.2.5">subscript</csymbol><ci id="A4.Ex22.m1.4.4.2.5.2.cmml" xref="A4.Ex22.m1.4.4.2.5.2">𝜌</ci><ci id="A4.Ex22.m1.4.4.2.5.3.cmml" xref="A4.Ex22.m1.4.4.2.5.3">𝜃</ci></apply></apply></apply><apply id="A4.Ex22.m1.12.12.3.2.1.2.cmml" xref="A4.Ex22.m1.12.12.3.2.1.1"><csymbol cd="latexml" id="A4.Ex22.m1.12.12.3.2.1.2.1.cmml" xref="A4.Ex22.m1.12.12.3.2.1.1.2">delimited-[]</csymbol><apply id="A4.Ex22.m1.12.12.3.2.1.1.1.cmml" xref="A4.Ex22.m1.12.12.3.2.1.1.1"><times id="A4.Ex22.m1.12.12.3.2.1.1.1.1.cmml" xref="A4.Ex22.m1.12.12.3.2.1.1.1.1"></times><ci id="A4.Ex22.m1.12.12.3.2.1.1.1.2.cmml" xref="A4.Ex22.m1.12.12.3.2.1.1.1.2">𝑟</ci><interval closure="open" id="A4.Ex22.m1.12.12.3.2.1.1.1.3.1.cmml" xref="A4.Ex22.m1.12.12.3.2.1.1.1.3.2"><ci id="A4.Ex22.m1.8.8.cmml" xref="A4.Ex22.m1.8.8">𝑠</ci><ci id="A4.Ex22.m1.9.9.cmml" xref="A4.Ex22.m1.9.9">𝑎</ci></interval></apply></apply></apply></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="A4.Ex22.m1.12c">\displaystyle d_{\psi}\left(\rho,\rho_{\text{data}}\right)=\max_{r\in\mathcal{R}_{\psi}}\mathbb{E}_{s,a\sim\rho_{\text{data}}}[\phi(r(s,a))]-\mathbb{E}_{s,a\sim\rho_{\theta}}[r(s,a)]</annotation></semantics></math></td>
<td class="ltx_eqn_cell ltx_eqn_center_padright"></td>
</tr></tbody>
</table>
</div>
<div id="A4.SS1.p5" class="ltx_para">
<p id="A4.SS1.p5.2" class="ltx_p">We can readily connect these to <math id="A4.SS1.p5.1.m1.1" class="ltx_Math" alttext="f" display="inline"><semantics id="A4.SS1.p5.1.m1.1a"><mi id="A4.SS1.p5.1.m1.1.1" xref="A4.SS1.p5.1.m1.1.1.cmml">f</mi><annotation-xml encoding="MathML-Content" id="A4.SS1.p5.1.m1.1b"><ci id="A4.SS1.p5.1.m1.1.1.cmml" xref="A4.SS1.p5.1.m1.1.1">𝑓</ci></annotation-xml><annotation encoding="application/x-tex" id="A4.SS1.p5.1.m1.1c">f</annotation></semantics></math>-divergences. Recall that the variational formulation of the <math id="A4.SS1.p5.2.m2.1" class="ltx_Math" alttext="f" display="inline"><semantics id="A4.SS1.p5.2.m2.1a"><mi id="A4.SS1.p5.2.m2.1.1" xref="A4.SS1.p5.2.m2.1.1.cmml">f</mi><annotation-xml encoding="MathML-Content" id="A4.SS1.p5.2.m2.1b"><ci id="A4.SS1.p5.2.m2.1.1.cmml" xref="A4.SS1.p5.2.m2.1.1">𝑓</ci></annotation-xml><annotation encoding="application/x-tex" id="A4.SS1.p5.2.m2.1c">f</annotation></semantics></math>-divergence is</p>
<table id="A9.EGx18" class="ltx_equationgroup ltx_eqn_align ltx_eqn_table">

<tbody id="A4.E16"><tr class="ltx_equation ltx_eqn_row ltx_align_baseline">
<td class="ltx_eqn_cell ltx_eqn_center_padleft"></td>
<td class="ltx_td ltx_align_right ltx_eqn_cell"><math id="A4.E16.m1.4" class="ltx_math_unparsed" alttext="\displaystyle D_{f}(P,Q)=\sup_{g}\left\{\mathbb{E}_{x\sim P}\left[g(x)\right]-\mathbb{E}_{x\sim Q}\left[f^{*}(g(x)\right]\right\}," display="inline"><semantics id="A4.E16.m1.4a"><mrow id="A4.E16.m1.4b"><msub id="A4.E16.m1.4.5"><mi id="A4.E16.m1.4.5.2">D</mi><mi id="A4.E16.m1.4.5.3">f</mi></msub><mrow id="A4.E16.m1.4.6"><mo stretchy="false" id="A4.E16.m1.4.6.1">(</mo><mi id="A4.E16.m1.1.1">P</mi><mo id="A4.E16.m1.4.6.2">,</mo><mi id="A4.E16.m1.2.2">Q</mi><mo stretchy="false" id="A4.E16.m1.4.6.3">)</mo></mrow><mo rspace="0.1389em" id="A4.E16.m1.4.7">=</mo><munder id="A4.E16.m1.4.8"><mo lspace="0.1389em" movablelimits="false" rspace="0em" id="A4.E16.m1.4.8.2">sup</mo><mi id="A4.E16.m1.4.8.3">g</mi></munder><mrow id="A4.E16.m1.4.9"><mo id="A4.E16.m1.4.9.1">{</mo><msub id="A4.E16.m1.4.9.2"><mi id="A4.E16.m1.4.9.2.2">𝔼</mi><mrow id="A4.E16.m1.4.9.2.3"><mi id="A4.E16.m1.4.9.2.3.2">x</mi><mo id="A4.E16.m1.4.9.2.3.1">∼</mo><mi id="A4.E16.m1.4.9.2.3.3">P</mi></mrow></msub><mrow id="A4.E16.m1.4.9.3"><mo id="A4.E16.m1.4.9.3.1">[</mo><mi id="A4.E16.m1.4.9.3.2">g</mi><mrow id="A4.E16.m1.4.9.3.3"><mo stretchy="false" id="A4.E16.m1.4.9.3.3.1">(</mo><mi id="A4.E16.m1.3.3">x</mi><mo stretchy="false" id="A4.E16.m1.4.9.3.3.2">)</mo></mrow><mo id="A4.E16.m1.4.9.3.4">]</mo></mrow><mo id="A4.E16.m1.4.9.4">−</mo><msub id="A4.E16.m1.4.9.5"><mi id="A4.E16.m1.4.9.5.2">𝔼</mi><mrow id="A4.E16.m1.4.9.5.3"><mi id="A4.E16.m1.4.9.5.3.2">x</mi><mo id="A4.E16.m1.4.9.5.3.1">∼</mo><mi id="A4.E16.m1.4.9.5.3.3">Q</mi></mrow></msub><mrow id="A4.E16.m1.4.9.6"><mo id="A4.E16.m1.4.9.6.1">[</mo><msup id="A4.E16.m1.4.9.6.2"><mi id="A4.E16.m1.4.9.6.2.2">f</mi><mo id="A4.E16.m1.4.9.6.2.3">∗</mo></msup><mrow id="A4.E16.m1.4.9.6.3"><mo stretchy="false" id="A4.E16.m1.4.9.6.3.1">(</mo><mi id="A4.E16.m1.4.9.6.3.2">g</mi><mrow id="A4.E16.m1.4.9.6.3.3"><mo stretchy="false" id="A4.E16.m1.4.9.6.3.3.1">(</mo><mi id="A4.E16.m1.4.4">x</mi><mo stretchy="false" id="A4.E16.m1.4.9.6.3.3.2">)</mo></mrow><mo id="A4.E16.m1.4.9.6.3.4">]</mo></mrow><mo id="A4.E16.m1.4.9.6.4">}</mo></mrow><mo id="A4.E16.m1.4.9.7">,</mo></mrow></mrow><annotation encoding="application/x-tex" id="A4.E16.m1.4c">\displaystyle D_{f}(P,Q)=\sup_{g}\left\{\mathbb{E}_{x\sim P}\left[g(x)\right]-\mathbb{E}_{x\sim Q}\left[f^{*}(g(x)\right]\right\},</annotation></semantics></math></td>
<td class="ltx_eqn_cell ltx_eqn_center_padright"></td>
<td rowspan="1" class="ltx_eqn_cell ltx_eqn_eqno ltx_align_middle ltx_align_right"><span class="ltx_tag ltx_tag_equation ltx_align_right">(16)</span></td>
</tr></tbody>
</table>
<p id="A4.SS1.p5.4" class="ltx_p">so we can see that the function <math id="A4.SS1.p5.3.m1.1" class="ltx_Math" alttext="\phi" display="inline"><semantics id="A4.SS1.p5.3.m1.1a"><mi id="A4.SS1.p5.3.m1.1.1" xref="A4.SS1.p5.3.m1.1.1.cmml">ϕ</mi><annotation-xml encoding="MathML-Content" id="A4.SS1.p5.3.m1.1b"><ci id="A4.SS1.p5.3.m1.1.1.cmml" xref="A4.SS1.p5.3.m1.1.1">italic-ϕ</ci></annotation-xml><annotation encoding="application/x-tex" id="A4.SS1.p5.3.m1.1c">\phi</annotation></semantics></math> we need is simply <math id="A4.SS1.p5.4.m2.1" class="ltx_Math" alttext="-f^{*}(-x)" display="inline"><semantics id="A4.SS1.p5.4.m2.1a"><mrow id="A4.SS1.p5.4.m2.1.1" xref="A4.SS1.p5.4.m2.1.1.cmml"><mo id="A4.SS1.p5.4.m2.1.1a" xref="A4.SS1.p5.4.m2.1.1.cmml">−</mo><mrow id="A4.SS1.p5.4.m2.1.1.1" xref="A4.SS1.p5.4.m2.1.1.1.cmml"><msup id="A4.SS1.p5.4.m2.1.1.1.3" xref="A4.SS1.p5.4.m2.1.1.1.3.cmml"><mi id="A4.SS1.p5.4.m2.1.1.1.3.2" xref="A4.SS1.p5.4.m2.1.1.1.3.2.cmml">f</mi><mo id="A4.SS1.p5.4.m2.1.1.1.3.3" xref="A4.SS1.p5.4.m2.1.1.1.3.3.cmml">∗</mo></msup><mo lspace="0em" rspace="0em" id="A4.SS1.p5.4.m2.1.1.1.2" xref="A4.SS1.p5.4.m2.1.1.1.2.cmml">​</mo><mrow id="A4.SS1.p5.4.m2.1.1.1.1.1" xref="A4.SS1.p5.4.m2.1.1.1.1.1.1.cmml"><mo stretchy="false" id="A4.SS1.p5.4.m2.1.1.1.1.1.2" xref="A4.SS1.p5.4.m2.1.1.1.1.1.1.cmml">(</mo><mrow id="A4.SS1.p5.4.m2.1.1.1.1.1.1" xref="A4.SS1.p5.4.m2.1.1.1.1.1.1.cmml"><mo id="A4.SS1.p5.4.m2.1.1.1.1.1.1a" xref="A4.SS1.p5.4.m2.1.1.1.1.1.1.cmml">−</mo><mi id="A4.SS1.p5.4.m2.1.1.1.1.1.1.2" xref="A4.SS1.p5.4.m2.1.1.1.1.1.1.2.cmml">x</mi></mrow><mo stretchy="false" id="A4.SS1.p5.4.m2.1.1.1.1.1.3" xref="A4.SS1.p5.4.m2.1.1.1.1.1.1.cmml">)</mo></mrow></mrow></mrow><annotation-xml encoding="MathML-Content" id="A4.SS1.p5.4.m2.1b"><apply id="A4.SS1.p5.4.m2.1.1.cmml" xref="A4.SS1.p5.4.m2.1.1"><minus id="A4.SS1.p5.4.m2.1.1.2.cmml" xref="A4.SS1.p5.4.m2.1.1"></minus><apply id="A4.SS1.p5.4.m2.1.1.1.cmml" xref="A4.SS1.p5.4.m2.1.1.1"><times id="A4.SS1.p5.4.m2.1.1.1.2.cmml" xref="A4.SS1.p5.4.m2.1.1.1.2"></times><apply id="A4.SS1.p5.4.m2.1.1.1.3.cmml" xref="A4.SS1.p5.4.m2.1.1.1.3"><csymbol cd="ambiguous" id="A4.SS1.p5.4.m2.1.1.1.3.1.cmml" xref="A4.SS1.p5.4.m2.1.1.1.3">superscript</csymbol><ci id="A4.SS1.p5.4.m2.1.1.1.3.2.cmml" xref="A4.SS1.p5.4.m2.1.1.1.3.2">𝑓</ci><times id="A4.SS1.p5.4.m2.1.1.1.3.3.cmml" xref="A4.SS1.p5.4.m2.1.1.1.3.3"></times></apply><apply id="A4.SS1.p5.4.m2.1.1.1.1.1.1.cmml" xref="A4.SS1.p5.4.m2.1.1.1.1.1"><minus id="A4.SS1.p5.4.m2.1.1.1.1.1.1.1.cmml" xref="A4.SS1.p5.4.m2.1.1.1.1.1"></minus><ci id="A4.SS1.p5.4.m2.1.1.1.1.1.1.2.cmml" xref="A4.SS1.p5.4.m2.1.1.1.1.1.1.2">𝑥</ci></apply></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="A4.SS1.p5.4.m2.1c">-f^{*}(-x)</annotation></semantics></math>.</p>
</div>
</section>
<section id="A4.SS2" class="ltx_subsection">
<h3 class="ltx_title ltx_title_subsection">
<span class="ltx_tag ltx_tag_subsection">D.2 </span>KL-divergence</h3>

<div id="A4.SS2.p1" class="ltx_para">
<p id="A4.SS2.p1.7" class="ltx_p">Note that we define our divergence in the reverse fashion to the usual convention, so to obtain the typical forward KL under the expectation of the data, we must use the reverse-KL <math id="A4.SS2.p1.1.m1.1" class="ltx_Math" alttext="f" display="inline"><semantics id="A4.SS2.p1.1.m1.1a"><mi id="A4.SS2.p1.1.m1.1.1" xref="A4.SS2.p1.1.m1.1.1.cmml">f</mi><annotation-xml encoding="MathML-Content" id="A4.SS2.p1.1.m1.1b"><ci id="A4.SS2.p1.1.m1.1.1.cmml" xref="A4.SS2.p1.1.m1.1.1">𝑓</ci></annotation-xml><annotation encoding="application/x-tex" id="A4.SS2.p1.1.m1.1c">f</annotation></semantics></math>-divergence, with <math id="A4.SS2.p1.2.m2.1" class="ltx_Math" alttext="f(x)=x\log x" display="inline"><semantics id="A4.SS2.p1.2.m2.1a"><mrow id="A4.SS2.p1.2.m2.1.2" xref="A4.SS2.p1.2.m2.1.2.cmml"><mrow id="A4.SS2.p1.2.m2.1.2.2" xref="A4.SS2.p1.2.m2.1.2.2.cmml"><mi id="A4.SS2.p1.2.m2.1.2.2.2" xref="A4.SS2.p1.2.m2.1.2.2.2.cmml">f</mi><mo lspace="0em" rspace="0em" id="A4.SS2.p1.2.m2.1.2.2.1" xref="A4.SS2.p1.2.m2.1.2.2.1.cmml">​</mo><mrow id="A4.SS2.p1.2.m2.1.2.2.3.2" xref="A4.SS2.p1.2.m2.1.2.2.cmml"><mo stretchy="false" id="A4.SS2.p1.2.m2.1.2.2.3.2.1" xref="A4.SS2.p1.2.m2.1.2.2.cmml">(</mo><mi id="A4.SS2.p1.2.m2.1.1" xref="A4.SS2.p1.2.m2.1.1.cmml">x</mi><mo stretchy="false" id="A4.SS2.p1.2.m2.1.2.2.3.2.2" xref="A4.SS2.p1.2.m2.1.2.2.cmml">)</mo></mrow></mrow><mo id="A4.SS2.p1.2.m2.1.2.1" xref="A4.SS2.p1.2.m2.1.2.1.cmml">=</mo><mrow id="A4.SS2.p1.2.m2.1.2.3" xref="A4.SS2.p1.2.m2.1.2.3.cmml"><mi id="A4.SS2.p1.2.m2.1.2.3.2" xref="A4.SS2.p1.2.m2.1.2.3.2.cmml">x</mi><mo lspace="0.167em" rspace="0em" id="A4.SS2.p1.2.m2.1.2.3.1" xref="A4.SS2.p1.2.m2.1.2.3.1.cmml">​</mo><mrow id="A4.SS2.p1.2.m2.1.2.3.3" xref="A4.SS2.p1.2.m2.1.2.3.3.cmml"><mi id="A4.SS2.p1.2.m2.1.2.3.3.1" xref="A4.SS2.p1.2.m2.1.2.3.3.1.cmml">log</mi><mo lspace="0.167em" id="A4.SS2.p1.2.m2.1.2.3.3a" xref="A4.SS2.p1.2.m2.1.2.3.3.cmml">⁡</mo><mi id="A4.SS2.p1.2.m2.1.2.3.3.2" xref="A4.SS2.p1.2.m2.1.2.3.3.2.cmml">x</mi></mrow></mrow></mrow><annotation-xml encoding="MathML-Content" id="A4.SS2.p1.2.m2.1b"><apply id="A4.SS2.p1.2.m2.1.2.cmml" xref="A4.SS2.p1.2.m2.1.2"><eq id="A4.SS2.p1.2.m2.1.2.1.cmml" xref="A4.SS2.p1.2.m2.1.2.1"></eq><apply id="A4.SS2.p1.2.m2.1.2.2.cmml" xref="A4.SS2.p1.2.m2.1.2.2"><times id="A4.SS2.p1.2.m2.1.2.2.1.cmml" xref="A4.SS2.p1.2.m2.1.2.2.1"></times><ci id="A4.SS2.p1.2.m2.1.2.2.2.cmml" xref="A4.SS2.p1.2.m2.1.2.2.2">𝑓</ci><ci id="A4.SS2.p1.2.m2.1.1.cmml" xref="A4.SS2.p1.2.m2.1.1">𝑥</ci></apply><apply id="A4.SS2.p1.2.m2.1.2.3.cmml" xref="A4.SS2.p1.2.m2.1.2.3"><times id="A4.SS2.p1.2.m2.1.2.3.1.cmml" xref="A4.SS2.p1.2.m2.1.2.3.1"></times><ci id="A4.SS2.p1.2.m2.1.2.3.2.cmml" xref="A4.SS2.p1.2.m2.1.2.3.2">𝑥</ci><apply id="A4.SS2.p1.2.m2.1.2.3.3.cmml" xref="A4.SS2.p1.2.m2.1.2.3.3"><log id="A4.SS2.p1.2.m2.1.2.3.3.1.cmml" xref="A4.SS2.p1.2.m2.1.2.3.3.1"></log><ci id="A4.SS2.p1.2.m2.1.2.3.3.2.cmml" xref="A4.SS2.p1.2.m2.1.2.3.3.2">𝑥</ci></apply></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="A4.SS2.p1.2.m2.1c">f(x)=x\log x</annotation></semantics></math>. This gives <math id="A4.SS2.p1.3.m3.2" class="ltx_Math" alttext="\phi(x)=-e^{-(x+1)}" display="inline"><semantics id="A4.SS2.p1.3.m3.2a"><mrow id="A4.SS2.p1.3.m3.2.3" xref="A4.SS2.p1.3.m3.2.3.cmml"><mrow id="A4.SS2.p1.3.m3.2.3.2" xref="A4.SS2.p1.3.m3.2.3.2.cmml"><mi id="A4.SS2.p1.3.m3.2.3.2.2" xref="A4.SS2.p1.3.m3.2.3.2.2.cmml">ϕ</mi><mo lspace="0em" rspace="0em" id="A4.SS2.p1.3.m3.2.3.2.1" xref="A4.SS2.p1.3.m3.2.3.2.1.cmml">​</mo><mrow id="A4.SS2.p1.3.m3.2.3.2.3.2" xref="A4.SS2.p1.3.m3.2.3.2.cmml"><mo stretchy="false" id="A4.SS2.p1.3.m3.2.3.2.3.2.1" xref="A4.SS2.p1.3.m3.2.3.2.cmml">(</mo><mi id="A4.SS2.p1.3.m3.2.2" xref="A4.SS2.p1.3.m3.2.2.cmml">x</mi><mo stretchy="false" id="A4.SS2.p1.3.m3.2.3.2.3.2.2" xref="A4.SS2.p1.3.m3.2.3.2.cmml">)</mo></mrow></mrow><mo id="A4.SS2.p1.3.m3.2.3.1" xref="A4.SS2.p1.3.m3.2.3.1.cmml">=</mo><mrow id="A4.SS2.p1.3.m3.2.3.3" xref="A4.SS2.p1.3.m3.2.3.3.cmml"><mo id="A4.SS2.p1.3.m3.2.3.3a" xref="A4.SS2.p1.3.m3.2.3.3.cmml">−</mo><msup id="A4.SS2.p1.3.m3.2.3.3.2" xref="A4.SS2.p1.3.m3.2.3.3.2.cmml"><mi id="A4.SS2.p1.3.m3.2.3.3.2.2" xref="A4.SS2.p1.3.m3.2.3.3.2.2.cmml">e</mi><mrow id="A4.SS2.p1.3.m3.1.1.1" xref="A4.SS2.p1.3.m3.1.1.1.cmml"><mo id="A4.SS2.p1.3.m3.1.1.1a" xref="A4.SS2.p1.3.m3.1.1.1.cmml">−</mo><mrow id="A4.SS2.p1.3.m3.1.1.1.1.1" xref="A4.SS2.p1.3.m3.1.1.1.1.1.1.cmml"><mo stretchy="false" id="A4.SS2.p1.3.m3.1.1.1.1.1.2" xref="A4.SS2.p1.3.m3.1.1.1.1.1.1.cmml">(</mo><mrow id="A4.SS2.p1.3.m3.1.1.1.1.1.1" xref="A4.SS2.p1.3.m3.1.1.1.1.1.1.cmml"><mi id="A4.SS2.p1.3.m3.1.1.1.1.1.1.2" xref="A4.SS2.p1.3.m3.1.1.1.1.1.1.2.cmml">x</mi><mo id="A4.SS2.p1.3.m3.1.1.1.1.1.1.1" xref="A4.SS2.p1.3.m3.1.1.1.1.1.1.1.cmml">+</mo><mn id="A4.SS2.p1.3.m3.1.1.1.1.1.1.3" xref="A4.SS2.p1.3.m3.1.1.1.1.1.1.3.cmml">1</mn></mrow><mo stretchy="false" id="A4.SS2.p1.3.m3.1.1.1.1.1.3" xref="A4.SS2.p1.3.m3.1.1.1.1.1.1.cmml">)</mo></mrow></mrow></msup></mrow></mrow><annotation-xml encoding="MathML-Content" id="A4.SS2.p1.3.m3.2b"><apply id="A4.SS2.p1.3.m3.2.3.cmml" xref="A4.SS2.p1.3.m3.2.3"><eq id="A4.SS2.p1.3.m3.2.3.1.cmml" xref="A4.SS2.p1.3.m3.2.3.1"></eq><apply id="A4.SS2.p1.3.m3.2.3.2.cmml" xref="A4.SS2.p1.3.m3.2.3.2"><times id="A4.SS2.p1.3.m3.2.3.2.1.cmml" xref="A4.SS2.p1.3.m3.2.3.2.1"></times><ci id="A4.SS2.p1.3.m3.2.3.2.2.cmml" xref="A4.SS2.p1.3.m3.2.3.2.2">italic-ϕ</ci><ci id="A4.SS2.p1.3.m3.2.2.cmml" xref="A4.SS2.p1.3.m3.2.2">𝑥</ci></apply><apply id="A4.SS2.p1.3.m3.2.3.3.cmml" xref="A4.SS2.p1.3.m3.2.3.3"><minus id="A4.SS2.p1.3.m3.2.3.3.1.cmml" xref="A4.SS2.p1.3.m3.2.3.3"></minus><apply id="A4.SS2.p1.3.m3.2.3.3.2.cmml" xref="A4.SS2.p1.3.m3.2.3.3.2"><csymbol cd="ambiguous" id="A4.SS2.p1.3.m3.2.3.3.2.1.cmml" xref="A4.SS2.p1.3.m3.2.3.3.2">superscript</csymbol><ci id="A4.SS2.p1.3.m3.2.3.3.2.2.cmml" xref="A4.SS2.p1.3.m3.2.3.3.2.2">𝑒</ci><apply id="A4.SS2.p1.3.m3.1.1.1.cmml" xref="A4.SS2.p1.3.m3.1.1.1"><minus id="A4.SS2.p1.3.m3.1.1.1.2.cmml" xref="A4.SS2.p1.3.m3.1.1.1"></minus><apply id="A4.SS2.p1.3.m3.1.1.1.1.1.1.cmml" xref="A4.SS2.p1.3.m3.1.1.1.1.1"><plus id="A4.SS2.p1.3.m3.1.1.1.1.1.1.1.cmml" xref="A4.SS2.p1.3.m3.1.1.1.1.1.1.1"></plus><ci id="A4.SS2.p1.3.m3.1.1.1.1.1.1.2.cmml" xref="A4.SS2.p1.3.m3.1.1.1.1.1.1.2">𝑥</ci><cn type="integer" id="A4.SS2.p1.3.m3.1.1.1.1.1.1.3.cmml" xref="A4.SS2.p1.3.m3.1.1.1.1.1.1.3">1</cn></apply></apply></apply></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="A4.SS2.p1.3.m3.2c">\phi(x)=-e^{-(x+1)}</annotation></semantics></math>. However, since we can always shift an f-divergence’s <math id="A4.SS2.p1.4.m4.1" class="ltx_Math" alttext="f" display="inline"><semantics id="A4.SS2.p1.4.m4.1a"><mi id="A4.SS2.p1.4.m4.1.1" xref="A4.SS2.p1.4.m4.1.1.cmml">f</mi><annotation-xml encoding="MathML-Content" id="A4.SS2.p1.4.m4.1b"><ci id="A4.SS2.p1.4.m4.1.1.cmml" xref="A4.SS2.p1.4.m4.1.1">𝑓</ci></annotation-xml><annotation encoding="application/x-tex" id="A4.SS2.p1.4.m4.1c">f</annotation></semantics></math> by a constant multiple of <math id="A4.SS2.p1.5.m5.1" class="ltx_Math" alttext="(x-1)" display="inline"><semantics id="A4.SS2.p1.5.m5.1a"><mrow id="A4.SS2.p1.5.m5.1.1.1" xref="A4.SS2.p1.5.m5.1.1.1.1.cmml"><mo stretchy="false" id="A4.SS2.p1.5.m5.1.1.1.2" xref="A4.SS2.p1.5.m5.1.1.1.1.cmml">(</mo><mrow id="A4.SS2.p1.5.m5.1.1.1.1" xref="A4.SS2.p1.5.m5.1.1.1.1.cmml"><mi id="A4.SS2.p1.5.m5.1.1.1.1.2" xref="A4.SS2.p1.5.m5.1.1.1.1.2.cmml">x</mi><mo id="A4.SS2.p1.5.m5.1.1.1.1.1" xref="A4.SS2.p1.5.m5.1.1.1.1.1.cmml">−</mo><mn id="A4.SS2.p1.5.m5.1.1.1.1.3" xref="A4.SS2.p1.5.m5.1.1.1.1.3.cmml">1</mn></mrow><mo stretchy="false" id="A4.SS2.p1.5.m5.1.1.1.3" xref="A4.SS2.p1.5.m5.1.1.1.1.cmml">)</mo></mrow><annotation-xml encoding="MathML-Content" id="A4.SS2.p1.5.m5.1b"><apply id="A4.SS2.p1.5.m5.1.1.1.1.cmml" xref="A4.SS2.p1.5.m5.1.1.1"><minus id="A4.SS2.p1.5.m5.1.1.1.1.1.cmml" xref="A4.SS2.p1.5.m5.1.1.1.1.1"></minus><ci id="A4.SS2.p1.5.m5.1.1.1.1.2.cmml" xref="A4.SS2.p1.5.m5.1.1.1.1.2">𝑥</ci><cn type="integer" id="A4.SS2.p1.5.m5.1.1.1.1.3.cmml" xref="A4.SS2.p1.5.m5.1.1.1.1.3">1</cn></apply></annotation-xml><annotation encoding="application/x-tex" id="A4.SS2.p1.5.m5.1c">(x-1)</annotation></semantics></math> without changing the divergence (which should be clear from observing cancellations in the definition of the <math id="A4.SS2.p1.6.m6.1" class="ltx_Math" alttext="f" display="inline"><semantics id="A4.SS2.p1.6.m6.1a"><mi id="A4.SS2.p1.6.m6.1.1" xref="A4.SS2.p1.6.m6.1.1.cmml">f</mi><annotation-xml encoding="MathML-Content" id="A4.SS2.p1.6.m6.1b"><ci id="A4.SS2.p1.6.m6.1.1.cmml" xref="A4.SS2.p1.6.m6.1.1">𝑓</ci></annotation-xml><annotation encoding="application/x-tex" id="A4.SS2.p1.6.m6.1c">f</annotation></semantics></math> divergence), we shift by -1 and (after working through the derivations) have a simpler <math id="A4.SS2.p1.7.m7.1" class="ltx_Math" alttext="\phi(x)=-e^{-x}" display="inline"><semantics id="A4.SS2.p1.7.m7.1a"><mrow id="A4.SS2.p1.7.m7.1.2" xref="A4.SS2.p1.7.m7.1.2.cmml"><mrow id="A4.SS2.p1.7.m7.1.2.2" xref="A4.SS2.p1.7.m7.1.2.2.cmml"><mi id="A4.SS2.p1.7.m7.1.2.2.2" xref="A4.SS2.p1.7.m7.1.2.2.2.cmml">ϕ</mi><mo lspace="0em" rspace="0em" id="A4.SS2.p1.7.m7.1.2.2.1" xref="A4.SS2.p1.7.m7.1.2.2.1.cmml">​</mo><mrow id="A4.SS2.p1.7.m7.1.2.2.3.2" xref="A4.SS2.p1.7.m7.1.2.2.cmml"><mo stretchy="false" id="A4.SS2.p1.7.m7.1.2.2.3.2.1" xref="A4.SS2.p1.7.m7.1.2.2.cmml">(</mo><mi id="A4.SS2.p1.7.m7.1.1" xref="A4.SS2.p1.7.m7.1.1.cmml">x</mi><mo stretchy="false" id="A4.SS2.p1.7.m7.1.2.2.3.2.2" xref="A4.SS2.p1.7.m7.1.2.2.cmml">)</mo></mrow></mrow><mo id="A4.SS2.p1.7.m7.1.2.1" xref="A4.SS2.p1.7.m7.1.2.1.cmml">=</mo><mrow id="A4.SS2.p1.7.m7.1.2.3" xref="A4.SS2.p1.7.m7.1.2.3.cmml"><mo id="A4.SS2.p1.7.m7.1.2.3a" xref="A4.SS2.p1.7.m7.1.2.3.cmml">−</mo><msup id="A4.SS2.p1.7.m7.1.2.3.2" xref="A4.SS2.p1.7.m7.1.2.3.2.cmml"><mi id="A4.SS2.p1.7.m7.1.2.3.2.2" xref="A4.SS2.p1.7.m7.1.2.3.2.2.cmml">e</mi><mrow id="A4.SS2.p1.7.m7.1.2.3.2.3" xref="A4.SS2.p1.7.m7.1.2.3.2.3.cmml"><mo id="A4.SS2.p1.7.m7.1.2.3.2.3a" xref="A4.SS2.p1.7.m7.1.2.3.2.3.cmml">−</mo><mi id="A4.SS2.p1.7.m7.1.2.3.2.3.2" xref="A4.SS2.p1.7.m7.1.2.3.2.3.2.cmml">x</mi></mrow></msup></mrow></mrow><annotation-xml encoding="MathML-Content" id="A4.SS2.p1.7.m7.1b"><apply id="A4.SS2.p1.7.m7.1.2.cmml" xref="A4.SS2.p1.7.m7.1.2"><eq id="A4.SS2.p1.7.m7.1.2.1.cmml" xref="A4.SS2.p1.7.m7.1.2.1"></eq><apply id="A4.SS2.p1.7.m7.1.2.2.cmml" xref="A4.SS2.p1.7.m7.1.2.2"><times id="A4.SS2.p1.7.m7.1.2.2.1.cmml" xref="A4.SS2.p1.7.m7.1.2.2.1"></times><ci id="A4.SS2.p1.7.m7.1.2.2.2.cmml" xref="A4.SS2.p1.7.m7.1.2.2.2">italic-ϕ</ci><ci id="A4.SS2.p1.7.m7.1.1.cmml" xref="A4.SS2.p1.7.m7.1.1">𝑥</ci></apply><apply id="A4.SS2.p1.7.m7.1.2.3.cmml" xref="A4.SS2.p1.7.m7.1.2.3"><minus id="A4.SS2.p1.7.m7.1.2.3.1.cmml" xref="A4.SS2.p1.7.m7.1.2.3"></minus><apply id="A4.SS2.p1.7.m7.1.2.3.2.cmml" xref="A4.SS2.p1.7.m7.1.2.3.2"><csymbol cd="ambiguous" id="A4.SS2.p1.7.m7.1.2.3.2.1.cmml" xref="A4.SS2.p1.7.m7.1.2.3.2">superscript</csymbol><ci id="A4.SS2.p1.7.m7.1.2.3.2.2.cmml" xref="A4.SS2.p1.7.m7.1.2.3.2.2">𝑒</ci><apply id="A4.SS2.p1.7.m7.1.2.3.2.3.cmml" xref="A4.SS2.p1.7.m7.1.2.3.2.3"><minus id="A4.SS2.p1.7.m7.1.2.3.2.3.1.cmml" xref="A4.SS2.p1.7.m7.1.2.3.2.3"></minus><ci id="A4.SS2.p1.7.m7.1.2.3.2.3.2.cmml" xref="A4.SS2.p1.7.m7.1.2.3.2.3.2">𝑥</ci></apply></apply></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="A4.SS2.p1.7.m7.1c">\phi(x)=-e^{-x}</annotation></semantics></math>.</p>
</div>
</section>
<section id="A4.SS3" class="ltx_subsection">
<h3 class="ltx_title ltx_title_subsection">
<span class="ltx_tag ltx_tag_subsection">D.3 </span>Jenson-Shannon Divergence</h3>

<div id="A4.SS3.p1" class="ltx_para">
<p id="A4.SS3.p1.12" class="ltx_p">The Jenson-Shannon divergence has <math id="A4.SS3.p1.1.m1.4" class="ltx_Math" alttext="f(x)=-(x+1)\log(\frac{x+1}{2})+x\log x" display="inline"><semantics id="A4.SS3.p1.1.m1.4a"><mrow id="A4.SS3.p1.1.m1.4.4" xref="A4.SS3.p1.1.m1.4.4.cmml"><mrow id="A4.SS3.p1.1.m1.4.4.3" xref="A4.SS3.p1.1.m1.4.4.3.cmml"><mi id="A4.SS3.p1.1.m1.4.4.3.2" xref="A4.SS3.p1.1.m1.4.4.3.2.cmml">f</mi><mo lspace="0em" rspace="0em" id="A4.SS3.p1.1.m1.4.4.3.1" xref="A4.SS3.p1.1.m1.4.4.3.1.cmml">​</mo><mrow id="A4.SS3.p1.1.m1.4.4.3.3.2" xref="A4.SS3.p1.1.m1.4.4.3.cmml"><mo stretchy="false" id="A4.SS3.p1.1.m1.4.4.3.3.2.1" xref="A4.SS3.p1.1.m1.4.4.3.cmml">(</mo><mi id="A4.SS3.p1.1.m1.1.1" xref="A4.SS3.p1.1.m1.1.1.cmml">x</mi><mo stretchy="false" id="A4.SS3.p1.1.m1.4.4.3.3.2.2" xref="A4.SS3.p1.1.m1.4.4.3.cmml">)</mo></mrow></mrow><mo id="A4.SS3.p1.1.m1.4.4.2" xref="A4.SS3.p1.1.m1.4.4.2.cmml">=</mo><mrow id="A4.SS3.p1.1.m1.4.4.1" xref="A4.SS3.p1.1.m1.4.4.1.cmml"><mrow id="A4.SS3.p1.1.m1.4.4.1.1" xref="A4.SS3.p1.1.m1.4.4.1.1.cmml"><mo id="A4.SS3.p1.1.m1.4.4.1.1a" xref="A4.SS3.p1.1.m1.4.4.1.1.cmml">−</mo><mrow id="A4.SS3.p1.1.m1.4.4.1.1.1" xref="A4.SS3.p1.1.m1.4.4.1.1.1.cmml"><mrow id="A4.SS3.p1.1.m1.4.4.1.1.1.1.1" xref="A4.SS3.p1.1.m1.4.4.1.1.1.1.1.1.cmml"><mo stretchy="false" id="A4.SS3.p1.1.m1.4.4.1.1.1.1.1.2" xref="A4.SS3.p1.1.m1.4.4.1.1.1.1.1.1.cmml">(</mo><mrow id="A4.SS3.p1.1.m1.4.4.1.1.1.1.1.1" xref="A4.SS3.p1.1.m1.4.4.1.1.1.1.1.1.cmml"><mi id="A4.SS3.p1.1.m1.4.4.1.1.1.1.1.1.2" xref="A4.SS3.p1.1.m1.4.4.1.1.1.1.1.1.2.cmml">x</mi><mo id="A4.SS3.p1.1.m1.4.4.1.1.1.1.1.1.1" xref="A4.SS3.p1.1.m1.4.4.1.1.1.1.1.1.1.cmml">+</mo><mn id="A4.SS3.p1.1.m1.4.4.1.1.1.1.1.1.3" xref="A4.SS3.p1.1.m1.4.4.1.1.1.1.1.1.3.cmml">1</mn></mrow><mo stretchy="false" id="A4.SS3.p1.1.m1.4.4.1.1.1.1.1.3" xref="A4.SS3.p1.1.m1.4.4.1.1.1.1.1.1.cmml">)</mo></mrow><mo lspace="0.167em" rspace="0em" id="A4.SS3.p1.1.m1.4.4.1.1.1.2" xref="A4.SS3.p1.1.m1.4.4.1.1.1.2.cmml">​</mo><mrow id="A4.SS3.p1.1.m1.4.4.1.1.1.3.2" xref="A4.SS3.p1.1.m1.4.4.1.1.1.3.1.cmml"><mi id="A4.SS3.p1.1.m1.2.2" xref="A4.SS3.p1.1.m1.2.2.cmml">log</mi><mo id="A4.SS3.p1.1.m1.4.4.1.1.1.3.2a" xref="A4.SS3.p1.1.m1.4.4.1.1.1.3.1.cmml">⁡</mo><mrow id="A4.SS3.p1.1.m1.4.4.1.1.1.3.2.1" xref="A4.SS3.p1.1.m1.4.4.1.1.1.3.1.cmml"><mo stretchy="false" id="A4.SS3.p1.1.m1.4.4.1.1.1.3.2.1.1" xref="A4.SS3.p1.1.m1.4.4.1.1.1.3.1.cmml">(</mo><mfrac id="A4.SS3.p1.1.m1.3.3" xref="A4.SS3.p1.1.m1.3.3.cmml"><mrow id="A4.SS3.p1.1.m1.3.3.2" xref="A4.SS3.p1.1.m1.3.3.2.cmml"><mi id="A4.SS3.p1.1.m1.3.3.2.2" xref="A4.SS3.p1.1.m1.3.3.2.2.cmml">x</mi><mo id="A4.SS3.p1.1.m1.3.3.2.1" xref="A4.SS3.p1.1.m1.3.3.2.1.cmml">+</mo><mn id="A4.SS3.p1.1.m1.3.3.2.3" xref="A4.SS3.p1.1.m1.3.3.2.3.cmml">1</mn></mrow><mn id="A4.SS3.p1.1.m1.3.3.3" xref="A4.SS3.p1.1.m1.3.3.3.cmml">2</mn></mfrac><mo stretchy="false" id="A4.SS3.p1.1.m1.4.4.1.1.1.3.2.1.2" xref="A4.SS3.p1.1.m1.4.4.1.1.1.3.1.cmml">)</mo></mrow></mrow></mrow></mrow><mo id="A4.SS3.p1.1.m1.4.4.1.2" xref="A4.SS3.p1.1.m1.4.4.1.2.cmml">+</mo><mrow id="A4.SS3.p1.1.m1.4.4.1.3" xref="A4.SS3.p1.1.m1.4.4.1.3.cmml"><mi id="A4.SS3.p1.1.m1.4.4.1.3.2" xref="A4.SS3.p1.1.m1.4.4.1.3.2.cmml">x</mi><mo lspace="0.167em" rspace="0em" id="A4.SS3.p1.1.m1.4.4.1.3.1" xref="A4.SS3.p1.1.m1.4.4.1.3.1.cmml">​</mo><mrow id="A4.SS3.p1.1.m1.4.4.1.3.3" xref="A4.SS3.p1.1.m1.4.4.1.3.3.cmml"><mi id="A4.SS3.p1.1.m1.4.4.1.3.3.1" xref="A4.SS3.p1.1.m1.4.4.1.3.3.1.cmml">log</mi><mo lspace="0.167em" id="A4.SS3.p1.1.m1.4.4.1.3.3a" xref="A4.SS3.p1.1.m1.4.4.1.3.3.cmml">⁡</mo><mi id="A4.SS3.p1.1.m1.4.4.1.3.3.2" xref="A4.SS3.p1.1.m1.4.4.1.3.3.2.cmml">x</mi></mrow></mrow></mrow></mrow><annotation-xml encoding="MathML-Content" id="A4.SS3.p1.1.m1.4b"><apply id="A4.SS3.p1.1.m1.4.4.cmml" xref="A4.SS3.p1.1.m1.4.4"><eq id="A4.SS3.p1.1.m1.4.4.2.cmml" xref="A4.SS3.p1.1.m1.4.4.2"></eq><apply id="A4.SS3.p1.1.m1.4.4.3.cmml" xref="A4.SS3.p1.1.m1.4.4.3"><times id="A4.SS3.p1.1.m1.4.4.3.1.cmml" xref="A4.SS3.p1.1.m1.4.4.3.1"></times><ci id="A4.SS3.p1.1.m1.4.4.3.2.cmml" xref="A4.SS3.p1.1.m1.4.4.3.2">𝑓</ci><ci id="A4.SS3.p1.1.m1.1.1.cmml" xref="A4.SS3.p1.1.m1.1.1">𝑥</ci></apply><apply id="A4.SS3.p1.1.m1.4.4.1.cmml" xref="A4.SS3.p1.1.m1.4.4.1"><plus id="A4.SS3.p1.1.m1.4.4.1.2.cmml" xref="A4.SS3.p1.1.m1.4.4.1.2"></plus><apply id="A4.SS3.p1.1.m1.4.4.1.1.cmml" xref="A4.SS3.p1.1.m1.4.4.1.1"><minus id="A4.SS3.p1.1.m1.4.4.1.1.2.cmml" xref="A4.SS3.p1.1.m1.4.4.1.1"></minus><apply id="A4.SS3.p1.1.m1.4.4.1.1.1.cmml" xref="A4.SS3.p1.1.m1.4.4.1.1.1"><times id="A4.SS3.p1.1.m1.4.4.1.1.1.2.cmml" xref="A4.SS3.p1.1.m1.4.4.1.1.1.2"></times><apply id="A4.SS3.p1.1.m1.4.4.1.1.1.1.1.1.cmml" xref="A4.SS3.p1.1.m1.4.4.1.1.1.1.1"><plus id="A4.SS3.p1.1.m1.4.4.1.1.1.1.1.1.1.cmml" xref="A4.SS3.p1.1.m1.4.4.1.1.1.1.1.1.1"></plus><ci id="A4.SS3.p1.1.m1.4.4.1.1.1.1.1.1.2.cmml" xref="A4.SS3.p1.1.m1.4.4.1.1.1.1.1.1.2">𝑥</ci><cn type="integer" id="A4.SS3.p1.1.m1.4.4.1.1.1.1.1.1.3.cmml" xref="A4.SS3.p1.1.m1.4.4.1.1.1.1.1.1.3">1</cn></apply><apply id="A4.SS3.p1.1.m1.4.4.1.1.1.3.1.cmml" xref="A4.SS3.p1.1.m1.4.4.1.1.1.3.2"><log id="A4.SS3.p1.1.m1.2.2.cmml" xref="A4.SS3.p1.1.m1.2.2"></log><apply id="A4.SS3.p1.1.m1.3.3.cmml" xref="A4.SS3.p1.1.m1.3.3"><divide id="A4.SS3.p1.1.m1.3.3.1.cmml" xref="A4.SS3.p1.1.m1.3.3"></divide><apply id="A4.SS3.p1.1.m1.3.3.2.cmml" xref="A4.SS3.p1.1.m1.3.3.2"><plus id="A4.SS3.p1.1.m1.3.3.2.1.cmml" xref="A4.SS3.p1.1.m1.3.3.2.1"></plus><ci id="A4.SS3.p1.1.m1.3.3.2.2.cmml" xref="A4.SS3.p1.1.m1.3.3.2.2">𝑥</ci><cn type="integer" id="A4.SS3.p1.1.m1.3.3.2.3.cmml" xref="A4.SS3.p1.1.m1.3.3.2.3">1</cn></apply><cn type="integer" id="A4.SS3.p1.1.m1.3.3.3.cmml" xref="A4.SS3.p1.1.m1.3.3.3">2</cn></apply></apply></apply></apply><apply id="A4.SS3.p1.1.m1.4.4.1.3.cmml" xref="A4.SS3.p1.1.m1.4.4.1.3"><times id="A4.SS3.p1.1.m1.4.4.1.3.1.cmml" xref="A4.SS3.p1.1.m1.4.4.1.3.1"></times><ci id="A4.SS3.p1.1.m1.4.4.1.3.2.cmml" xref="A4.SS3.p1.1.m1.4.4.1.3.2">𝑥</ci><apply id="A4.SS3.p1.1.m1.4.4.1.3.3.cmml" xref="A4.SS3.p1.1.m1.4.4.1.3.3"><log id="A4.SS3.p1.1.m1.4.4.1.3.3.1.cmml" xref="A4.SS3.p1.1.m1.4.4.1.3.3.1"></log><ci id="A4.SS3.p1.1.m1.4.4.1.3.3.2.cmml" xref="A4.SS3.p1.1.m1.4.4.1.3.3.2">𝑥</ci></apply></apply></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="A4.SS3.p1.1.m1.4c">f(x)=-(x+1)\log(\frac{x+1}{2})+x\log x</annotation></semantics></math>. This leads to <math id="A4.SS3.p1.2.m2.3" class="ltx_Math" alttext="\phi(x)=\log(2-e^{-x})" display="inline"><semantics id="A4.SS3.p1.2.m2.3a"><mrow id="A4.SS3.p1.2.m2.3.3" xref="A4.SS3.p1.2.m2.3.3.cmml"><mrow id="A4.SS3.p1.2.m2.3.3.3" xref="A4.SS3.p1.2.m2.3.3.3.cmml"><mi id="A4.SS3.p1.2.m2.3.3.3.2" xref="A4.SS3.p1.2.m2.3.3.3.2.cmml">ϕ</mi><mo lspace="0em" rspace="0em" id="A4.SS3.p1.2.m2.3.3.3.1" xref="A4.SS3.p1.2.m2.3.3.3.1.cmml">​</mo><mrow id="A4.SS3.p1.2.m2.3.3.3.3.2" xref="A4.SS3.p1.2.m2.3.3.3.cmml"><mo stretchy="false" id="A4.SS3.p1.2.m2.3.3.3.3.2.1" xref="A4.SS3.p1.2.m2.3.3.3.cmml">(</mo><mi id="A4.SS3.p1.2.m2.1.1" xref="A4.SS3.p1.2.m2.1.1.cmml">x</mi><mo stretchy="false" id="A4.SS3.p1.2.m2.3.3.3.3.2.2" xref="A4.SS3.p1.2.m2.3.3.3.cmml">)</mo></mrow></mrow><mo id="A4.SS3.p1.2.m2.3.3.2" xref="A4.SS3.p1.2.m2.3.3.2.cmml">=</mo><mrow id="A4.SS3.p1.2.m2.3.3.1.1" xref="A4.SS3.p1.2.m2.3.3.1.2.cmml"><mi id="A4.SS3.p1.2.m2.2.2" xref="A4.SS3.p1.2.m2.2.2.cmml">log</mi><mo id="A4.SS3.p1.2.m2.3.3.1.1a" xref="A4.SS3.p1.2.m2.3.3.1.2.cmml">⁡</mo><mrow id="A4.SS3.p1.2.m2.3.3.1.1.1" xref="A4.SS3.p1.2.m2.3.3.1.2.cmml"><mo stretchy="false" id="A4.SS3.p1.2.m2.3.3.1.1.1.2" xref="A4.SS3.p1.2.m2.3.3.1.2.cmml">(</mo><mrow id="A4.SS3.p1.2.m2.3.3.1.1.1.1" xref="A4.SS3.p1.2.m2.3.3.1.1.1.1.cmml"><mn id="A4.SS3.p1.2.m2.3.3.1.1.1.1.2" xref="A4.SS3.p1.2.m2.3.3.1.1.1.1.2.cmml">2</mn><mo id="A4.SS3.p1.2.m2.3.3.1.1.1.1.1" xref="A4.SS3.p1.2.m2.3.3.1.1.1.1.1.cmml">−</mo><msup id="A4.SS3.p1.2.m2.3.3.1.1.1.1.3" xref="A4.SS3.p1.2.m2.3.3.1.1.1.1.3.cmml"><mi id="A4.SS3.p1.2.m2.3.3.1.1.1.1.3.2" xref="A4.SS3.p1.2.m2.3.3.1.1.1.1.3.2.cmml">e</mi><mrow id="A4.SS3.p1.2.m2.3.3.1.1.1.1.3.3" xref="A4.SS3.p1.2.m2.3.3.1.1.1.1.3.3.cmml"><mo id="A4.SS3.p1.2.m2.3.3.1.1.1.1.3.3a" xref="A4.SS3.p1.2.m2.3.3.1.1.1.1.3.3.cmml">−</mo><mi id="A4.SS3.p1.2.m2.3.3.1.1.1.1.3.3.2" xref="A4.SS3.p1.2.m2.3.3.1.1.1.1.3.3.2.cmml">x</mi></mrow></msup></mrow><mo stretchy="false" id="A4.SS3.p1.2.m2.3.3.1.1.1.3" xref="A4.SS3.p1.2.m2.3.3.1.2.cmml">)</mo></mrow></mrow></mrow><annotation-xml encoding="MathML-Content" id="A4.SS3.p1.2.m2.3b"><apply id="A4.SS3.p1.2.m2.3.3.cmml" xref="A4.SS3.p1.2.m2.3.3"><eq id="A4.SS3.p1.2.m2.3.3.2.cmml" xref="A4.SS3.p1.2.m2.3.3.2"></eq><apply id="A4.SS3.p1.2.m2.3.3.3.cmml" xref="A4.SS3.p1.2.m2.3.3.3"><times id="A4.SS3.p1.2.m2.3.3.3.1.cmml" xref="A4.SS3.p1.2.m2.3.3.3.1"></times><ci id="A4.SS3.p1.2.m2.3.3.3.2.cmml" xref="A4.SS3.p1.2.m2.3.3.3.2">italic-ϕ</ci><ci id="A4.SS3.p1.2.m2.1.1.cmml" xref="A4.SS3.p1.2.m2.1.1">𝑥</ci></apply><apply id="A4.SS3.p1.2.m2.3.3.1.2.cmml" xref="A4.SS3.p1.2.m2.3.3.1.1"><log id="A4.SS3.p1.2.m2.2.2.cmml" xref="A4.SS3.p1.2.m2.2.2"></log><apply id="A4.SS3.p1.2.m2.3.3.1.1.1.1.cmml" xref="A4.SS3.p1.2.m2.3.3.1.1.1.1"><minus id="A4.SS3.p1.2.m2.3.3.1.1.1.1.1.cmml" xref="A4.SS3.p1.2.m2.3.3.1.1.1.1.1"></minus><cn type="integer" id="A4.SS3.p1.2.m2.3.3.1.1.1.1.2.cmml" xref="A4.SS3.p1.2.m2.3.3.1.1.1.1.2">2</cn><apply id="A4.SS3.p1.2.m2.3.3.1.1.1.1.3.cmml" xref="A4.SS3.p1.2.m2.3.3.1.1.1.1.3"><csymbol cd="ambiguous" id="A4.SS3.p1.2.m2.3.3.1.1.1.1.3.1.cmml" xref="A4.SS3.p1.2.m2.3.3.1.1.1.1.3">superscript</csymbol><ci id="A4.SS3.p1.2.m2.3.3.1.1.1.1.3.2.cmml" xref="A4.SS3.p1.2.m2.3.3.1.1.1.1.3.2">𝑒</ci><apply id="A4.SS3.p1.2.m2.3.3.1.1.1.1.3.3.cmml" xref="A4.SS3.p1.2.m2.3.3.1.1.1.1.3.3"><minus id="A4.SS3.p1.2.m2.3.3.1.1.1.1.3.3.1.cmml" xref="A4.SS3.p1.2.m2.3.3.1.1.1.1.3.3"></minus><ci id="A4.SS3.p1.2.m2.3.3.1.1.1.1.3.3.2.cmml" xref="A4.SS3.p1.2.m2.3.3.1.1.1.1.3.3.2">𝑥</ci></apply></apply></apply></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="A4.SS3.p1.2.m2.3c">\phi(x)=\log(2-e^{-x})</annotation></semantics></math>. This is an interesting <math id="A4.SS3.p1.3.m3.1" class="ltx_Math" alttext="\phi" display="inline"><semantics id="A4.SS3.p1.3.m3.1a"><mi id="A4.SS3.p1.3.m3.1.1" xref="A4.SS3.p1.3.m3.1.1.cmml">ϕ</mi><annotation-xml encoding="MathML-Content" id="A4.SS3.p1.3.m3.1b"><ci id="A4.SS3.p1.3.m3.1.1.cmml" xref="A4.SS3.p1.3.m3.1.1">italic-ϕ</ci></annotation-xml><annotation encoding="application/x-tex" id="A4.SS3.p1.3.m3.1c">\phi</annotation></semantics></math> because it is equal to <math id="A4.SS3.p1.4.m4.1" class="ltx_Math" alttext="-\infty" display="inline"><semantics id="A4.SS3.p1.4.m4.1a"><mrow id="A4.SS3.p1.4.m4.1.1" xref="A4.SS3.p1.4.m4.1.1.cmml"><mo id="A4.SS3.p1.4.m4.1.1a" xref="A4.SS3.p1.4.m4.1.1.cmml">−</mo><mi mathvariant="normal" id="A4.SS3.p1.4.m4.1.1.2" xref="A4.SS3.p1.4.m4.1.1.2.cmml">∞</mi></mrow><annotation-xml encoding="MathML-Content" id="A4.SS3.p1.4.m4.1b"><apply id="A4.SS3.p1.4.m4.1.1.cmml" xref="A4.SS3.p1.4.m4.1.1"><minus id="A4.SS3.p1.4.m4.1.1.1.cmml" xref="A4.SS3.p1.4.m4.1.1"></minus><infinity id="A4.SS3.p1.4.m4.1.1.2.cmml" xref="A4.SS3.p1.4.m4.1.1.2"></infinity></apply></annotation-xml><annotation encoding="application/x-tex" id="A4.SS3.p1.4.m4.1c">-\infty</annotation></semantics></math> for <math id="A4.SS3.p1.5.m5.1" class="ltx_Math" alttext="x&lt;-\log 2" display="inline"><semantics id="A4.SS3.p1.5.m5.1a"><mrow id="A4.SS3.p1.5.m5.1.1" xref="A4.SS3.p1.5.m5.1.1.cmml"><mi id="A4.SS3.p1.5.m5.1.1.2" xref="A4.SS3.p1.5.m5.1.1.2.cmml">x</mi><mo id="A4.SS3.p1.5.m5.1.1.1" xref="A4.SS3.p1.5.m5.1.1.1.cmml">&lt;</mo><mrow id="A4.SS3.p1.5.m5.1.1.3" xref="A4.SS3.p1.5.m5.1.1.3.cmml"><mo rspace="0.167em" id="A4.SS3.p1.5.m5.1.1.3a" xref="A4.SS3.p1.5.m5.1.1.3.cmml">−</mo><mrow id="A4.SS3.p1.5.m5.1.1.3.2" xref="A4.SS3.p1.5.m5.1.1.3.2.cmml"><mi id="A4.SS3.p1.5.m5.1.1.3.2.1" xref="A4.SS3.p1.5.m5.1.1.3.2.1.cmml">log</mi><mo lspace="0.167em" id="A4.SS3.p1.5.m5.1.1.3.2a" xref="A4.SS3.p1.5.m5.1.1.3.2.cmml">⁡</mo><mn id="A4.SS3.p1.5.m5.1.1.3.2.2" xref="A4.SS3.p1.5.m5.1.1.3.2.2.cmml">2</mn></mrow></mrow></mrow><annotation-xml encoding="MathML-Content" id="A4.SS3.p1.5.m5.1b"><apply id="A4.SS3.p1.5.m5.1.1.cmml" xref="A4.SS3.p1.5.m5.1.1"><lt id="A4.SS3.p1.5.m5.1.1.1.cmml" xref="A4.SS3.p1.5.m5.1.1.1"></lt><ci id="A4.SS3.p1.5.m5.1.1.2.cmml" xref="A4.SS3.p1.5.m5.1.1.2">𝑥</ci><apply id="A4.SS3.p1.5.m5.1.1.3.cmml" xref="A4.SS3.p1.5.m5.1.1.3"><minus id="A4.SS3.p1.5.m5.1.1.3.1.cmml" xref="A4.SS3.p1.5.m5.1.1.3"></minus><apply id="A4.SS3.p1.5.m5.1.1.3.2.cmml" xref="A4.SS3.p1.5.m5.1.1.3.2"><log id="A4.SS3.p1.5.m5.1.1.3.2.1.cmml" xref="A4.SS3.p1.5.m5.1.1.3.2.1"></log><cn type="integer" id="A4.SS3.p1.5.m5.1.1.3.2.2.cmml" xref="A4.SS3.p1.5.m5.1.1.3.2.2">2</cn></apply></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="A4.SS3.p1.5.m5.1c">x&lt;-\log 2</annotation></semantics></math>. Since the <math id="A4.SS3.p1.6.m6.1" class="ltx_Math" alttext="x" display="inline"><semantics id="A4.SS3.p1.6.m6.1a"><mi id="A4.SS3.p1.6.m6.1.1" xref="A4.SS3.p1.6.m6.1.1.cmml">x</mi><annotation-xml encoding="MathML-Content" id="A4.SS3.p1.6.m6.1b"><ci id="A4.SS3.p1.6.m6.1.1.cmml" xref="A4.SS3.p1.6.m6.1.1">𝑥</ci></annotation-xml><annotation encoding="application/x-tex" id="A4.SS3.p1.6.m6.1c">x</annotation></semantics></math> in this case is the value of <math id="A4.SS3.p1.7.m7.1" class="ltx_Math" alttext="r" display="inline"><semantics id="A4.SS3.p1.7.m7.1a"><mi id="A4.SS3.p1.7.m7.1.1" xref="A4.SS3.p1.7.m7.1.1.cmml">r</mi><annotation-xml encoding="MathML-Content" id="A4.SS3.p1.7.m7.1b"><ci id="A4.SS3.p1.7.m7.1.1.cmml" xref="A4.SS3.p1.7.m7.1.1">𝑟</ci></annotation-xml><annotation encoding="application/x-tex" id="A4.SS3.p1.7.m7.1c">r</annotation></semantics></math> obtained from the model’s logits, it is certainly possible that the value may be less than <math id="A4.SS3.p1.8.m8.1" class="ltx_Math" alttext="-\log 2" display="inline"><semantics id="A4.SS3.p1.8.m8.1a"><mrow id="A4.SS3.p1.8.m8.1.1" xref="A4.SS3.p1.8.m8.1.1.cmml"><mo rspace="0.167em" id="A4.SS3.p1.8.m8.1.1a" xref="A4.SS3.p1.8.m8.1.1.cmml">−</mo><mrow id="A4.SS3.p1.8.m8.1.1.2" xref="A4.SS3.p1.8.m8.1.1.2.cmml"><mi id="A4.SS3.p1.8.m8.1.1.2.1" xref="A4.SS3.p1.8.m8.1.1.2.1.cmml">log</mi><mo lspace="0.167em" id="A4.SS3.p1.8.m8.1.1.2a" xref="A4.SS3.p1.8.m8.1.1.2.cmml">⁡</mo><mn id="A4.SS3.p1.8.m8.1.1.2.2" xref="A4.SS3.p1.8.m8.1.1.2.2.cmml">2</mn></mrow></mrow><annotation-xml encoding="MathML-Content" id="A4.SS3.p1.8.m8.1b"><apply id="A4.SS3.p1.8.m8.1.1.cmml" xref="A4.SS3.p1.8.m8.1.1"><minus id="A4.SS3.p1.8.m8.1.1.1.cmml" xref="A4.SS3.p1.8.m8.1.1"></minus><apply id="A4.SS3.p1.8.m8.1.1.2.cmml" xref="A4.SS3.p1.8.m8.1.1.2"><log id="A4.SS3.p1.8.m8.1.1.2.1.cmml" xref="A4.SS3.p1.8.m8.1.1.2.1"></log><cn type="integer" id="A4.SS3.p1.8.m8.1.1.2.2.cmml" xref="A4.SS3.p1.8.m8.1.1.2.2">2</cn></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="A4.SS3.p1.8.m8.1c">-\log 2</annotation></semantics></math>. In practice, we could replace <math id="A4.SS3.p1.9.m9.1" class="ltx_Math" alttext="\phi" display="inline"><semantics id="A4.SS3.p1.9.m9.1a"><mi id="A4.SS3.p1.9.m9.1.1" xref="A4.SS3.p1.9.m9.1.1.cmml">ϕ</mi><annotation-xml encoding="MathML-Content" id="A4.SS3.p1.9.m9.1b"><ci id="A4.SS3.p1.9.m9.1.1.cmml" xref="A4.SS3.p1.9.m9.1.1">italic-ϕ</ci></annotation-xml><annotation encoding="application/x-tex" id="A4.SS3.p1.9.m9.1c">\phi</annotation></semantics></math> with a sharply descending quadratic for all <math id="A4.SS3.p1.10.m10.1" class="ltx_Math" alttext="x" display="inline"><semantics id="A4.SS3.p1.10.m10.1a"><mi id="A4.SS3.p1.10.m10.1.1" xref="A4.SS3.p1.10.m10.1.1.cmml">x</mi><annotation-xml encoding="MathML-Content" id="A4.SS3.p1.10.m10.1b"><ci id="A4.SS3.p1.10.m10.1.1.cmml" xref="A4.SS3.p1.10.m10.1.1">𝑥</ci></annotation-xml><annotation encoding="application/x-tex" id="A4.SS3.p1.10.m10.1c">x</annotation></semantics></math> close to <math id="A4.SS3.p1.11.m11.1" class="ltx_Math" alttext="-\log 2" display="inline"><semantics id="A4.SS3.p1.11.m11.1a"><mrow id="A4.SS3.p1.11.m11.1.1" xref="A4.SS3.p1.11.m11.1.1.cmml"><mo rspace="0.167em" id="A4.SS3.p1.11.m11.1.1a" xref="A4.SS3.p1.11.m11.1.1.cmml">−</mo><mrow id="A4.SS3.p1.11.m11.1.1.2" xref="A4.SS3.p1.11.m11.1.1.2.cmml"><mi id="A4.SS3.p1.11.m11.1.1.2.1" xref="A4.SS3.p1.11.m11.1.1.2.1.cmml">log</mi><mo lspace="0.167em" id="A4.SS3.p1.11.m11.1.1.2a" xref="A4.SS3.p1.11.m11.1.1.2.cmml">⁡</mo><mn id="A4.SS3.p1.11.m11.1.1.2.2" xref="A4.SS3.p1.11.m11.1.1.2.2.cmml">2</mn></mrow></mrow><annotation-xml encoding="MathML-Content" id="A4.SS3.p1.11.m11.1b"><apply id="A4.SS3.p1.11.m11.1.1.cmml" xref="A4.SS3.p1.11.m11.1.1"><minus id="A4.SS3.p1.11.m11.1.1.1.cmml" xref="A4.SS3.p1.11.m11.1.1"></minus><apply id="A4.SS3.p1.11.m11.1.1.2.cmml" xref="A4.SS3.p1.11.m11.1.1.2"><log id="A4.SS3.p1.11.m11.1.1.2.1.cmml" xref="A4.SS3.p1.11.m11.1.1.2.1"></log><cn type="integer" id="A4.SS3.p1.11.m11.1.1.2.2.cmml" xref="A4.SS3.p1.11.m11.1.1.2.2">2</cn></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="A4.SS3.p1.11.m11.1c">-\log 2</annotation></semantics></math> and below. This gives a penalizing effect on small <math id="A4.SS3.p1.12.m12.1" class="ltx_Math" alttext="r" display="inline"><semantics id="A4.SS3.p1.12.m12.1a"><mi id="A4.SS3.p1.12.m12.1.1" xref="A4.SS3.p1.12.m12.1.1.cmml">r</mi><annotation-xml encoding="MathML-Content" id="A4.SS3.p1.12.m12.1b"><ci id="A4.SS3.p1.12.m12.1.1.cmml" xref="A4.SS3.p1.12.m12.1.1">𝑟</ci></annotation-xml><annotation encoding="application/x-tex" id="A4.SS3.p1.12.m12.1c">r</annotation></semantics></math>, while not causing (too many) numerical issues.</p>
</div>
</section>
<section id="A4.SS4" class="ltx_subsection">
<h3 class="ltx_title ltx_title_subsection">
<span class="ltx_tag ltx_tag_subsection">D.4 </span><math id="A4.SS4.1.m1.1" class="ltx_Math" alttext="\chi^{2}" display="inline"><semantics id="A4.SS4.1.m1.1b"><msup id="A4.SS4.1.m1.1.1" xref="A4.SS4.1.m1.1.1.cmml"><mi id="A4.SS4.1.m1.1.1.2" xref="A4.SS4.1.m1.1.1.2.cmml">χ</mi><mn id="A4.SS4.1.m1.1.1.3" xref="A4.SS4.1.m1.1.1.3.cmml">2</mn></msup><annotation-xml encoding="MathML-Content" id="A4.SS4.1.m1.1c"><apply id="A4.SS4.1.m1.1.1.cmml" xref="A4.SS4.1.m1.1.1"><csymbol cd="ambiguous" id="A4.SS4.1.m1.1.1.1.cmml" xref="A4.SS4.1.m1.1.1">superscript</csymbol><ci id="A4.SS4.1.m1.1.1.2.cmml" xref="A4.SS4.1.m1.1.1.2">𝜒</ci><cn type="integer" id="A4.SS4.1.m1.1.1.3.cmml" xref="A4.SS4.1.m1.1.1.3">2</cn></apply></annotation-xml><annotation encoding="application/x-tex" id="A4.SS4.1.m1.1d">\chi^{2}</annotation></semantics></math>-Divergence and <math id="A4.SS4.2.m2.1" class="ltx_Math" alttext="\chi^{2}" display="inline"><semantics id="A4.SS4.2.m2.1b"><msup id="A4.SS4.2.m2.1.1" xref="A4.SS4.2.m2.1.1.cmml"><mi id="A4.SS4.2.m2.1.1.2" xref="A4.SS4.2.m2.1.1.2.cmml">χ</mi><mn id="A4.SS4.2.m2.1.1.3" xref="A4.SS4.2.m2.1.1.3.cmml">2</mn></msup><annotation-xml encoding="MathML-Content" id="A4.SS4.2.m2.1c"><apply id="A4.SS4.2.m2.1.1.cmml" xref="A4.SS4.2.m2.1.1"><csymbol cd="ambiguous" id="A4.SS4.2.m2.1.1.1.cmml" xref="A4.SS4.2.m2.1.1">superscript</csymbol><ci id="A4.SS4.2.m2.1.1.2.cmml" xref="A4.SS4.2.m2.1.1.2">𝜒</ci><cn type="integer" id="A4.SS4.2.m2.1.1.3.cmml" xref="A4.SS4.2.m2.1.1.3">2</cn></apply></annotation-xml><annotation encoding="application/x-tex" id="A4.SS4.2.m2.1d">\chi^{2}</annotation></semantics></math>-Mixture Divergence</h3>

<div id="A4.SS4.p1" class="ltx_para">
<p id="A4.SS4.p1.3" class="ltx_p">For the <math id="A4.SS4.p1.1.m1.1" class="ltx_Math" alttext="\chi^{2}" display="inline"><semantics id="A4.SS4.p1.1.m1.1a"><msup id="A4.SS4.p1.1.m1.1.1" xref="A4.SS4.p1.1.m1.1.1.cmml"><mi id="A4.SS4.p1.1.m1.1.1.2" xref="A4.SS4.p1.1.m1.1.1.2.cmml">χ</mi><mn id="A4.SS4.p1.1.m1.1.1.3" xref="A4.SS4.p1.1.m1.1.1.3.cmml">2</mn></msup><annotation-xml encoding="MathML-Content" id="A4.SS4.p1.1.m1.1b"><apply id="A4.SS4.p1.1.m1.1.1.cmml" xref="A4.SS4.p1.1.m1.1.1"><csymbol cd="ambiguous" id="A4.SS4.p1.1.m1.1.1.1.cmml" xref="A4.SS4.p1.1.m1.1.1">superscript</csymbol><ci id="A4.SS4.p1.1.m1.1.1.2.cmml" xref="A4.SS4.p1.1.m1.1.1.2">𝜒</ci><cn type="integer" id="A4.SS4.p1.1.m1.1.1.3.cmml" xref="A4.SS4.p1.1.m1.1.1.3">2</cn></apply></annotation-xml><annotation encoding="application/x-tex" id="A4.SS4.p1.1.m1.1c">\chi^{2}</annotation></semantics></math>-divergence, we have <math id="A4.SS4.p1.2.m2.2" class="ltx_Math" alttext="f(x)=((t-1)^{2})" display="inline"><semantics id="A4.SS4.p1.2.m2.2a"><mrow id="A4.SS4.p1.2.m2.2.2" xref="A4.SS4.p1.2.m2.2.2.cmml"><mrow id="A4.SS4.p1.2.m2.2.2.3" xref="A4.SS4.p1.2.m2.2.2.3.cmml"><mi id="A4.SS4.p1.2.m2.2.2.3.2" xref="A4.SS4.p1.2.m2.2.2.3.2.cmml">f</mi><mo lspace="0em" rspace="0em" id="A4.SS4.p1.2.m2.2.2.3.1" xref="A4.SS4.p1.2.m2.2.2.3.1.cmml">​</mo><mrow id="A4.SS4.p1.2.m2.2.2.3.3.2" xref="A4.SS4.p1.2.m2.2.2.3.cmml"><mo stretchy="false" id="A4.SS4.p1.2.m2.2.2.3.3.2.1" xref="A4.SS4.p1.2.m2.2.2.3.cmml">(</mo><mi id="A4.SS4.p1.2.m2.1.1" xref="A4.SS4.p1.2.m2.1.1.cmml">x</mi><mo stretchy="false" id="A4.SS4.p1.2.m2.2.2.3.3.2.2" xref="A4.SS4.p1.2.m2.2.2.3.cmml">)</mo></mrow></mrow><mo id="A4.SS4.p1.2.m2.2.2.2" xref="A4.SS4.p1.2.m2.2.2.2.cmml">=</mo><mrow id="A4.SS4.p1.2.m2.2.2.1.1" xref="A4.SS4.p1.2.m2.2.2.1.1.1.cmml"><mo stretchy="false" id="A4.SS4.p1.2.m2.2.2.1.1.2" xref="A4.SS4.p1.2.m2.2.2.1.1.1.cmml">(</mo><msup id="A4.SS4.p1.2.m2.2.2.1.1.1" xref="A4.SS4.p1.2.m2.2.2.1.1.1.cmml"><mrow id="A4.SS4.p1.2.m2.2.2.1.1.1.1.1" xref="A4.SS4.p1.2.m2.2.2.1.1.1.1.1.1.cmml"><mo stretchy="false" id="A4.SS4.p1.2.m2.2.2.1.1.1.1.1.2" xref="A4.SS4.p1.2.m2.2.2.1.1.1.1.1.1.cmml">(</mo><mrow id="A4.SS4.p1.2.m2.2.2.1.1.1.1.1.1" xref="A4.SS4.p1.2.m2.2.2.1.1.1.1.1.1.cmml"><mi id="A4.SS4.p1.2.m2.2.2.1.1.1.1.1.1.2" xref="A4.SS4.p1.2.m2.2.2.1.1.1.1.1.1.2.cmml">t</mi><mo id="A4.SS4.p1.2.m2.2.2.1.1.1.1.1.1.1" xref="A4.SS4.p1.2.m2.2.2.1.1.1.1.1.1.1.cmml">−</mo><mn id="A4.SS4.p1.2.m2.2.2.1.1.1.1.1.1.3" xref="A4.SS4.p1.2.m2.2.2.1.1.1.1.1.1.3.cmml">1</mn></mrow><mo stretchy="false" id="A4.SS4.p1.2.m2.2.2.1.1.1.1.1.3" xref="A4.SS4.p1.2.m2.2.2.1.1.1.1.1.1.cmml">)</mo></mrow><mn id="A4.SS4.p1.2.m2.2.2.1.1.1.3" xref="A4.SS4.p1.2.m2.2.2.1.1.1.3.cmml">2</mn></msup><mo stretchy="false" id="A4.SS4.p1.2.m2.2.2.1.1.3" xref="A4.SS4.p1.2.m2.2.2.1.1.1.cmml">)</mo></mrow></mrow><annotation-xml encoding="MathML-Content" id="A4.SS4.p1.2.m2.2b"><apply id="A4.SS4.p1.2.m2.2.2.cmml" xref="A4.SS4.p1.2.m2.2.2"><eq id="A4.SS4.p1.2.m2.2.2.2.cmml" xref="A4.SS4.p1.2.m2.2.2.2"></eq><apply id="A4.SS4.p1.2.m2.2.2.3.cmml" xref="A4.SS4.p1.2.m2.2.2.3"><times id="A4.SS4.p1.2.m2.2.2.3.1.cmml" xref="A4.SS4.p1.2.m2.2.2.3.1"></times><ci id="A4.SS4.p1.2.m2.2.2.3.2.cmml" xref="A4.SS4.p1.2.m2.2.2.3.2">𝑓</ci><ci id="A4.SS4.p1.2.m2.1.1.cmml" xref="A4.SS4.p1.2.m2.1.1">𝑥</ci></apply><apply id="A4.SS4.p1.2.m2.2.2.1.1.1.cmml" xref="A4.SS4.p1.2.m2.2.2.1.1"><csymbol cd="ambiguous" id="A4.SS4.p1.2.m2.2.2.1.1.1.2.cmml" xref="A4.SS4.p1.2.m2.2.2.1.1">superscript</csymbol><apply id="A4.SS4.p1.2.m2.2.2.1.1.1.1.1.1.cmml" xref="A4.SS4.p1.2.m2.2.2.1.1.1.1.1"><minus id="A4.SS4.p1.2.m2.2.2.1.1.1.1.1.1.1.cmml" xref="A4.SS4.p1.2.m2.2.2.1.1.1.1.1.1.1"></minus><ci id="A4.SS4.p1.2.m2.2.2.1.1.1.1.1.1.2.cmml" xref="A4.SS4.p1.2.m2.2.2.1.1.1.1.1.1.2">𝑡</ci><cn type="integer" id="A4.SS4.p1.2.m2.2.2.1.1.1.1.1.1.3.cmml" xref="A4.SS4.p1.2.m2.2.2.1.1.1.1.1.1.3">1</cn></apply><cn type="integer" id="A4.SS4.p1.2.m2.2.2.1.1.1.3.cmml" xref="A4.SS4.p1.2.m2.2.2.1.1.1.3">2</cn></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="A4.SS4.p1.2.m2.2c">f(x)=((t-1)^{2})</annotation></semantics></math>, leading to <math id="A4.SS4.p1.3.m3.2" class="ltx_Math" alttext="\phi(x)=(x-x^{2}/4)" display="inline"><semantics id="A4.SS4.p1.3.m3.2a"><mrow id="A4.SS4.p1.3.m3.2.2" xref="A4.SS4.p1.3.m3.2.2.cmml"><mrow id="A4.SS4.p1.3.m3.2.2.3" xref="A4.SS4.p1.3.m3.2.2.3.cmml"><mi id="A4.SS4.p1.3.m3.2.2.3.2" xref="A4.SS4.p1.3.m3.2.2.3.2.cmml">ϕ</mi><mo lspace="0em" rspace="0em" id="A4.SS4.p1.3.m3.2.2.3.1" xref="A4.SS4.p1.3.m3.2.2.3.1.cmml">​</mo><mrow id="A4.SS4.p1.3.m3.2.2.3.3.2" xref="A4.SS4.p1.3.m3.2.2.3.cmml"><mo stretchy="false" id="A4.SS4.p1.3.m3.2.2.3.3.2.1" xref="A4.SS4.p1.3.m3.2.2.3.cmml">(</mo><mi id="A4.SS4.p1.3.m3.1.1" xref="A4.SS4.p1.3.m3.1.1.cmml">x</mi><mo stretchy="false" id="A4.SS4.p1.3.m3.2.2.3.3.2.2" xref="A4.SS4.p1.3.m3.2.2.3.cmml">)</mo></mrow></mrow><mo id="A4.SS4.p1.3.m3.2.2.2" xref="A4.SS4.p1.3.m3.2.2.2.cmml">=</mo><mrow id="A4.SS4.p1.3.m3.2.2.1.1" xref="A4.SS4.p1.3.m3.2.2.1.1.1.cmml"><mo stretchy="false" id="A4.SS4.p1.3.m3.2.2.1.1.2" xref="A4.SS4.p1.3.m3.2.2.1.1.1.cmml">(</mo><mrow id="A4.SS4.p1.3.m3.2.2.1.1.1" xref="A4.SS4.p1.3.m3.2.2.1.1.1.cmml"><mi id="A4.SS4.p1.3.m3.2.2.1.1.1.2" xref="A4.SS4.p1.3.m3.2.2.1.1.1.2.cmml">x</mi><mo id="A4.SS4.p1.3.m3.2.2.1.1.1.1" xref="A4.SS4.p1.3.m3.2.2.1.1.1.1.cmml">−</mo><mrow id="A4.SS4.p1.3.m3.2.2.1.1.1.3" xref="A4.SS4.p1.3.m3.2.2.1.1.1.3.cmml"><msup id="A4.SS4.p1.3.m3.2.2.1.1.1.3.2" xref="A4.SS4.p1.3.m3.2.2.1.1.1.3.2.cmml"><mi id="A4.SS4.p1.3.m3.2.2.1.1.1.3.2.2" xref="A4.SS4.p1.3.m3.2.2.1.1.1.3.2.2.cmml">x</mi><mn id="A4.SS4.p1.3.m3.2.2.1.1.1.3.2.3" xref="A4.SS4.p1.3.m3.2.2.1.1.1.3.2.3.cmml">2</mn></msup><mo id="A4.SS4.p1.3.m3.2.2.1.1.1.3.1" xref="A4.SS4.p1.3.m3.2.2.1.1.1.3.1.cmml">/</mo><mn id="A4.SS4.p1.3.m3.2.2.1.1.1.3.3" xref="A4.SS4.p1.3.m3.2.2.1.1.1.3.3.cmml">4</mn></mrow></mrow><mo stretchy="false" id="A4.SS4.p1.3.m3.2.2.1.1.3" xref="A4.SS4.p1.3.m3.2.2.1.1.1.cmml">)</mo></mrow></mrow><annotation-xml encoding="MathML-Content" id="A4.SS4.p1.3.m3.2b"><apply id="A4.SS4.p1.3.m3.2.2.cmml" xref="A4.SS4.p1.3.m3.2.2"><eq id="A4.SS4.p1.3.m3.2.2.2.cmml" xref="A4.SS4.p1.3.m3.2.2.2"></eq><apply id="A4.SS4.p1.3.m3.2.2.3.cmml" xref="A4.SS4.p1.3.m3.2.2.3"><times id="A4.SS4.p1.3.m3.2.2.3.1.cmml" xref="A4.SS4.p1.3.m3.2.2.3.1"></times><ci id="A4.SS4.p1.3.m3.2.2.3.2.cmml" xref="A4.SS4.p1.3.m3.2.2.3.2">italic-ϕ</ci><ci id="A4.SS4.p1.3.m3.1.1.cmml" xref="A4.SS4.p1.3.m3.1.1">𝑥</ci></apply><apply id="A4.SS4.p1.3.m3.2.2.1.1.1.cmml" xref="A4.SS4.p1.3.m3.2.2.1.1"><minus id="A4.SS4.p1.3.m3.2.2.1.1.1.1.cmml" xref="A4.SS4.p1.3.m3.2.2.1.1.1.1"></minus><ci id="A4.SS4.p1.3.m3.2.2.1.1.1.2.cmml" xref="A4.SS4.p1.3.m3.2.2.1.1.1.2">𝑥</ci><apply id="A4.SS4.p1.3.m3.2.2.1.1.1.3.cmml" xref="A4.SS4.p1.3.m3.2.2.1.1.1.3"><divide id="A4.SS4.p1.3.m3.2.2.1.1.1.3.1.cmml" xref="A4.SS4.p1.3.m3.2.2.1.1.1.3.1"></divide><apply id="A4.SS4.p1.3.m3.2.2.1.1.1.3.2.cmml" xref="A4.SS4.p1.3.m3.2.2.1.1.1.3.2"><csymbol cd="ambiguous" id="A4.SS4.p1.3.m3.2.2.1.1.1.3.2.1.cmml" xref="A4.SS4.p1.3.m3.2.2.1.1.1.3.2">superscript</csymbol><ci id="A4.SS4.p1.3.m3.2.2.1.1.1.3.2.2.cmml" xref="A4.SS4.p1.3.m3.2.2.1.1.1.3.2.2">𝑥</ci><cn type="integer" id="A4.SS4.p1.3.m3.2.2.1.1.1.3.2.3.cmml" xref="A4.SS4.p1.3.m3.2.2.1.1.1.3.2.3">2</cn></apply><cn type="integer" id="A4.SS4.p1.3.m3.2.2.1.1.1.3.3.cmml" xref="A4.SS4.p1.3.m3.2.2.1.1.1.3.3">4</cn></apply></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="A4.SS4.p1.3.m3.2c">\phi(x)=(x-x^{2}/4)</annotation></semantics></math>.</p>
</div>
<div id="A4.SS4.p2" class="ltx_para">
<p id="A4.SS4.p2.4" class="ltx_p">As described in <cite class="ltx_cite ltx_citemacro_citet">Al-Hafez et al. [<a href="#bib.bib1" title="" class="ltx_ref">1</a>]</cite>, we can add a regularization term by computing <math id="A4.SS4.p2.1.m1.8" class="ltx_Math" alttext="\psi_{\rho}(r)=\beta c\mathbb{E}_{\rho_{\text{data}}}\left[r(s,a)^{2}\right]+(1-\beta)c\mathbb{E}_{\rho_{\theta}}\left[r(s,a)^{2}\right]" display="inline"><semantics id="A4.SS4.p2.1.m1.8a"><mrow id="A4.SS4.p2.1.m1.8.8" xref="A4.SS4.p2.1.m1.8.8.cmml"><mrow id="A4.SS4.p2.1.m1.8.8.5" xref="A4.SS4.p2.1.m1.8.8.5.cmml"><msub id="A4.SS4.p2.1.m1.8.8.5.2" xref="A4.SS4.p2.1.m1.8.8.5.2.cmml"><mi id="A4.SS4.p2.1.m1.8.8.5.2.2" xref="A4.SS4.p2.1.m1.8.8.5.2.2.cmml">ψ</mi><mi id="A4.SS4.p2.1.m1.8.8.5.2.3" xref="A4.SS4.p2.1.m1.8.8.5.2.3.cmml">ρ</mi></msub><mo lspace="0em" rspace="0em" id="A4.SS4.p2.1.m1.8.8.5.1" xref="A4.SS4.p2.1.m1.8.8.5.1.cmml">​</mo><mrow id="A4.SS4.p2.1.m1.8.8.5.3.2" xref="A4.SS4.p2.1.m1.8.8.5.cmml"><mo stretchy="false" id="A4.SS4.p2.1.m1.8.8.5.3.2.1" xref="A4.SS4.p2.1.m1.8.8.5.cmml">(</mo><mi id="A4.SS4.p2.1.m1.1.1" xref="A4.SS4.p2.1.m1.1.1.cmml">r</mi><mo stretchy="false" id="A4.SS4.p2.1.m1.8.8.5.3.2.2" xref="A4.SS4.p2.1.m1.8.8.5.cmml">)</mo></mrow></mrow><mo id="A4.SS4.p2.1.m1.8.8.4" xref="A4.SS4.p2.1.m1.8.8.4.cmml">=</mo><mrow id="A4.SS4.p2.1.m1.8.8.3" xref="A4.SS4.p2.1.m1.8.8.3.cmml"><mrow id="A4.SS4.p2.1.m1.6.6.1.1" xref="A4.SS4.p2.1.m1.6.6.1.1.cmml"><mi id="A4.SS4.p2.1.m1.6.6.1.1.3" xref="A4.SS4.p2.1.m1.6.6.1.1.3.cmml">β</mi><mo lspace="0em" rspace="0em" id="A4.SS4.p2.1.m1.6.6.1.1.2" xref="A4.SS4.p2.1.m1.6.6.1.1.2.cmml">​</mo><mi id="A4.SS4.p2.1.m1.6.6.1.1.4" xref="A4.SS4.p2.1.m1.6.6.1.1.4.cmml">c</mi><mo lspace="0em" rspace="0em" id="A4.SS4.p2.1.m1.6.6.1.1.2a" xref="A4.SS4.p2.1.m1.6.6.1.1.2.cmml">​</mo><msub id="A4.SS4.p2.1.m1.6.6.1.1.5" xref="A4.SS4.p2.1.m1.6.6.1.1.5.cmml"><mi id="A4.SS4.p2.1.m1.6.6.1.1.5.2" xref="A4.SS4.p2.1.m1.6.6.1.1.5.2.cmml">𝔼</mi><msub id="A4.SS4.p2.1.m1.6.6.1.1.5.3" xref="A4.SS4.p2.1.m1.6.6.1.1.5.3.cmml"><mi id="A4.SS4.p2.1.m1.6.6.1.1.5.3.2" xref="A4.SS4.p2.1.m1.6.6.1.1.5.3.2.cmml">ρ</mi><mtext id="A4.SS4.p2.1.m1.6.6.1.1.5.3.3" xref="A4.SS4.p2.1.m1.6.6.1.1.5.3.3a.cmml">data</mtext></msub></msub><mo lspace="0em" rspace="0em" id="A4.SS4.p2.1.m1.6.6.1.1.2b" xref="A4.SS4.p2.1.m1.6.6.1.1.2.cmml">​</mo><mrow id="A4.SS4.p2.1.m1.6.6.1.1.1.1" xref="A4.SS4.p2.1.m1.6.6.1.1.1.2.cmml"><mo id="A4.SS4.p2.1.m1.6.6.1.1.1.1.2" xref="A4.SS4.p2.1.m1.6.6.1.1.1.2.1.cmml">[</mo><mrow id="A4.SS4.p2.1.m1.6.6.1.1.1.1.1" xref="A4.SS4.p2.1.m1.6.6.1.1.1.1.1.cmml"><mi id="A4.SS4.p2.1.m1.6.6.1.1.1.1.1.2" xref="A4.SS4.p2.1.m1.6.6.1.1.1.1.1.2.cmml">r</mi><mo lspace="0em" rspace="0em" id="A4.SS4.p2.1.m1.6.6.1.1.1.1.1.1" xref="A4.SS4.p2.1.m1.6.6.1.1.1.1.1.1.cmml">​</mo><msup id="A4.SS4.p2.1.m1.6.6.1.1.1.1.1.3" xref="A4.SS4.p2.1.m1.6.6.1.1.1.1.1.3.cmml"><mrow id="A4.SS4.p2.1.m1.6.6.1.1.1.1.1.3.2.2" xref="A4.SS4.p2.1.m1.6.6.1.1.1.1.1.3.2.1.cmml"><mo stretchy="false" id="A4.SS4.p2.1.m1.6.6.1.1.1.1.1.3.2.2.1" xref="A4.SS4.p2.1.m1.6.6.1.1.1.1.1.3.2.1.cmml">(</mo><mi id="A4.SS4.p2.1.m1.2.2" xref="A4.SS4.p2.1.m1.2.2.cmml">s</mi><mo id="A4.SS4.p2.1.m1.6.6.1.1.1.1.1.3.2.2.2" xref="A4.SS4.p2.1.m1.6.6.1.1.1.1.1.3.2.1.cmml">,</mo><mi id="A4.SS4.p2.1.m1.3.3" xref="A4.SS4.p2.1.m1.3.3.cmml">a</mi><mo stretchy="false" id="A4.SS4.p2.1.m1.6.6.1.1.1.1.1.3.2.2.3" xref="A4.SS4.p2.1.m1.6.6.1.1.1.1.1.3.2.1.cmml">)</mo></mrow><mn id="A4.SS4.p2.1.m1.6.6.1.1.1.1.1.3.3" xref="A4.SS4.p2.1.m1.6.6.1.1.1.1.1.3.3.cmml">2</mn></msup></mrow><mo id="A4.SS4.p2.1.m1.6.6.1.1.1.1.3" xref="A4.SS4.p2.1.m1.6.6.1.1.1.2.1.cmml">]</mo></mrow></mrow><mo id="A4.SS4.p2.1.m1.8.8.3.4" xref="A4.SS4.p2.1.m1.8.8.3.4.cmml">+</mo><mrow id="A4.SS4.p2.1.m1.8.8.3.3" xref="A4.SS4.p2.1.m1.8.8.3.3.cmml"><mrow id="A4.SS4.p2.1.m1.7.7.2.2.1.1" xref="A4.SS4.p2.1.m1.7.7.2.2.1.1.1.cmml"><mo stretchy="false" id="A4.SS4.p2.1.m1.7.7.2.2.1.1.2" xref="A4.SS4.p2.1.m1.7.7.2.2.1.1.1.cmml">(</mo><mrow id="A4.SS4.p2.1.m1.7.7.2.2.1.1.1" xref="A4.SS4.p2.1.m1.7.7.2.2.1.1.1.cmml"><mn id="A4.SS4.p2.1.m1.7.7.2.2.1.1.1.2" xref="A4.SS4.p2.1.m1.7.7.2.2.1.1.1.2.cmml">1</mn><mo id="A4.SS4.p2.1.m1.7.7.2.2.1.1.1.1" xref="A4.SS4.p2.1.m1.7.7.2.2.1.1.1.1.cmml">−</mo><mi id="A4.SS4.p2.1.m1.7.7.2.2.1.1.1.3" xref="A4.SS4.p2.1.m1.7.7.2.2.1.1.1.3.cmml">β</mi></mrow><mo stretchy="false" id="A4.SS4.p2.1.m1.7.7.2.2.1.1.3" xref="A4.SS4.p2.1.m1.7.7.2.2.1.1.1.cmml">)</mo></mrow><mo lspace="0em" rspace="0em" id="A4.SS4.p2.1.m1.8.8.3.3.3" xref="A4.SS4.p2.1.m1.8.8.3.3.3.cmml">​</mo><mi id="A4.SS4.p2.1.m1.8.8.3.3.4" xref="A4.SS4.p2.1.m1.8.8.3.3.4.cmml">c</mi><mo lspace="0em" rspace="0em" id="A4.SS4.p2.1.m1.8.8.3.3.3a" xref="A4.SS4.p2.1.m1.8.8.3.3.3.cmml">​</mo><msub id="A4.SS4.p2.1.m1.8.8.3.3.5" xref="A4.SS4.p2.1.m1.8.8.3.3.5.cmml"><mi id="A4.SS4.p2.1.m1.8.8.3.3.5.2" xref="A4.SS4.p2.1.m1.8.8.3.3.5.2.cmml">𝔼</mi><msub id="A4.SS4.p2.1.m1.8.8.3.3.5.3" xref="A4.SS4.p2.1.m1.8.8.3.3.5.3.cmml"><mi id="A4.SS4.p2.1.m1.8.8.3.3.5.3.2" xref="A4.SS4.p2.1.m1.8.8.3.3.5.3.2.cmml">ρ</mi><mi id="A4.SS4.p2.1.m1.8.8.3.3.5.3.3" xref="A4.SS4.p2.1.m1.8.8.3.3.5.3.3.cmml">θ</mi></msub></msub><mo lspace="0em" rspace="0em" id="A4.SS4.p2.1.m1.8.8.3.3.3b" xref="A4.SS4.p2.1.m1.8.8.3.3.3.cmml">​</mo><mrow id="A4.SS4.p2.1.m1.8.8.3.3.2.1" xref="A4.SS4.p2.1.m1.8.8.3.3.2.2.cmml"><mo id="A4.SS4.p2.1.m1.8.8.3.3.2.1.2" xref="A4.SS4.p2.1.m1.8.8.3.3.2.2.1.cmml">[</mo><mrow id="A4.SS4.p2.1.m1.8.8.3.3.2.1.1" xref="A4.SS4.p2.1.m1.8.8.3.3.2.1.1.cmml"><mi id="A4.SS4.p2.1.m1.8.8.3.3.2.1.1.2" xref="A4.SS4.p2.1.m1.8.8.3.3.2.1.1.2.cmml">r</mi><mo lspace="0em" rspace="0em" id="A4.SS4.p2.1.m1.8.8.3.3.2.1.1.1" xref="A4.SS4.p2.1.m1.8.8.3.3.2.1.1.1.cmml">​</mo><msup id="A4.SS4.p2.1.m1.8.8.3.3.2.1.1.3" xref="A4.SS4.p2.1.m1.8.8.3.3.2.1.1.3.cmml"><mrow id="A4.SS4.p2.1.m1.8.8.3.3.2.1.1.3.2.2" xref="A4.SS4.p2.1.m1.8.8.3.3.2.1.1.3.2.1.cmml"><mo stretchy="false" id="A4.SS4.p2.1.m1.8.8.3.3.2.1.1.3.2.2.1" xref="A4.SS4.p2.1.m1.8.8.3.3.2.1.1.3.2.1.cmml">(</mo><mi id="A4.SS4.p2.1.m1.4.4" xref="A4.SS4.p2.1.m1.4.4.cmml">s</mi><mo id="A4.SS4.p2.1.m1.8.8.3.3.2.1.1.3.2.2.2" xref="A4.SS4.p2.1.m1.8.8.3.3.2.1.1.3.2.1.cmml">,</mo><mi id="A4.SS4.p2.1.m1.5.5" xref="A4.SS4.p2.1.m1.5.5.cmml">a</mi><mo stretchy="false" id="A4.SS4.p2.1.m1.8.8.3.3.2.1.1.3.2.2.3" xref="A4.SS4.p2.1.m1.8.8.3.3.2.1.1.3.2.1.cmml">)</mo></mrow><mn id="A4.SS4.p2.1.m1.8.8.3.3.2.1.1.3.3" xref="A4.SS4.p2.1.m1.8.8.3.3.2.1.1.3.3.cmml">2</mn></msup></mrow><mo id="A4.SS4.p2.1.m1.8.8.3.3.2.1.3" xref="A4.SS4.p2.1.m1.8.8.3.3.2.2.1.cmml">]</mo></mrow></mrow></mrow></mrow><annotation-xml encoding="MathML-Content" id="A4.SS4.p2.1.m1.8b"><apply id="A4.SS4.p2.1.m1.8.8.cmml" xref="A4.SS4.p2.1.m1.8.8"><eq id="A4.SS4.p2.1.m1.8.8.4.cmml" xref="A4.SS4.p2.1.m1.8.8.4"></eq><apply id="A4.SS4.p2.1.m1.8.8.5.cmml" xref="A4.SS4.p2.1.m1.8.8.5"><times id="A4.SS4.p2.1.m1.8.8.5.1.cmml" xref="A4.SS4.p2.1.m1.8.8.5.1"></times><apply id="A4.SS4.p2.1.m1.8.8.5.2.cmml" xref="A4.SS4.p2.1.m1.8.8.5.2"><csymbol cd="ambiguous" id="A4.SS4.p2.1.m1.8.8.5.2.1.cmml" xref="A4.SS4.p2.1.m1.8.8.5.2">subscript</csymbol><ci id="A4.SS4.p2.1.m1.8.8.5.2.2.cmml" xref="A4.SS4.p2.1.m1.8.8.5.2.2">𝜓</ci><ci id="A4.SS4.p2.1.m1.8.8.5.2.3.cmml" xref="A4.SS4.p2.1.m1.8.8.5.2.3">𝜌</ci></apply><ci id="A4.SS4.p2.1.m1.1.1.cmml" xref="A4.SS4.p2.1.m1.1.1">𝑟</ci></apply><apply id="A4.SS4.p2.1.m1.8.8.3.cmml" xref="A4.SS4.p2.1.m1.8.8.3"><plus id="A4.SS4.p2.1.m1.8.8.3.4.cmml" xref="A4.SS4.p2.1.m1.8.8.3.4"></plus><apply id="A4.SS4.p2.1.m1.6.6.1.1.cmml" xref="A4.SS4.p2.1.m1.6.6.1.1"><times id="A4.SS4.p2.1.m1.6.6.1.1.2.cmml" xref="A4.SS4.p2.1.m1.6.6.1.1.2"></times><ci id="A4.SS4.p2.1.m1.6.6.1.1.3.cmml" xref="A4.SS4.p2.1.m1.6.6.1.1.3">𝛽</ci><ci id="A4.SS4.p2.1.m1.6.6.1.1.4.cmml" xref="A4.SS4.p2.1.m1.6.6.1.1.4">𝑐</ci><apply id="A4.SS4.p2.1.m1.6.6.1.1.5.cmml" xref="A4.SS4.p2.1.m1.6.6.1.1.5"><csymbol cd="ambiguous" id="A4.SS4.p2.1.m1.6.6.1.1.5.1.cmml" xref="A4.SS4.p2.1.m1.6.6.1.1.5">subscript</csymbol><ci id="A4.SS4.p2.1.m1.6.6.1.1.5.2.cmml" xref="A4.SS4.p2.1.m1.6.6.1.1.5.2">𝔼</ci><apply id="A4.SS4.p2.1.m1.6.6.1.1.5.3.cmml" xref="A4.SS4.p2.1.m1.6.6.1.1.5.3"><csymbol cd="ambiguous" id="A4.SS4.p2.1.m1.6.6.1.1.5.3.1.cmml" xref="A4.SS4.p2.1.m1.6.6.1.1.5.3">subscript</csymbol><ci id="A4.SS4.p2.1.m1.6.6.1.1.5.3.2.cmml" xref="A4.SS4.p2.1.m1.6.6.1.1.5.3.2">𝜌</ci><ci id="A4.SS4.p2.1.m1.6.6.1.1.5.3.3a.cmml" xref="A4.SS4.p2.1.m1.6.6.1.1.5.3.3"><mtext mathsize="50%" id="A4.SS4.p2.1.m1.6.6.1.1.5.3.3.cmml" xref="A4.SS4.p2.1.m1.6.6.1.1.5.3.3">data</mtext></ci></apply></apply><apply id="A4.SS4.p2.1.m1.6.6.1.1.1.2.cmml" xref="A4.SS4.p2.1.m1.6.6.1.1.1.1"><csymbol cd="latexml" id="A4.SS4.p2.1.m1.6.6.1.1.1.2.1.cmml" xref="A4.SS4.p2.1.m1.6.6.1.1.1.1.2">delimited-[]</csymbol><apply id="A4.SS4.p2.1.m1.6.6.1.1.1.1.1.cmml" xref="A4.SS4.p2.1.m1.6.6.1.1.1.1.1"><times id="A4.SS4.p2.1.m1.6.6.1.1.1.1.1.1.cmml" xref="A4.SS4.p2.1.m1.6.6.1.1.1.1.1.1"></times><ci id="A4.SS4.p2.1.m1.6.6.1.1.1.1.1.2.cmml" xref="A4.SS4.p2.1.m1.6.6.1.1.1.1.1.2">𝑟</ci><apply id="A4.SS4.p2.1.m1.6.6.1.1.1.1.1.3.cmml" xref="A4.SS4.p2.1.m1.6.6.1.1.1.1.1.3"><csymbol cd="ambiguous" id="A4.SS4.p2.1.m1.6.6.1.1.1.1.1.3.1.cmml" xref="A4.SS4.p2.1.m1.6.6.1.1.1.1.1.3">superscript</csymbol><interval closure="open" id="A4.SS4.p2.1.m1.6.6.1.1.1.1.1.3.2.1.cmml" xref="A4.SS4.p2.1.m1.6.6.1.1.1.1.1.3.2.2"><ci id="A4.SS4.p2.1.m1.2.2.cmml" xref="A4.SS4.p2.1.m1.2.2">𝑠</ci><ci id="A4.SS4.p2.1.m1.3.3.cmml" xref="A4.SS4.p2.1.m1.3.3">𝑎</ci></interval><cn type="integer" id="A4.SS4.p2.1.m1.6.6.1.1.1.1.1.3.3.cmml" xref="A4.SS4.p2.1.m1.6.6.1.1.1.1.1.3.3">2</cn></apply></apply></apply></apply><apply id="A4.SS4.p2.1.m1.8.8.3.3.cmml" xref="A4.SS4.p2.1.m1.8.8.3.3"><times id="A4.SS4.p2.1.m1.8.8.3.3.3.cmml" xref="A4.SS4.p2.1.m1.8.8.3.3.3"></times><apply id="A4.SS4.p2.1.m1.7.7.2.2.1.1.1.cmml" xref="A4.SS4.p2.1.m1.7.7.2.2.1.1"><minus id="A4.SS4.p2.1.m1.7.7.2.2.1.1.1.1.cmml" xref="A4.SS4.p2.1.m1.7.7.2.2.1.1.1.1"></minus><cn type="integer" id="A4.SS4.p2.1.m1.7.7.2.2.1.1.1.2.cmml" xref="A4.SS4.p2.1.m1.7.7.2.2.1.1.1.2">1</cn><ci id="A4.SS4.p2.1.m1.7.7.2.2.1.1.1.3.cmml" xref="A4.SS4.p2.1.m1.7.7.2.2.1.1.1.3">𝛽</ci></apply><ci id="A4.SS4.p2.1.m1.8.8.3.3.4.cmml" xref="A4.SS4.p2.1.m1.8.8.3.3.4">𝑐</ci><apply id="A4.SS4.p2.1.m1.8.8.3.3.5.cmml" xref="A4.SS4.p2.1.m1.8.8.3.3.5"><csymbol cd="ambiguous" id="A4.SS4.p2.1.m1.8.8.3.3.5.1.cmml" xref="A4.SS4.p2.1.m1.8.8.3.3.5">subscript</csymbol><ci id="A4.SS4.p2.1.m1.8.8.3.3.5.2.cmml" xref="A4.SS4.p2.1.m1.8.8.3.3.5.2">𝔼</ci><apply id="A4.SS4.p2.1.m1.8.8.3.3.5.3.cmml" xref="A4.SS4.p2.1.m1.8.8.3.3.5.3"><csymbol cd="ambiguous" id="A4.SS4.p2.1.m1.8.8.3.3.5.3.1.cmml" xref="A4.SS4.p2.1.m1.8.8.3.3.5.3">subscript</csymbol><ci id="A4.SS4.p2.1.m1.8.8.3.3.5.3.2.cmml" xref="A4.SS4.p2.1.m1.8.8.3.3.5.3.2">𝜌</ci><ci id="A4.SS4.p2.1.m1.8.8.3.3.5.3.3.cmml" xref="A4.SS4.p2.1.m1.8.8.3.3.5.3.3">𝜃</ci></apply></apply><apply id="A4.SS4.p2.1.m1.8.8.3.3.2.2.cmml" xref="A4.SS4.p2.1.m1.8.8.3.3.2.1"><csymbol cd="latexml" id="A4.SS4.p2.1.m1.8.8.3.3.2.2.1.cmml" xref="A4.SS4.p2.1.m1.8.8.3.3.2.1.2">delimited-[]</csymbol><apply id="A4.SS4.p2.1.m1.8.8.3.3.2.1.1.cmml" xref="A4.SS4.p2.1.m1.8.8.3.3.2.1.1"><times id="A4.SS4.p2.1.m1.8.8.3.3.2.1.1.1.cmml" xref="A4.SS4.p2.1.m1.8.8.3.3.2.1.1.1"></times><ci id="A4.SS4.p2.1.m1.8.8.3.3.2.1.1.2.cmml" xref="A4.SS4.p2.1.m1.8.8.3.3.2.1.1.2">𝑟</ci><apply id="A4.SS4.p2.1.m1.8.8.3.3.2.1.1.3.cmml" xref="A4.SS4.p2.1.m1.8.8.3.3.2.1.1.3"><csymbol cd="ambiguous" id="A4.SS4.p2.1.m1.8.8.3.3.2.1.1.3.1.cmml" xref="A4.SS4.p2.1.m1.8.8.3.3.2.1.1.3">superscript</csymbol><interval closure="open" id="A4.SS4.p2.1.m1.8.8.3.3.2.1.1.3.2.1.cmml" xref="A4.SS4.p2.1.m1.8.8.3.3.2.1.1.3.2.2"><ci id="A4.SS4.p2.1.m1.4.4.cmml" xref="A4.SS4.p2.1.m1.4.4">𝑠</ci><ci id="A4.SS4.p2.1.m1.5.5.cmml" xref="A4.SS4.p2.1.m1.5.5">𝑎</ci></interval><cn type="integer" id="A4.SS4.p2.1.m1.8.8.3.3.2.1.1.3.3.cmml" xref="A4.SS4.p2.1.m1.8.8.3.3.2.1.1.3.3">2</cn></apply></apply></apply></apply></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="A4.SS4.p2.1.m1.8c">\psi_{\rho}(r)=\beta c\mathbb{E}_{\rho_{\text{data}}}\left[r(s,a)^{2}\right]+(1-\beta)c\mathbb{E}_{\rho_{\theta}}\left[r(s,a)^{2}\right]</annotation></semantics></math>. In other words, instead of computing the <math id="A4.SS4.p2.2.m2.1" class="ltx_Math" alttext="r^{2}/4" display="inline"><semantics id="A4.SS4.p2.2.m2.1a"><mrow id="A4.SS4.p2.2.m2.1.1" xref="A4.SS4.p2.2.m2.1.1.cmml"><msup id="A4.SS4.p2.2.m2.1.1.2" xref="A4.SS4.p2.2.m2.1.1.2.cmml"><mi id="A4.SS4.p2.2.m2.1.1.2.2" xref="A4.SS4.p2.2.m2.1.1.2.2.cmml">r</mi><mn id="A4.SS4.p2.2.m2.1.1.2.3" xref="A4.SS4.p2.2.m2.1.1.2.3.cmml">2</mn></msup><mo id="A4.SS4.p2.2.m2.1.1.1" xref="A4.SS4.p2.2.m2.1.1.1.cmml">/</mo><mn id="A4.SS4.p2.2.m2.1.1.3" xref="A4.SS4.p2.2.m2.1.1.3.cmml">4</mn></mrow><annotation-xml encoding="MathML-Content" id="A4.SS4.p2.2.m2.1b"><apply id="A4.SS4.p2.2.m2.1.1.cmml" xref="A4.SS4.p2.2.m2.1.1"><divide id="A4.SS4.p2.2.m2.1.1.1.cmml" xref="A4.SS4.p2.2.m2.1.1.1"></divide><apply id="A4.SS4.p2.2.m2.1.1.2.cmml" xref="A4.SS4.p2.2.m2.1.1.2"><csymbol cd="ambiguous" id="A4.SS4.p2.2.m2.1.1.2.1.cmml" xref="A4.SS4.p2.2.m2.1.1.2">superscript</csymbol><ci id="A4.SS4.p2.2.m2.1.1.2.2.cmml" xref="A4.SS4.p2.2.m2.1.1.2.2">𝑟</ci><cn type="integer" id="A4.SS4.p2.2.m2.1.1.2.3.cmml" xref="A4.SS4.p2.2.m2.1.1.2.3">2</cn></apply><cn type="integer" id="A4.SS4.p2.2.m2.1.1.3.cmml" xref="A4.SS4.p2.2.m2.1.1.3">4</cn></apply></annotation-xml><annotation encoding="application/x-tex" id="A4.SS4.p2.2.m2.1c">r^{2}/4</annotation></semantics></math> term on the expert trajectories only, we also compute this for the policy trajectories as well. We set <math id="A4.SS4.p2.3.m3.1" class="ltx_Math" alttext="c=0.5" display="inline"><semantics id="A4.SS4.p2.3.m3.1a"><mrow id="A4.SS4.p2.3.m3.1.1" xref="A4.SS4.p2.3.m3.1.1.cmml"><mi id="A4.SS4.p2.3.m3.1.1.2" xref="A4.SS4.p2.3.m3.1.1.2.cmml">c</mi><mo id="A4.SS4.p2.3.m3.1.1.1" xref="A4.SS4.p2.3.m3.1.1.1.cmml">=</mo><mn id="A4.SS4.p2.3.m3.1.1.3" xref="A4.SS4.p2.3.m3.1.1.3.cmml">0.5</mn></mrow><annotation-xml encoding="MathML-Content" id="A4.SS4.p2.3.m3.1b"><apply id="A4.SS4.p2.3.m3.1.1.cmml" xref="A4.SS4.p2.3.m3.1.1"><eq id="A4.SS4.p2.3.m3.1.1.1.cmml" xref="A4.SS4.p2.3.m3.1.1.1"></eq><ci id="A4.SS4.p2.3.m3.1.1.2.cmml" xref="A4.SS4.p2.3.m3.1.1.2">𝑐</ci><cn type="float" id="A4.SS4.p2.3.m3.1.1.3.cmml" xref="A4.SS4.p2.3.m3.1.1.3">0.5</cn></apply></annotation-xml><annotation encoding="application/x-tex" id="A4.SS4.p2.3.m3.1c">c=0.5</annotation></semantics></math> and <math id="A4.SS4.p2.4.m4.1" class="ltx_Math" alttext="\beta=0.5" display="inline"><semantics id="A4.SS4.p2.4.m4.1a"><mrow id="A4.SS4.p2.4.m4.1.1" xref="A4.SS4.p2.4.m4.1.1.cmml"><mi id="A4.SS4.p2.4.m4.1.1.2" xref="A4.SS4.p2.4.m4.1.1.2.cmml">β</mi><mo id="A4.SS4.p2.4.m4.1.1.1" xref="A4.SS4.p2.4.m4.1.1.1.cmml">=</mo><mn id="A4.SS4.p2.4.m4.1.1.3" xref="A4.SS4.p2.4.m4.1.1.3.cmml">0.5</mn></mrow><annotation-xml encoding="MathML-Content" id="A4.SS4.p2.4.m4.1b"><apply id="A4.SS4.p2.4.m4.1.1.cmml" xref="A4.SS4.p2.4.m4.1.1"><eq id="A4.SS4.p2.4.m4.1.1.1.cmml" xref="A4.SS4.p2.4.m4.1.1.1"></eq><ci id="A4.SS4.p2.4.m4.1.1.2.cmml" xref="A4.SS4.p2.4.m4.1.1.2">𝛽</ci><cn type="float" id="A4.SS4.p2.4.m4.1.1.3.cmml" xref="A4.SS4.p2.4.m4.1.1.3">0.5</cn></apply></annotation-xml><annotation encoding="application/x-tex" id="A4.SS4.p2.4.m4.1c">\beta=0.5</annotation></semantics></math>. This results in an even mixture of regularization contributions from the expert and policy. Although this was introduced in <cite class="ltx_cite ltx_citemacro_citet">Garg et al. [<a href="#bib.bib11" title="" class="ltx_ref">11</a>]</cite> heuristically, it was shown in <cite class="ltx_cite ltx_citemacro_citet">Al-Hafez et al. [<a href="#bib.bib1" title="" class="ltx_ref">1</a>]</cite> that this has a well-motivated derivation as a result of the divergence between the data occupancy and the mixture between the data occupancy and the policy occupancy:</p>
<table id="A9.EGx19" class="ltx_equationgroup ltx_eqn_align ltx_eqn_table">

<tbody id="A4.Ex23"><tr class="ltx_equation ltx_eqn_row ltx_align_baseline">
<td class="ltx_eqn_cell ltx_eqn_center_padleft"></td>
<td class="ltx_td ltx_align_right ltx_eqn_cell"><math id="A4.Ex23.m1.17" class="ltx_Math" alttext="\displaystyle\begin{aligned} 2\chi^{2}(\rho_{\text{data}}\|\underbrace{\frac{\rho_{\text{data}}+\rho_{\theta}}{2}}_{\rho_{\text{mix }}})&amp;=\sup_{r}2\left(\mathbb{E}_{\rho_{\text{data}}}[r(s,a)]-\mathbb{E}_{\rho_{\text{mix}}}\left[r(s,a)+\frac{r(s,a)^{2}}{4}\right]\right)\\
&amp;=\sup_{r}\mathbb{E}_{\rho_{\text{data}}}[r(s,a)]-\mathbb{E}_{\rho_{\theta}}[r(s,a)]-c\alpha\mathbb{E}_{\rho_{\text{data}}}\left[r(s,a)^{2}\right]-c(1-\alpha)\mathbb{E}_{\rho_{\theta}}\left[r(s,a)^{2}\right].\end{aligned}" display="inline"><semantics id="A4.Ex23.m1.17a"><mtable columnspacing="0pt" rowspacing="0pt" id="A4.Ex23.m1.17.17" xref="A4.Ex23.m1.17.17.cmml"><mtr id="A4.Ex23.m1.17.17a" xref="A4.Ex23.m1.17.17.cmml"><mtd class="ltx_align_right" columnalign="right" id="A4.Ex23.m1.17.17b" xref="A4.Ex23.m1.17.17.cmml"><mrow id="A4.Ex23.m1.1.1.1.1.1" xref="A4.Ex23.m1.1.1.1.1.1.cmml"><mn id="A4.Ex23.m1.1.1.1.1.1.3" xref="A4.Ex23.m1.1.1.1.1.1.3.cmml">2</mn><mo lspace="0em" rspace="0em" id="A4.Ex23.m1.1.1.1.1.1.2" xref="A4.Ex23.m1.1.1.1.1.1.2.cmml">​</mo><msup id="A4.Ex23.m1.1.1.1.1.1.4" xref="A4.Ex23.m1.1.1.1.1.1.4.cmml"><mi id="A4.Ex23.m1.1.1.1.1.1.4.2" xref="A4.Ex23.m1.1.1.1.1.1.4.2.cmml">χ</mi><mn id="A4.Ex23.m1.1.1.1.1.1.4.3" xref="A4.Ex23.m1.1.1.1.1.1.4.3.cmml">2</mn></msup><mo lspace="0em" rspace="0em" id="A4.Ex23.m1.1.1.1.1.1.2a" xref="A4.Ex23.m1.1.1.1.1.1.2.cmml">​</mo><mrow id="A4.Ex23.m1.1.1.1.1.1.1.1" xref="A4.Ex23.m1.1.1.1.1.1.1.1.1.cmml"><mo stretchy="false" id="A4.Ex23.m1.1.1.1.1.1.1.1.2" xref="A4.Ex23.m1.1.1.1.1.1.1.1.1.cmml">(</mo><mrow id="A4.Ex23.m1.1.1.1.1.1.1.1.1" xref="A4.Ex23.m1.1.1.1.1.1.1.1.1.cmml"><msub id="A4.Ex23.m1.1.1.1.1.1.1.1.1.2" xref="A4.Ex23.m1.1.1.1.1.1.1.1.1.2.cmml"><mi id="A4.Ex23.m1.1.1.1.1.1.1.1.1.2.2" xref="A4.Ex23.m1.1.1.1.1.1.1.1.1.2.2.cmml">ρ</mi><mtext id="A4.Ex23.m1.1.1.1.1.1.1.1.1.2.3" xref="A4.Ex23.m1.1.1.1.1.1.1.1.1.2.3a.cmml">data</mtext></msub><mo id="A4.Ex23.m1.1.1.1.1.1.1.1.1.1" xref="A4.Ex23.m1.1.1.1.1.1.1.1.1.1.cmml">∥</mo><munder id="A4.Ex23.m1.1.1.1.1.1.1.1.1.3" xref="A4.Ex23.m1.1.1.1.1.1.1.1.1.3.cmml"><munder accentunder="true" id="A4.Ex23.m1.1.1.1.1.1.1.1.1.3.2" xref="A4.Ex23.m1.1.1.1.1.1.1.1.1.3.2.cmml"><mstyle displaystyle="true" id="A4.Ex23.m1.1.1.1.1.1.1.1.1.3.2.2" xref="A4.Ex23.m1.1.1.1.1.1.1.1.1.3.2.2.cmml"><mfrac id="A4.Ex23.m1.1.1.1.1.1.1.1.1.3.2.2a" xref="A4.Ex23.m1.1.1.1.1.1.1.1.1.3.2.2.cmml"><mrow id="A4.Ex23.m1.1.1.1.1.1.1.1.1.3.2.2.2" xref="A4.Ex23.m1.1.1.1.1.1.1.1.1.3.2.2.2.cmml"><msub id="A4.Ex23.m1.1.1.1.1.1.1.1.1.3.2.2.2.2" xref="A4.Ex23.m1.1.1.1.1.1.1.1.1.3.2.2.2.2.cmml"><mi id="A4.Ex23.m1.1.1.1.1.1.1.1.1.3.2.2.2.2.2" xref="A4.Ex23.m1.1.1.1.1.1.1.1.1.3.2.2.2.2.2.cmml">ρ</mi><mtext id="A4.Ex23.m1.1.1.1.1.1.1.1.1.3.2.2.2.2.3" xref="A4.Ex23.m1.1.1.1.1.1.1.1.1.3.2.2.2.2.3a.cmml">data</mtext></msub><mo id="A4.Ex23.m1.1.1.1.1.1.1.1.1.3.2.2.2.1" xref="A4.Ex23.m1.1.1.1.1.1.1.1.1.3.2.2.2.1.cmml">+</mo><msub id="A4.Ex23.m1.1.1.1.1.1.1.1.1.3.2.2.2.3" xref="A4.Ex23.m1.1.1.1.1.1.1.1.1.3.2.2.2.3.cmml"><mi id="A4.Ex23.m1.1.1.1.1.1.1.1.1.3.2.2.2.3.2" xref="A4.Ex23.m1.1.1.1.1.1.1.1.1.3.2.2.2.3.2.cmml">ρ</mi><mi id="A4.Ex23.m1.1.1.1.1.1.1.1.1.3.2.2.2.3.3" xref="A4.Ex23.m1.1.1.1.1.1.1.1.1.3.2.2.2.3.3.cmml">θ</mi></msub></mrow><mn id="A4.Ex23.m1.1.1.1.1.1.1.1.1.3.2.2.3" xref="A4.Ex23.m1.1.1.1.1.1.1.1.1.3.2.2.3.cmml">2</mn></mfrac></mstyle><mo id="A4.Ex23.m1.1.1.1.1.1.1.1.1.3.2.1" xref="A4.Ex23.m1.1.1.1.1.1.1.1.1.3.2.1.cmml">⏟</mo></munder><msub id="A4.Ex23.m1.1.1.1.1.1.1.1.1.3.3" xref="A4.Ex23.m1.1.1.1.1.1.1.1.1.3.3.cmml"><mi id="A4.Ex23.m1.1.1.1.1.1.1.1.1.3.3.2" xref="A4.Ex23.m1.1.1.1.1.1.1.1.1.3.3.2.cmml">ρ</mi><mtext id="A4.Ex23.m1.1.1.1.1.1.1.1.1.3.3.3" xref="A4.Ex23.m1.1.1.1.1.1.1.1.1.3.3.3a.cmml">mix </mtext></msub></munder></mrow><mo stretchy="false" id="A4.Ex23.m1.1.1.1.1.1.1.1.3" xref="A4.Ex23.m1.1.1.1.1.1.1.1.1.cmml">)</mo></mrow></mrow></mtd><mtd class="ltx_align_left" columnalign="left" id="A4.Ex23.m1.17.17c" xref="A4.Ex23.m1.17.17.cmml"><mrow id="A4.Ex23.m1.8.8.8.8.7" xref="A4.Ex23.m1.8.8.8.8.7.cmml"><mi id="A4.Ex23.m1.8.8.8.8.7.9" xref="A4.Ex23.m1.8.8.8.8.7.9.cmml"></mi><mo rspace="0.1389em" id="A4.Ex23.m1.8.8.8.8.7.8" xref="A4.Ex23.m1.8.8.8.8.7.8.cmml">=</mo><mrow id="A4.Ex23.m1.8.8.8.8.7.7" xref="A4.Ex23.m1.8.8.8.8.7.7.cmml"><munder id="A4.Ex23.m1.8.8.8.8.7.7.2" xref="A4.Ex23.m1.8.8.8.8.7.7.2.cmml"><mo lspace="0.1389em" movablelimits="false" rspace="0.167em" id="A4.Ex23.m1.8.8.8.8.7.7.2.2" xref="A4.Ex23.m1.8.8.8.8.7.7.2.2.cmml">sup</mo><mi id="A4.Ex23.m1.8.8.8.8.7.7.2.3" xref="A4.Ex23.m1.8.8.8.8.7.7.2.3.cmml">r</mi></munder><mrow id="A4.Ex23.m1.8.8.8.8.7.7.1" xref="A4.Ex23.m1.8.8.8.8.7.7.1.cmml"><mn id="A4.Ex23.m1.8.8.8.8.7.7.1.3" xref="A4.Ex23.m1.8.8.8.8.7.7.1.3.cmml">2</mn><mo lspace="0em" rspace="0em" id="A4.Ex23.m1.8.8.8.8.7.7.1.2" xref="A4.Ex23.m1.8.8.8.8.7.7.1.2.cmml">​</mo><mrow id="A4.Ex23.m1.8.8.8.8.7.7.1.1.1" xref="A4.Ex23.m1.8.8.8.8.7.7.1.1.1.1.cmml"><mo id="A4.Ex23.m1.8.8.8.8.7.7.1.1.1.2" xref="A4.Ex23.m1.8.8.8.8.7.7.1.1.1.1.cmml">(</mo><mrow id="A4.Ex23.m1.8.8.8.8.7.7.1.1.1.1" xref="A4.Ex23.m1.8.8.8.8.7.7.1.1.1.1.cmml"><mrow id="A4.Ex23.m1.8.8.8.8.7.7.1.1.1.1.1" xref="A4.Ex23.m1.8.8.8.8.7.7.1.1.1.1.1.cmml"><msub id="A4.Ex23.m1.8.8.8.8.7.7.1.1.1.1.1.3" xref="A4.Ex23.m1.8.8.8.8.7.7.1.1.1.1.1.3.cmml"><mi id="A4.Ex23.m1.8.8.8.8.7.7.1.1.1.1.1.3.2" xref="A4.Ex23.m1.8.8.8.8.7.7.1.1.1.1.1.3.2.cmml">𝔼</mi><msub id="A4.Ex23.m1.8.8.8.8.7.7.1.1.1.1.1.3.3" xref="A4.Ex23.m1.8.8.8.8.7.7.1.1.1.1.1.3.3.cmml"><mi id="A4.Ex23.m1.8.8.8.8.7.7.1.1.1.1.1.3.3.2" xref="A4.Ex23.m1.8.8.8.8.7.7.1.1.1.1.1.3.3.2.cmml">ρ</mi><mtext id="A4.Ex23.m1.8.8.8.8.7.7.1.1.1.1.1.3.3.3" xref="A4.Ex23.m1.8.8.8.8.7.7.1.1.1.1.1.3.3.3a.cmml">data</mtext></msub></msub><mo lspace="0em" rspace="0em" id="A4.Ex23.m1.8.8.8.8.7.7.1.1.1.1.1.2" xref="A4.Ex23.m1.8.8.8.8.7.7.1.1.1.1.1.2.cmml">​</mo><mrow id="A4.Ex23.m1.8.8.8.8.7.7.1.1.1.1.1.1.1" xref="A4.Ex23.m1.8.8.8.8.7.7.1.1.1.1.1.1.2.cmml"><mo stretchy="false" id="A4.Ex23.m1.8.8.8.8.7.7.1.1.1.1.1.1.1.2" xref="A4.Ex23.m1.8.8.8.8.7.7.1.1.1.1.1.1.2.1.cmml">[</mo><mrow id="A4.Ex23.m1.8.8.8.8.7.7.1.1.1.1.1.1.1.1" xref="A4.Ex23.m1.8.8.8.8.7.7.1.1.1.1.1.1.1.1.cmml"><mi id="A4.Ex23.m1.8.8.8.8.7.7.1.1.1.1.1.1.1.1.2" xref="A4.Ex23.m1.8.8.8.8.7.7.1.1.1.1.1.1.1.1.2.cmml">r</mi><mo lspace="0em" rspace="0em" id="A4.Ex23.m1.8.8.8.8.7.7.1.1.1.1.1.1.1.1.1" xref="A4.Ex23.m1.8.8.8.8.7.7.1.1.1.1.1.1.1.1.1.cmml">​</mo><mrow id="A4.Ex23.m1.8.8.8.8.7.7.1.1.1.1.1.1.1.1.3.2" xref="A4.Ex23.m1.8.8.8.8.7.7.1.1.1.1.1.1.1.1.3.1.cmml"><mo stretchy="false" id="A4.Ex23.m1.8.8.8.8.7.7.1.1.1.1.1.1.1.1.3.2.1" xref="A4.Ex23.m1.8.8.8.8.7.7.1.1.1.1.1.1.1.1.3.1.cmml">(</mo><mi id="A4.Ex23.m1.4.4.4.4.3.3" xref="A4.Ex23.m1.4.4.4.4.3.3.cmml">s</mi><mo id="A4.Ex23.m1.8.8.8.8.7.7.1.1.1.1.1.1.1.1.3.2.2" xref="A4.Ex23.m1.8.8.8.8.7.7.1.1.1.1.1.1.1.1.3.1.cmml">,</mo><mi id="A4.Ex23.m1.5.5.5.5.4.4" xref="A4.Ex23.m1.5.5.5.5.4.4.cmml">a</mi><mo stretchy="false" id="A4.Ex23.m1.8.8.8.8.7.7.1.1.1.1.1.1.1.1.3.2.3" xref="A4.Ex23.m1.8.8.8.8.7.7.1.1.1.1.1.1.1.1.3.1.cmml">)</mo></mrow></mrow><mo stretchy="false" id="A4.Ex23.m1.8.8.8.8.7.7.1.1.1.1.1.1.1.3" xref="A4.Ex23.m1.8.8.8.8.7.7.1.1.1.1.1.1.2.1.cmml">]</mo></mrow></mrow><mo id="A4.Ex23.m1.8.8.8.8.7.7.1.1.1.1.3" xref="A4.Ex23.m1.8.8.8.8.7.7.1.1.1.1.3.cmml">−</mo><mrow id="A4.Ex23.m1.8.8.8.8.7.7.1.1.1.1.2" xref="A4.Ex23.m1.8.8.8.8.7.7.1.1.1.1.2.cmml"><msub id="A4.Ex23.m1.8.8.8.8.7.7.1.1.1.1.2.3" xref="A4.Ex23.m1.8.8.8.8.7.7.1.1.1.1.2.3.cmml"><mi id="A4.Ex23.m1.8.8.8.8.7.7.1.1.1.1.2.3.2" xref="A4.Ex23.m1.8.8.8.8.7.7.1.1.1.1.2.3.2.cmml">𝔼</mi><msub id="A4.Ex23.m1.8.8.8.8.7.7.1.1.1.1.2.3.3" xref="A4.Ex23.m1.8.8.8.8.7.7.1.1.1.1.2.3.3.cmml"><mi id="A4.Ex23.m1.8.8.8.8.7.7.1.1.1.1.2.3.3.2" xref="A4.Ex23.m1.8.8.8.8.7.7.1.1.1.1.2.3.3.2.cmml">ρ</mi><mtext id="A4.Ex23.m1.8.8.8.8.7.7.1.1.1.1.2.3.3.3" xref="A4.Ex23.m1.8.8.8.8.7.7.1.1.1.1.2.3.3.3a.cmml">mix</mtext></msub></msub><mo lspace="0em" rspace="0em" id="A4.Ex23.m1.8.8.8.8.7.7.1.1.1.1.2.2" xref="A4.Ex23.m1.8.8.8.8.7.7.1.1.1.1.2.2.cmml">​</mo><mrow id="A4.Ex23.m1.8.8.8.8.7.7.1.1.1.1.2.1.1" xref="A4.Ex23.m1.8.8.8.8.7.7.1.1.1.1.2.1.2.cmml"><mo id="A4.Ex23.m1.8.8.8.8.7.7.1.1.1.1.2.1.1.2" xref="A4.Ex23.m1.8.8.8.8.7.7.1.1.1.1.2.1.2.1.cmml">[</mo><mrow id="A4.Ex23.m1.8.8.8.8.7.7.1.1.1.1.2.1.1.1" xref="A4.Ex23.m1.8.8.8.8.7.7.1.1.1.1.2.1.1.1.cmml"><mrow id="A4.Ex23.m1.8.8.8.8.7.7.1.1.1.1.2.1.1.1.2" xref="A4.Ex23.m1.8.8.8.8.7.7.1.1.1.1.2.1.1.1.2.cmml"><mi id="A4.Ex23.m1.8.8.8.8.7.7.1.1.1.1.2.1.1.1.2.2" xref="A4.Ex23.m1.8.8.8.8.7.7.1.1.1.1.2.1.1.1.2.2.cmml">r</mi><mo lspace="0em" rspace="0em" id="A4.Ex23.m1.8.8.8.8.7.7.1.1.1.1.2.1.1.1.2.1" xref="A4.Ex23.m1.8.8.8.8.7.7.1.1.1.1.2.1.1.1.2.1.cmml">​</mo><mrow id="A4.Ex23.m1.8.8.8.8.7.7.1.1.1.1.2.1.1.1.2.3.2" xref="A4.Ex23.m1.8.8.8.8.7.7.1.1.1.1.2.1.1.1.2.3.1.cmml"><mo stretchy="false" id="A4.Ex23.m1.8.8.8.8.7.7.1.1.1.1.2.1.1.1.2.3.2.1" xref="A4.Ex23.m1.8.8.8.8.7.7.1.1.1.1.2.1.1.1.2.3.1.cmml">(</mo><mi id="A4.Ex23.m1.6.6.6.6.5.5" xref="A4.Ex23.m1.6.6.6.6.5.5.cmml">s</mi><mo id="A4.Ex23.m1.8.8.8.8.7.7.1.1.1.1.2.1.1.1.2.3.2.2" xref="A4.Ex23.m1.8.8.8.8.7.7.1.1.1.1.2.1.1.1.2.3.1.cmml">,</mo><mi id="A4.Ex23.m1.7.7.7.7.6.6" xref="A4.Ex23.m1.7.7.7.7.6.6.cmml">a</mi><mo stretchy="false" id="A4.Ex23.m1.8.8.8.8.7.7.1.1.1.1.2.1.1.1.2.3.2.3" xref="A4.Ex23.m1.8.8.8.8.7.7.1.1.1.1.2.1.1.1.2.3.1.cmml">)</mo></mrow></mrow><mo id="A4.Ex23.m1.8.8.8.8.7.7.1.1.1.1.2.1.1.1.1" xref="A4.Ex23.m1.8.8.8.8.7.7.1.1.1.1.2.1.1.1.1.cmml">+</mo><mstyle displaystyle="true" id="A4.Ex23.m1.3.3.3.3.2.2" xref="A4.Ex23.m1.3.3.3.3.2.2.cmml"><mfrac id="A4.Ex23.m1.3.3.3.3.2.2a" xref="A4.Ex23.m1.3.3.3.3.2.2.cmml"><mrow id="A4.Ex23.m1.3.3.3.3.2.2.2" xref="A4.Ex23.m1.3.3.3.3.2.2.2.cmml"><mi id="A4.Ex23.m1.3.3.3.3.2.2.2.4" xref="A4.Ex23.m1.3.3.3.3.2.2.2.4.cmml">r</mi><mo lspace="0em" rspace="0em" id="A4.Ex23.m1.3.3.3.3.2.2.2.3" xref="A4.Ex23.m1.3.3.3.3.2.2.2.3.cmml">​</mo><msup id="A4.Ex23.m1.3.3.3.3.2.2.2.5" xref="A4.Ex23.m1.3.3.3.3.2.2.2.5.cmml"><mrow id="A4.Ex23.m1.3.3.3.3.2.2.2.5.2.2" xref="A4.Ex23.m1.3.3.3.3.2.2.2.5.2.1.cmml"><mo stretchy="false" id="A4.Ex23.m1.3.3.3.3.2.2.2.5.2.2.1" xref="A4.Ex23.m1.3.3.3.3.2.2.2.5.2.1.cmml">(</mo><mi id="A4.Ex23.m1.2.2.2.2.1.1.1.1" xref="A4.Ex23.m1.2.2.2.2.1.1.1.1.cmml">s</mi><mo id="A4.Ex23.m1.3.3.3.3.2.2.2.5.2.2.2" xref="A4.Ex23.m1.3.3.3.3.2.2.2.5.2.1.cmml">,</mo><mi id="A4.Ex23.m1.3.3.3.3.2.2.2.2" xref="A4.Ex23.m1.3.3.3.3.2.2.2.2.cmml">a</mi><mo stretchy="false" id="A4.Ex23.m1.3.3.3.3.2.2.2.5.2.2.3" xref="A4.Ex23.m1.3.3.3.3.2.2.2.5.2.1.cmml">)</mo></mrow><mn id="A4.Ex23.m1.3.3.3.3.2.2.2.5.3" xref="A4.Ex23.m1.3.3.3.3.2.2.2.5.3.cmml">2</mn></msup></mrow><mn id="A4.Ex23.m1.3.3.3.3.2.2.4" xref="A4.Ex23.m1.3.3.3.3.2.2.4.cmml">4</mn></mfrac></mstyle></mrow><mo id="A4.Ex23.m1.8.8.8.8.7.7.1.1.1.1.2.1.1.3" xref="A4.Ex23.m1.8.8.8.8.7.7.1.1.1.1.2.1.2.1.cmml">]</mo></mrow></mrow></mrow><mo id="A4.Ex23.m1.8.8.8.8.7.7.1.1.1.3" xref="A4.Ex23.m1.8.8.8.8.7.7.1.1.1.1.cmml">)</mo></mrow></mrow></mrow></mrow></mtd></mtr><mtr id="A4.Ex23.m1.17.17d" xref="A4.Ex23.m1.17.17.cmml"><mtd id="A4.Ex23.m1.17.17e" xref="A4.Ex23.m1.17.17.cmml"></mtd><mtd class="ltx_align_left" columnalign="left" id="A4.Ex23.m1.17.17f" xref="A4.Ex23.m1.17.17.cmml"><mrow id="A4.Ex23.m1.17.17.17.9.9.9" xref="A4.Ex23.m1.17.17.17.9.9.9.1.cmml"><mrow id="A4.Ex23.m1.17.17.17.9.9.9.1" xref="A4.Ex23.m1.17.17.17.9.9.9.1.cmml"><mi id="A4.Ex23.m1.17.17.17.9.9.9.1.7" xref="A4.Ex23.m1.17.17.17.9.9.9.1.7.cmml"></mi><mo rspace="0.1389em" id="A4.Ex23.m1.17.17.17.9.9.9.1.6" xref="A4.Ex23.m1.17.17.17.9.9.9.1.6.cmml">=</mo><mrow id="A4.Ex23.m1.17.17.17.9.9.9.1.5" xref="A4.Ex23.m1.17.17.17.9.9.9.1.5.cmml"><mrow id="A4.Ex23.m1.17.17.17.9.9.9.1.1.1" xref="A4.Ex23.m1.17.17.17.9.9.9.1.1.1.cmml"><munder id="A4.Ex23.m1.17.17.17.9.9.9.1.1.1.2" xref="A4.Ex23.m1.17.17.17.9.9.9.1.1.1.2.cmml"><mo lspace="0.1389em" movablelimits="false" rspace="0.167em" id="A4.Ex23.m1.17.17.17.9.9.9.1.1.1.2.2" xref="A4.Ex23.m1.17.17.17.9.9.9.1.1.1.2.2.cmml">sup</mo><mi id="A4.Ex23.m1.17.17.17.9.9.9.1.1.1.2.3" xref="A4.Ex23.m1.17.17.17.9.9.9.1.1.1.2.3.cmml">r</mi></munder><mrow id="A4.Ex23.m1.17.17.17.9.9.9.1.1.1.1" xref="A4.Ex23.m1.17.17.17.9.9.9.1.1.1.1.cmml"><msub id="A4.Ex23.m1.17.17.17.9.9.9.1.1.1.1.3" xref="A4.Ex23.m1.17.17.17.9.9.9.1.1.1.1.3.cmml"><mi id="A4.Ex23.m1.17.17.17.9.9.9.1.1.1.1.3.2" xref="A4.Ex23.m1.17.17.17.9.9.9.1.1.1.1.3.2.cmml">𝔼</mi><msub id="A4.Ex23.m1.17.17.17.9.9.9.1.1.1.1.3.3" xref="A4.Ex23.m1.17.17.17.9.9.9.1.1.1.1.3.3.cmml"><mi id="A4.Ex23.m1.17.17.17.9.9.9.1.1.1.1.3.3.2" xref="A4.Ex23.m1.17.17.17.9.9.9.1.1.1.1.3.3.2.cmml">ρ</mi><mtext id="A4.Ex23.m1.17.17.17.9.9.9.1.1.1.1.3.3.3" xref="A4.Ex23.m1.17.17.17.9.9.9.1.1.1.1.3.3.3a.cmml">data</mtext></msub></msub><mo lspace="0em" rspace="0em" id="A4.Ex23.m1.17.17.17.9.9.9.1.1.1.1.2" xref="A4.Ex23.m1.17.17.17.9.9.9.1.1.1.1.2.cmml">​</mo><mrow id="A4.Ex23.m1.17.17.17.9.9.9.1.1.1.1.1.1" xref="A4.Ex23.m1.17.17.17.9.9.9.1.1.1.1.1.2.cmml"><mo stretchy="false" id="A4.Ex23.m1.17.17.17.9.9.9.1.1.1.1.1.1.2" xref="A4.Ex23.m1.17.17.17.9.9.9.1.1.1.1.1.2.1.cmml">[</mo><mrow id="A4.Ex23.m1.17.17.17.9.9.9.1.1.1.1.1.1.1" xref="A4.Ex23.m1.17.17.17.9.9.9.1.1.1.1.1.1.1.cmml"><mi id="A4.Ex23.m1.17.17.17.9.9.9.1.1.1.1.1.1.1.2" xref="A4.Ex23.m1.17.17.17.9.9.9.1.1.1.1.1.1.1.2.cmml">r</mi><mo lspace="0em" rspace="0em" id="A4.Ex23.m1.17.17.17.9.9.9.1.1.1.1.1.1.1.1" xref="A4.Ex23.m1.17.17.17.9.9.9.1.1.1.1.1.1.1.1.cmml">​</mo><mrow id="A4.Ex23.m1.17.17.17.9.9.9.1.1.1.1.1.1.1.3.2" xref="A4.Ex23.m1.17.17.17.9.9.9.1.1.1.1.1.1.1.3.1.cmml"><mo stretchy="false" id="A4.Ex23.m1.17.17.17.9.9.9.1.1.1.1.1.1.1.3.2.1" xref="A4.Ex23.m1.17.17.17.9.9.9.1.1.1.1.1.1.1.3.1.cmml">(</mo><mi id="A4.Ex23.m1.9.9.9.1.1.1" xref="A4.Ex23.m1.9.9.9.1.1.1.cmml">s</mi><mo id="A4.Ex23.m1.17.17.17.9.9.9.1.1.1.1.1.1.1.3.2.2" xref="A4.Ex23.m1.17.17.17.9.9.9.1.1.1.1.1.1.1.3.1.cmml">,</mo><mi id="A4.Ex23.m1.10.10.10.2.2.2" xref="A4.Ex23.m1.10.10.10.2.2.2.cmml">a</mi><mo stretchy="false" id="A4.Ex23.m1.17.17.17.9.9.9.1.1.1.1.1.1.1.3.2.3" xref="A4.Ex23.m1.17.17.17.9.9.9.1.1.1.1.1.1.1.3.1.cmml">)</mo></mrow></mrow><mo stretchy="false" id="A4.Ex23.m1.17.17.17.9.9.9.1.1.1.1.1.1.3" xref="A4.Ex23.m1.17.17.17.9.9.9.1.1.1.1.1.2.1.cmml">]</mo></mrow></mrow></mrow><mo id="A4.Ex23.m1.17.17.17.9.9.9.1.5.6" xref="A4.Ex23.m1.17.17.17.9.9.9.1.5.6.cmml">−</mo><mrow id="A4.Ex23.m1.17.17.17.9.9.9.1.2.2" xref="A4.Ex23.m1.17.17.17.9.9.9.1.2.2.cmml"><msub id="A4.Ex23.m1.17.17.17.9.9.9.1.2.2.3" xref="A4.Ex23.m1.17.17.17.9.9.9.1.2.2.3.cmml"><mi id="A4.Ex23.m1.17.17.17.9.9.9.1.2.2.3.2" xref="A4.Ex23.m1.17.17.17.9.9.9.1.2.2.3.2.cmml">𝔼</mi><msub id="A4.Ex23.m1.17.17.17.9.9.9.1.2.2.3.3" xref="A4.Ex23.m1.17.17.17.9.9.9.1.2.2.3.3.cmml"><mi id="A4.Ex23.m1.17.17.17.9.9.9.1.2.2.3.3.2" xref="A4.Ex23.m1.17.17.17.9.9.9.1.2.2.3.3.2.cmml">ρ</mi><mi id="A4.Ex23.m1.17.17.17.9.9.9.1.2.2.3.3.3" xref="A4.Ex23.m1.17.17.17.9.9.9.1.2.2.3.3.3.cmml">θ</mi></msub></msub><mo lspace="0em" rspace="0em" id="A4.Ex23.m1.17.17.17.9.9.9.1.2.2.2" xref="A4.Ex23.m1.17.17.17.9.9.9.1.2.2.2.cmml">​</mo><mrow id="A4.Ex23.m1.17.17.17.9.9.9.1.2.2.1.1" xref="A4.Ex23.m1.17.17.17.9.9.9.1.2.2.1.2.cmml"><mo stretchy="false" id="A4.Ex23.m1.17.17.17.9.9.9.1.2.2.1.1.2" xref="A4.Ex23.m1.17.17.17.9.9.9.1.2.2.1.2.1.cmml">[</mo><mrow id="A4.Ex23.m1.17.17.17.9.9.9.1.2.2.1.1.1" xref="A4.Ex23.m1.17.17.17.9.9.9.1.2.2.1.1.1.cmml"><mi id="A4.Ex23.m1.17.17.17.9.9.9.1.2.2.1.1.1.2" xref="A4.Ex23.m1.17.17.17.9.9.9.1.2.2.1.1.1.2.cmml">r</mi><mo lspace="0em" rspace="0em" id="A4.Ex23.m1.17.17.17.9.9.9.1.2.2.1.1.1.1" xref="A4.Ex23.m1.17.17.17.9.9.9.1.2.2.1.1.1.1.cmml">​</mo><mrow id="A4.Ex23.m1.17.17.17.9.9.9.1.2.2.1.1.1.3.2" xref="A4.Ex23.m1.17.17.17.9.9.9.1.2.2.1.1.1.3.1.cmml"><mo stretchy="false" id="A4.Ex23.m1.17.17.17.9.9.9.1.2.2.1.1.1.3.2.1" xref="A4.Ex23.m1.17.17.17.9.9.9.1.2.2.1.1.1.3.1.cmml">(</mo><mi id="A4.Ex23.m1.11.11.11.3.3.3" xref="A4.Ex23.m1.11.11.11.3.3.3.cmml">s</mi><mo id="A4.Ex23.m1.17.17.17.9.9.9.1.2.2.1.1.1.3.2.2" xref="A4.Ex23.m1.17.17.17.9.9.9.1.2.2.1.1.1.3.1.cmml">,</mo><mi id="A4.Ex23.m1.12.12.12.4.4.4" xref="A4.Ex23.m1.12.12.12.4.4.4.cmml">a</mi><mo stretchy="false" id="A4.Ex23.m1.17.17.17.9.9.9.1.2.2.1.1.1.3.2.3" xref="A4.Ex23.m1.17.17.17.9.9.9.1.2.2.1.1.1.3.1.cmml">)</mo></mrow></mrow><mo stretchy="false" id="A4.Ex23.m1.17.17.17.9.9.9.1.2.2.1.1.3" xref="A4.Ex23.m1.17.17.17.9.9.9.1.2.2.1.2.1.cmml">]</mo></mrow></mrow><mo id="A4.Ex23.m1.17.17.17.9.9.9.1.5.6a" xref="A4.Ex23.m1.17.17.17.9.9.9.1.5.6.cmml">−</mo><mrow id="A4.Ex23.m1.17.17.17.9.9.9.1.3.3" xref="A4.Ex23.m1.17.17.17.9.9.9.1.3.3.cmml"><mi id="A4.Ex23.m1.17.17.17.9.9.9.1.3.3.3" xref="A4.Ex23.m1.17.17.17.9.9.9.1.3.3.3.cmml">c</mi><mo lspace="0em" rspace="0em" id="A4.Ex23.m1.17.17.17.9.9.9.1.3.3.2" xref="A4.Ex23.m1.17.17.17.9.9.9.1.3.3.2.cmml">​</mo><mi id="A4.Ex23.m1.17.17.17.9.9.9.1.3.3.4" xref="A4.Ex23.m1.17.17.17.9.9.9.1.3.3.4.cmml">α</mi><mo lspace="0em" rspace="0em" id="A4.Ex23.m1.17.17.17.9.9.9.1.3.3.2a" xref="A4.Ex23.m1.17.17.17.9.9.9.1.3.3.2.cmml">​</mo><msub id="A4.Ex23.m1.17.17.17.9.9.9.1.3.3.5" xref="A4.Ex23.m1.17.17.17.9.9.9.1.3.3.5.cmml"><mi id="A4.Ex23.m1.17.17.17.9.9.9.1.3.3.5.2" xref="A4.Ex23.m1.17.17.17.9.9.9.1.3.3.5.2.cmml">𝔼</mi><msub id="A4.Ex23.m1.17.17.17.9.9.9.1.3.3.5.3" xref="A4.Ex23.m1.17.17.17.9.9.9.1.3.3.5.3.cmml"><mi id="A4.Ex23.m1.17.17.17.9.9.9.1.3.3.5.3.2" xref="A4.Ex23.m1.17.17.17.9.9.9.1.3.3.5.3.2.cmml">ρ</mi><mtext id="A4.Ex23.m1.17.17.17.9.9.9.1.3.3.5.3.3" xref="A4.Ex23.m1.17.17.17.9.9.9.1.3.3.5.3.3a.cmml">data</mtext></msub></msub><mo lspace="0em" rspace="0em" id="A4.Ex23.m1.17.17.17.9.9.9.1.3.3.2b" xref="A4.Ex23.m1.17.17.17.9.9.9.1.3.3.2.cmml">​</mo><mrow id="A4.Ex23.m1.17.17.17.9.9.9.1.3.3.1.1" xref="A4.Ex23.m1.17.17.17.9.9.9.1.3.3.1.2.cmml"><mo id="A4.Ex23.m1.17.17.17.9.9.9.1.3.3.1.1.2" xref="A4.Ex23.m1.17.17.17.9.9.9.1.3.3.1.2.1.cmml">[</mo><mrow id="A4.Ex23.m1.17.17.17.9.9.9.1.3.3.1.1.1" xref="A4.Ex23.m1.17.17.17.9.9.9.1.3.3.1.1.1.cmml"><mi id="A4.Ex23.m1.17.17.17.9.9.9.1.3.3.1.1.1.2" xref="A4.Ex23.m1.17.17.17.9.9.9.1.3.3.1.1.1.2.cmml">r</mi><mo lspace="0em" rspace="0em" id="A4.Ex23.m1.17.17.17.9.9.9.1.3.3.1.1.1.1" xref="A4.Ex23.m1.17.17.17.9.9.9.1.3.3.1.1.1.1.cmml">​</mo><msup id="A4.Ex23.m1.17.17.17.9.9.9.1.3.3.1.1.1.3" xref="A4.Ex23.m1.17.17.17.9.9.9.1.3.3.1.1.1.3.cmml"><mrow id="A4.Ex23.m1.17.17.17.9.9.9.1.3.3.1.1.1.3.2.2" xref="A4.Ex23.m1.17.17.17.9.9.9.1.3.3.1.1.1.3.2.1.cmml"><mo stretchy="false" id="A4.Ex23.m1.17.17.17.9.9.9.1.3.3.1.1.1.3.2.2.1" xref="A4.Ex23.m1.17.17.17.9.9.9.1.3.3.1.1.1.3.2.1.cmml">(</mo><mi id="A4.Ex23.m1.13.13.13.5.5.5" xref="A4.Ex23.m1.13.13.13.5.5.5.cmml">s</mi><mo id="A4.Ex23.m1.17.17.17.9.9.9.1.3.3.1.1.1.3.2.2.2" xref="A4.Ex23.m1.17.17.17.9.9.9.1.3.3.1.1.1.3.2.1.cmml">,</mo><mi id="A4.Ex23.m1.14.14.14.6.6.6" xref="A4.Ex23.m1.14.14.14.6.6.6.cmml">a</mi><mo stretchy="false" id="A4.Ex23.m1.17.17.17.9.9.9.1.3.3.1.1.1.3.2.2.3" xref="A4.Ex23.m1.17.17.17.9.9.9.1.3.3.1.1.1.3.2.1.cmml">)</mo></mrow><mn id="A4.Ex23.m1.17.17.17.9.9.9.1.3.3.1.1.1.3.3" xref="A4.Ex23.m1.17.17.17.9.9.9.1.3.3.1.1.1.3.3.cmml">2</mn></msup></mrow><mo id="A4.Ex23.m1.17.17.17.9.9.9.1.3.3.1.1.3" xref="A4.Ex23.m1.17.17.17.9.9.9.1.3.3.1.2.1.cmml">]</mo></mrow></mrow><mo id="A4.Ex23.m1.17.17.17.9.9.9.1.5.6b" xref="A4.Ex23.m1.17.17.17.9.9.9.1.5.6.cmml">−</mo><mrow id="A4.Ex23.m1.17.17.17.9.9.9.1.5.5" xref="A4.Ex23.m1.17.17.17.9.9.9.1.5.5.cmml"><mi id="A4.Ex23.m1.17.17.17.9.9.9.1.5.5.4" xref="A4.Ex23.m1.17.17.17.9.9.9.1.5.5.4.cmml">c</mi><mo lspace="0em" rspace="0em" id="A4.Ex23.m1.17.17.17.9.9.9.1.5.5.3" xref="A4.Ex23.m1.17.17.17.9.9.9.1.5.5.3.cmml">​</mo><mrow id="A4.Ex23.m1.17.17.17.9.9.9.1.4.4.1.1" xref="A4.Ex23.m1.17.17.17.9.9.9.1.4.4.1.1.1.cmml"><mo stretchy="false" id="A4.Ex23.m1.17.17.17.9.9.9.1.4.4.1.1.2" xref="A4.Ex23.m1.17.17.17.9.9.9.1.4.4.1.1.1.cmml">(</mo><mrow id="A4.Ex23.m1.17.17.17.9.9.9.1.4.4.1.1.1" xref="A4.Ex23.m1.17.17.17.9.9.9.1.4.4.1.1.1.cmml"><mn id="A4.Ex23.m1.17.17.17.9.9.9.1.4.4.1.1.1.2" xref="A4.Ex23.m1.17.17.17.9.9.9.1.4.4.1.1.1.2.cmml">1</mn><mo id="A4.Ex23.m1.17.17.17.9.9.9.1.4.4.1.1.1.1" xref="A4.Ex23.m1.17.17.17.9.9.9.1.4.4.1.1.1.1.cmml">−</mo><mi id="A4.Ex23.m1.17.17.17.9.9.9.1.4.4.1.1.1.3" xref="A4.Ex23.m1.17.17.17.9.9.9.1.4.4.1.1.1.3.cmml">α</mi></mrow><mo stretchy="false" id="A4.Ex23.m1.17.17.17.9.9.9.1.4.4.1.1.3" xref="A4.Ex23.m1.17.17.17.9.9.9.1.4.4.1.1.1.cmml">)</mo></mrow><mo lspace="0em" rspace="0em" id="A4.Ex23.m1.17.17.17.9.9.9.1.5.5.3a" xref="A4.Ex23.m1.17.17.17.9.9.9.1.5.5.3.cmml">​</mo><msub id="A4.Ex23.m1.17.17.17.9.9.9.1.5.5.5" xref="A4.Ex23.m1.17.17.17.9.9.9.1.5.5.5.cmml"><mi id="A4.Ex23.m1.17.17.17.9.9.9.1.5.5.5.2" xref="A4.Ex23.m1.17.17.17.9.9.9.1.5.5.5.2.cmml">𝔼</mi><msub id="A4.Ex23.m1.17.17.17.9.9.9.1.5.5.5.3" xref="A4.Ex23.m1.17.17.17.9.9.9.1.5.5.5.3.cmml"><mi id="A4.Ex23.m1.17.17.17.9.9.9.1.5.5.5.3.2" xref="A4.Ex23.m1.17.17.17.9.9.9.1.5.5.5.3.2.cmml">ρ</mi><mi id="A4.Ex23.m1.17.17.17.9.9.9.1.5.5.5.3.3" xref="A4.Ex23.m1.17.17.17.9.9.9.1.5.5.5.3.3.cmml">θ</mi></msub></msub><mo lspace="0em" rspace="0em" id="A4.Ex23.m1.17.17.17.9.9.9.1.5.5.3b" xref="A4.Ex23.m1.17.17.17.9.9.9.1.5.5.3.cmml">​</mo><mrow id="A4.Ex23.m1.17.17.17.9.9.9.1.5.5.2.1" xref="A4.Ex23.m1.17.17.17.9.9.9.1.5.5.2.2.cmml"><mo id="A4.Ex23.m1.17.17.17.9.9.9.1.5.5.2.1.2" xref="A4.Ex23.m1.17.17.17.9.9.9.1.5.5.2.2.1.cmml">[</mo><mrow id="A4.Ex23.m1.17.17.17.9.9.9.1.5.5.2.1.1" xref="A4.Ex23.m1.17.17.17.9.9.9.1.5.5.2.1.1.cmml"><mi id="A4.Ex23.m1.17.17.17.9.9.9.1.5.5.2.1.1.2" xref="A4.Ex23.m1.17.17.17.9.9.9.1.5.5.2.1.1.2.cmml">r</mi><mo lspace="0em" rspace="0em" id="A4.Ex23.m1.17.17.17.9.9.9.1.5.5.2.1.1.1" xref="A4.Ex23.m1.17.17.17.9.9.9.1.5.5.2.1.1.1.cmml">​</mo><msup id="A4.Ex23.m1.17.17.17.9.9.9.1.5.5.2.1.1.3" xref="A4.Ex23.m1.17.17.17.9.9.9.1.5.5.2.1.1.3.cmml"><mrow id="A4.Ex23.m1.17.17.17.9.9.9.1.5.5.2.1.1.3.2.2" xref="A4.Ex23.m1.17.17.17.9.9.9.1.5.5.2.1.1.3.2.1.cmml"><mo stretchy="false" id="A4.Ex23.m1.17.17.17.9.9.9.1.5.5.2.1.1.3.2.2.1" xref="A4.Ex23.m1.17.17.17.9.9.9.1.5.5.2.1.1.3.2.1.cmml">(</mo><mi id="A4.Ex23.m1.15.15.15.7.7.7" xref="A4.Ex23.m1.15.15.15.7.7.7.cmml">s</mi><mo id="A4.Ex23.m1.17.17.17.9.9.9.1.5.5.2.1.1.3.2.2.2" xref="A4.Ex23.m1.17.17.17.9.9.9.1.5.5.2.1.1.3.2.1.cmml">,</mo><mi id="A4.Ex23.m1.16.16.16.8.8.8" xref="A4.Ex23.m1.16.16.16.8.8.8.cmml">a</mi><mo stretchy="false" id="A4.Ex23.m1.17.17.17.9.9.9.1.5.5.2.1.1.3.2.2.3" xref="A4.Ex23.m1.17.17.17.9.9.9.1.5.5.2.1.1.3.2.1.cmml">)</mo></mrow><mn id="A4.Ex23.m1.17.17.17.9.9.9.1.5.5.2.1.1.3.3" xref="A4.Ex23.m1.17.17.17.9.9.9.1.5.5.2.1.1.3.3.cmml">2</mn></msup></mrow><mo id="A4.Ex23.m1.17.17.17.9.9.9.1.5.5.2.1.3" xref="A4.Ex23.m1.17.17.17.9.9.9.1.5.5.2.2.1.cmml">]</mo></mrow></mrow></mrow></mrow><mo lspace="0em" id="A4.Ex23.m1.17.17.17.9.9.9.2" xref="A4.Ex23.m1.17.17.17.9.9.9.1.cmml">.</mo></mrow></mtd></mtr></mtable><annotation-xml encoding="MathML-Content" id="A4.Ex23.m1.17b"><matrix id="A4.Ex23.m1.17.17.cmml" xref="A4.Ex23.m1.17.17"><matrixrow id="A4.Ex23.m1.17.17a.cmml" xref="A4.Ex23.m1.17.17"><apply id="A4.Ex23.m1.1.1.1.1.1.cmml" xref="A4.Ex23.m1.1.1.1.1.1"><times id="A4.Ex23.m1.1.1.1.1.1.2.cmml" xref="A4.Ex23.m1.1.1.1.1.1.2"></times><cn type="integer" id="A4.Ex23.m1.1.1.1.1.1.3.cmml" xref="A4.Ex23.m1.1.1.1.1.1.3">2</cn><apply id="A4.Ex23.m1.1.1.1.1.1.4.cmml" xref="A4.Ex23.m1.1.1.1.1.1.4"><csymbol cd="ambiguous" id="A4.Ex23.m1.1.1.1.1.1.4.1.cmml" xref="A4.Ex23.m1.1.1.1.1.1.4">superscript</csymbol><ci id="A4.Ex23.m1.1.1.1.1.1.4.2.cmml" xref="A4.Ex23.m1.1.1.1.1.1.4.2">𝜒</ci><cn type="integer" id="A4.Ex23.m1.1.1.1.1.1.4.3.cmml" xref="A4.Ex23.m1.1.1.1.1.1.4.3">2</cn></apply><apply id="A4.Ex23.m1.1.1.1.1.1.1.1.1.cmml" xref="A4.Ex23.m1.1.1.1.1.1.1.1"><csymbol cd="latexml" id="A4.Ex23.m1.1.1.1.1.1.1.1.1.1.cmml" xref="A4.Ex23.m1.1.1.1.1.1.1.1.1.1">conditional</csymbol><apply id="A4.Ex23.m1.1.1.1.1.1.1.1.1.2.cmml" xref="A4.Ex23.m1.1.1.1.1.1.1.1.1.2"><csymbol cd="ambiguous" id="A4.Ex23.m1.1.1.1.1.1.1.1.1.2.1.cmml" xref="A4.Ex23.m1.1.1.1.1.1.1.1.1.2">subscript</csymbol><ci id="A4.Ex23.m1.1.1.1.1.1.1.1.1.2.2.cmml" xref="A4.Ex23.m1.1.1.1.1.1.1.1.1.2.2">𝜌</ci><ci id="A4.Ex23.m1.1.1.1.1.1.1.1.1.2.3a.cmml" xref="A4.Ex23.m1.1.1.1.1.1.1.1.1.2.3"><mtext mathsize="70%" id="A4.Ex23.m1.1.1.1.1.1.1.1.1.2.3.cmml" xref="A4.Ex23.m1.1.1.1.1.1.1.1.1.2.3">data</mtext></ci></apply><apply id="A4.Ex23.m1.1.1.1.1.1.1.1.1.3.cmml" xref="A4.Ex23.m1.1.1.1.1.1.1.1.1.3"><csymbol cd="ambiguous" id="A4.Ex23.m1.1.1.1.1.1.1.1.1.3.1.cmml" xref="A4.Ex23.m1.1.1.1.1.1.1.1.1.3">subscript</csymbol><apply id="A4.Ex23.m1.1.1.1.1.1.1.1.1.3.2.cmml" xref="A4.Ex23.m1.1.1.1.1.1.1.1.1.3.2"><ci id="A4.Ex23.m1.1.1.1.1.1.1.1.1.3.2.1.cmml" xref="A4.Ex23.m1.1.1.1.1.1.1.1.1.3.2.1">⏟</ci><apply id="A4.Ex23.m1.1.1.1.1.1.1.1.1.3.2.2.cmml" xref="A4.Ex23.m1.1.1.1.1.1.1.1.1.3.2.2"><divide id="A4.Ex23.m1.1.1.1.1.1.1.1.1.3.2.2.1.cmml" xref="A4.Ex23.m1.1.1.1.1.1.1.1.1.3.2.2"></divide><apply id="A4.Ex23.m1.1.1.1.1.1.1.1.1.3.2.2.2.cmml" xref="A4.Ex23.m1.1.1.1.1.1.1.1.1.3.2.2.2"><plus id="A4.Ex23.m1.1.1.1.1.1.1.1.1.3.2.2.2.1.cmml" xref="A4.Ex23.m1.1.1.1.1.1.1.1.1.3.2.2.2.1"></plus><apply id="A4.Ex23.m1.1.1.1.1.1.1.1.1.3.2.2.2.2.cmml" xref="A4.Ex23.m1.1.1.1.1.1.1.1.1.3.2.2.2.2"><csymbol cd="ambiguous" id="A4.Ex23.m1.1.1.1.1.1.1.1.1.3.2.2.2.2.1.cmml" xref="A4.Ex23.m1.1.1.1.1.1.1.1.1.3.2.2.2.2">subscript</csymbol><ci id="A4.Ex23.m1.1.1.1.1.1.1.1.1.3.2.2.2.2.2.cmml" xref="A4.Ex23.m1.1.1.1.1.1.1.1.1.3.2.2.2.2.2">𝜌</ci><ci id="A4.Ex23.m1.1.1.1.1.1.1.1.1.3.2.2.2.2.3a.cmml" xref="A4.Ex23.m1.1.1.1.1.1.1.1.1.3.2.2.2.2.3"><mtext mathsize="70%" id="A4.Ex23.m1.1.1.1.1.1.1.1.1.3.2.2.2.2.3.cmml" xref="A4.Ex23.m1.1.1.1.1.1.1.1.1.3.2.2.2.2.3">data</mtext></ci></apply><apply id="A4.Ex23.m1.1.1.1.1.1.1.1.1.3.2.2.2.3.cmml" xref="A4.Ex23.m1.1.1.1.1.1.1.1.1.3.2.2.2.3"><csymbol cd="ambiguous" id="A4.Ex23.m1.1.1.1.1.1.1.1.1.3.2.2.2.3.1.cmml" xref="A4.Ex23.m1.1.1.1.1.1.1.1.1.3.2.2.2.3">subscript</csymbol><ci id="A4.Ex23.m1.1.1.1.1.1.1.1.1.3.2.2.2.3.2.cmml" xref="A4.Ex23.m1.1.1.1.1.1.1.1.1.3.2.2.2.3.2">𝜌</ci><ci id="A4.Ex23.m1.1.1.1.1.1.1.1.1.3.2.2.2.3.3.cmml" xref="A4.Ex23.m1.1.1.1.1.1.1.1.1.3.2.2.2.3.3">𝜃</ci></apply></apply><cn type="integer" id="A4.Ex23.m1.1.1.1.1.1.1.1.1.3.2.2.3.cmml" xref="A4.Ex23.m1.1.1.1.1.1.1.1.1.3.2.2.3">2</cn></apply></apply><apply id="A4.Ex23.m1.1.1.1.1.1.1.1.1.3.3.cmml" xref="A4.Ex23.m1.1.1.1.1.1.1.1.1.3.3"><csymbol cd="ambiguous" id="A4.Ex23.m1.1.1.1.1.1.1.1.1.3.3.1.cmml" xref="A4.Ex23.m1.1.1.1.1.1.1.1.1.3.3">subscript</csymbol><ci id="A4.Ex23.m1.1.1.1.1.1.1.1.1.3.3.2.cmml" xref="A4.Ex23.m1.1.1.1.1.1.1.1.1.3.3.2">𝜌</ci><ci id="A4.Ex23.m1.1.1.1.1.1.1.1.1.3.3.3a.cmml" xref="A4.Ex23.m1.1.1.1.1.1.1.1.1.3.3.3"><mtext mathsize="50%" id="A4.Ex23.m1.1.1.1.1.1.1.1.1.3.3.3.cmml" xref="A4.Ex23.m1.1.1.1.1.1.1.1.1.3.3.3">mix </mtext></ci></apply></apply></apply></apply><apply id="A4.Ex23.m1.8.8.8.8.7.cmml" xref="A4.Ex23.m1.8.8.8.8.7"><eq id="A4.Ex23.m1.8.8.8.8.7.8.cmml" xref="A4.Ex23.m1.8.8.8.8.7.8"></eq><csymbol cd="latexml" id="A4.Ex23.m1.8.8.8.8.7.9.cmml" xref="A4.Ex23.m1.8.8.8.8.7.9">absent</csymbol><apply id="A4.Ex23.m1.8.8.8.8.7.7.cmml" xref="A4.Ex23.m1.8.8.8.8.7.7"><apply id="A4.Ex23.m1.8.8.8.8.7.7.2.cmml" xref="A4.Ex23.m1.8.8.8.8.7.7.2"><csymbol cd="ambiguous" id="A4.Ex23.m1.8.8.8.8.7.7.2.1.cmml" xref="A4.Ex23.m1.8.8.8.8.7.7.2">subscript</csymbol><csymbol cd="latexml" id="A4.Ex23.m1.8.8.8.8.7.7.2.2.cmml" xref="A4.Ex23.m1.8.8.8.8.7.7.2.2">supremum</csymbol><ci id="A4.Ex23.m1.8.8.8.8.7.7.2.3.cmml" xref="A4.Ex23.m1.8.8.8.8.7.7.2.3">𝑟</ci></apply><apply id="A4.Ex23.m1.8.8.8.8.7.7.1.cmml" xref="A4.Ex23.m1.8.8.8.8.7.7.1"><times id="A4.Ex23.m1.8.8.8.8.7.7.1.2.cmml" xref="A4.Ex23.m1.8.8.8.8.7.7.1.2"></times><cn type="integer" id="A4.Ex23.m1.8.8.8.8.7.7.1.3.cmml" xref="A4.Ex23.m1.8.8.8.8.7.7.1.3">2</cn><apply id="A4.Ex23.m1.8.8.8.8.7.7.1.1.1.1.cmml" xref="A4.Ex23.m1.8.8.8.8.7.7.1.1.1"><minus id="A4.Ex23.m1.8.8.8.8.7.7.1.1.1.1.3.cmml" xref="A4.Ex23.m1.8.8.8.8.7.7.1.1.1.1.3"></minus><apply id="A4.Ex23.m1.8.8.8.8.7.7.1.1.1.1.1.cmml" xref="A4.Ex23.m1.8.8.8.8.7.7.1.1.1.1.1"><times id="A4.Ex23.m1.8.8.8.8.7.7.1.1.1.1.1.2.cmml" xref="A4.Ex23.m1.8.8.8.8.7.7.1.1.1.1.1.2"></times><apply id="A4.Ex23.m1.8.8.8.8.7.7.1.1.1.1.1.3.cmml" xref="A4.Ex23.m1.8.8.8.8.7.7.1.1.1.1.1.3"><csymbol cd="ambiguous" id="A4.Ex23.m1.8.8.8.8.7.7.1.1.1.1.1.3.1.cmml" xref="A4.Ex23.m1.8.8.8.8.7.7.1.1.1.1.1.3">subscript</csymbol><ci id="A4.Ex23.m1.8.8.8.8.7.7.1.1.1.1.1.3.2.cmml" xref="A4.Ex23.m1.8.8.8.8.7.7.1.1.1.1.1.3.2">𝔼</ci><apply id="A4.Ex23.m1.8.8.8.8.7.7.1.1.1.1.1.3.3.cmml" xref="A4.Ex23.m1.8.8.8.8.7.7.1.1.1.1.1.3.3"><csymbol cd="ambiguous" id="A4.Ex23.m1.8.8.8.8.7.7.1.1.1.1.1.3.3.1.cmml" xref="A4.Ex23.m1.8.8.8.8.7.7.1.1.1.1.1.3.3">subscript</csymbol><ci id="A4.Ex23.m1.8.8.8.8.7.7.1.1.1.1.1.3.3.2.cmml" xref="A4.Ex23.m1.8.8.8.8.7.7.1.1.1.1.1.3.3.2">𝜌</ci><ci id="A4.Ex23.m1.8.8.8.8.7.7.1.1.1.1.1.3.3.3a.cmml" xref="A4.Ex23.m1.8.8.8.8.7.7.1.1.1.1.1.3.3.3"><mtext mathsize="50%" id="A4.Ex23.m1.8.8.8.8.7.7.1.1.1.1.1.3.3.3.cmml" xref="A4.Ex23.m1.8.8.8.8.7.7.1.1.1.1.1.3.3.3">data</mtext></ci></apply></apply><apply id="A4.Ex23.m1.8.8.8.8.7.7.1.1.1.1.1.1.2.cmml" xref="A4.Ex23.m1.8.8.8.8.7.7.1.1.1.1.1.1.1"><csymbol cd="latexml" id="A4.Ex23.m1.8.8.8.8.7.7.1.1.1.1.1.1.2.1.cmml" xref="A4.Ex23.m1.8.8.8.8.7.7.1.1.1.1.1.1.1.2">delimited-[]</csymbol><apply id="A4.Ex23.m1.8.8.8.8.7.7.1.1.1.1.1.1.1.1.cmml" xref="A4.Ex23.m1.8.8.8.8.7.7.1.1.1.1.1.1.1.1"><times id="A4.Ex23.m1.8.8.8.8.7.7.1.1.1.1.1.1.1.1.1.cmml" xref="A4.Ex23.m1.8.8.8.8.7.7.1.1.1.1.1.1.1.1.1"></times><ci id="A4.Ex23.m1.8.8.8.8.7.7.1.1.1.1.1.1.1.1.2.cmml" xref="A4.Ex23.m1.8.8.8.8.7.7.1.1.1.1.1.1.1.1.2">𝑟</ci><interval closure="open" id="A4.Ex23.m1.8.8.8.8.7.7.1.1.1.1.1.1.1.1.3.1.cmml" xref="A4.Ex23.m1.8.8.8.8.7.7.1.1.1.1.1.1.1.1.3.2"><ci id="A4.Ex23.m1.4.4.4.4.3.3.cmml" xref="A4.Ex23.m1.4.4.4.4.3.3">𝑠</ci><ci id="A4.Ex23.m1.5.5.5.5.4.4.cmml" xref="A4.Ex23.m1.5.5.5.5.4.4">𝑎</ci></interval></apply></apply></apply><apply id="A4.Ex23.m1.8.8.8.8.7.7.1.1.1.1.2.cmml" xref="A4.Ex23.m1.8.8.8.8.7.7.1.1.1.1.2"><times id="A4.Ex23.m1.8.8.8.8.7.7.1.1.1.1.2.2.cmml" xref="A4.Ex23.m1.8.8.8.8.7.7.1.1.1.1.2.2"></times><apply id="A4.Ex23.m1.8.8.8.8.7.7.1.1.1.1.2.3.cmml" xref="A4.Ex23.m1.8.8.8.8.7.7.1.1.1.1.2.3"><csymbol cd="ambiguous" id="A4.Ex23.m1.8.8.8.8.7.7.1.1.1.1.2.3.1.cmml" xref="A4.Ex23.m1.8.8.8.8.7.7.1.1.1.1.2.3">subscript</csymbol><ci id="A4.Ex23.m1.8.8.8.8.7.7.1.1.1.1.2.3.2.cmml" xref="A4.Ex23.m1.8.8.8.8.7.7.1.1.1.1.2.3.2">𝔼</ci><apply id="A4.Ex23.m1.8.8.8.8.7.7.1.1.1.1.2.3.3.cmml" xref="A4.Ex23.m1.8.8.8.8.7.7.1.1.1.1.2.3.3"><csymbol cd="ambiguous" id="A4.Ex23.m1.8.8.8.8.7.7.1.1.1.1.2.3.3.1.cmml" xref="A4.Ex23.m1.8.8.8.8.7.7.1.1.1.1.2.3.3">subscript</csymbol><ci id="A4.Ex23.m1.8.8.8.8.7.7.1.1.1.1.2.3.3.2.cmml" xref="A4.Ex23.m1.8.8.8.8.7.7.1.1.1.1.2.3.3.2">𝜌</ci><ci id="A4.Ex23.m1.8.8.8.8.7.7.1.1.1.1.2.3.3.3a.cmml" xref="A4.Ex23.m1.8.8.8.8.7.7.1.1.1.1.2.3.3.3"><mtext mathsize="50%" id="A4.Ex23.m1.8.8.8.8.7.7.1.1.1.1.2.3.3.3.cmml" xref="A4.Ex23.m1.8.8.8.8.7.7.1.1.1.1.2.3.3.3">mix</mtext></ci></apply></apply><apply id="A4.Ex23.m1.8.8.8.8.7.7.1.1.1.1.2.1.2.cmml" xref="A4.Ex23.m1.8.8.8.8.7.7.1.1.1.1.2.1.1"><csymbol cd="latexml" id="A4.Ex23.m1.8.8.8.8.7.7.1.1.1.1.2.1.2.1.cmml" xref="A4.Ex23.m1.8.8.8.8.7.7.1.1.1.1.2.1.1.2">delimited-[]</csymbol><apply id="A4.Ex23.m1.8.8.8.8.7.7.1.1.1.1.2.1.1.1.cmml" xref="A4.Ex23.m1.8.8.8.8.7.7.1.1.1.1.2.1.1.1"><plus id="A4.Ex23.m1.8.8.8.8.7.7.1.1.1.1.2.1.1.1.1.cmml" xref="A4.Ex23.m1.8.8.8.8.7.7.1.1.1.1.2.1.1.1.1"></plus><apply id="A4.Ex23.m1.8.8.8.8.7.7.1.1.1.1.2.1.1.1.2.cmml" xref="A4.Ex23.m1.8.8.8.8.7.7.1.1.1.1.2.1.1.1.2"><times id="A4.Ex23.m1.8.8.8.8.7.7.1.1.1.1.2.1.1.1.2.1.cmml" xref="A4.Ex23.m1.8.8.8.8.7.7.1.1.1.1.2.1.1.1.2.1"></times><ci id="A4.Ex23.m1.8.8.8.8.7.7.1.1.1.1.2.1.1.1.2.2.cmml" xref="A4.Ex23.m1.8.8.8.8.7.7.1.1.1.1.2.1.1.1.2.2">𝑟</ci><interval closure="open" id="A4.Ex23.m1.8.8.8.8.7.7.1.1.1.1.2.1.1.1.2.3.1.cmml" xref="A4.Ex23.m1.8.8.8.8.7.7.1.1.1.1.2.1.1.1.2.3.2"><ci id="A4.Ex23.m1.6.6.6.6.5.5.cmml" xref="A4.Ex23.m1.6.6.6.6.5.5">𝑠</ci><ci id="A4.Ex23.m1.7.7.7.7.6.6.cmml" xref="A4.Ex23.m1.7.7.7.7.6.6">𝑎</ci></interval></apply><apply id="A4.Ex23.m1.3.3.3.3.2.2.cmml" xref="A4.Ex23.m1.3.3.3.3.2.2"><divide id="A4.Ex23.m1.3.3.3.3.2.2.3.cmml" xref="A4.Ex23.m1.3.3.3.3.2.2"></divide><apply id="A4.Ex23.m1.3.3.3.3.2.2.2.cmml" xref="A4.Ex23.m1.3.3.3.3.2.2.2"><times id="A4.Ex23.m1.3.3.3.3.2.2.2.3.cmml" xref="A4.Ex23.m1.3.3.3.3.2.2.2.3"></times><ci id="A4.Ex23.m1.3.3.3.3.2.2.2.4.cmml" xref="A4.Ex23.m1.3.3.3.3.2.2.2.4">𝑟</ci><apply id="A4.Ex23.m1.3.3.3.3.2.2.2.5.cmml" xref="A4.Ex23.m1.3.3.3.3.2.2.2.5"><csymbol cd="ambiguous" id="A4.Ex23.m1.3.3.3.3.2.2.2.5.1.cmml" xref="A4.Ex23.m1.3.3.3.3.2.2.2.5">superscript</csymbol><interval closure="open" id="A4.Ex23.m1.3.3.3.3.2.2.2.5.2.1.cmml" xref="A4.Ex23.m1.3.3.3.3.2.2.2.5.2.2"><ci id="A4.Ex23.m1.2.2.2.2.1.1.1.1.cmml" xref="A4.Ex23.m1.2.2.2.2.1.1.1.1">𝑠</ci><ci id="A4.Ex23.m1.3.3.3.3.2.2.2.2.cmml" xref="A4.Ex23.m1.3.3.3.3.2.2.2.2">𝑎</ci></interval><cn type="integer" id="A4.Ex23.m1.3.3.3.3.2.2.2.5.3.cmml" xref="A4.Ex23.m1.3.3.3.3.2.2.2.5.3">2</cn></apply></apply><cn type="integer" id="A4.Ex23.m1.3.3.3.3.2.2.4.cmml" xref="A4.Ex23.m1.3.3.3.3.2.2.4">4</cn></apply></apply></apply></apply></apply></apply></apply></apply></matrixrow><matrixrow id="A4.Ex23.m1.17.17b.cmml" xref="A4.Ex23.m1.17.17"><cerror id="A4.Ex23.m1.17.17c.cmml" xref="A4.Ex23.m1.17.17"><csymbol cd="ambiguous" id="A4.Ex23.m1.17.17d.cmml" xref="A4.Ex23.m1.17.17">missing-subexpression</csymbol></cerror><apply id="A4.Ex23.m1.17.17.17.9.9.9.1.cmml" xref="A4.Ex23.m1.17.17.17.9.9.9"><eq id="A4.Ex23.m1.17.17.17.9.9.9.1.6.cmml" xref="A4.Ex23.m1.17.17.17.9.9.9.1.6"></eq><csymbol cd="latexml" id="A4.Ex23.m1.17.17.17.9.9.9.1.7.cmml" xref="A4.Ex23.m1.17.17.17.9.9.9.1.7">absent</csymbol><apply id="A4.Ex23.m1.17.17.17.9.9.9.1.5.cmml" xref="A4.Ex23.m1.17.17.17.9.9.9.1.5"><minus id="A4.Ex23.m1.17.17.17.9.9.9.1.5.6.cmml" xref="A4.Ex23.m1.17.17.17.9.9.9.1.5.6"></minus><apply id="A4.Ex23.m1.17.17.17.9.9.9.1.1.1.cmml" xref="A4.Ex23.m1.17.17.17.9.9.9.1.1.1"><apply id="A4.Ex23.m1.17.17.17.9.9.9.1.1.1.2.cmml" xref="A4.Ex23.m1.17.17.17.9.9.9.1.1.1.2"><csymbol cd="ambiguous" id="A4.Ex23.m1.17.17.17.9.9.9.1.1.1.2.1.cmml" xref="A4.Ex23.m1.17.17.17.9.9.9.1.1.1.2">subscript</csymbol><csymbol cd="latexml" id="A4.Ex23.m1.17.17.17.9.9.9.1.1.1.2.2.cmml" xref="A4.Ex23.m1.17.17.17.9.9.9.1.1.1.2.2">supremum</csymbol><ci id="A4.Ex23.m1.17.17.17.9.9.9.1.1.1.2.3.cmml" xref="A4.Ex23.m1.17.17.17.9.9.9.1.1.1.2.3">𝑟</ci></apply><apply id="A4.Ex23.m1.17.17.17.9.9.9.1.1.1.1.cmml" xref="A4.Ex23.m1.17.17.17.9.9.9.1.1.1.1"><times id="A4.Ex23.m1.17.17.17.9.9.9.1.1.1.1.2.cmml" xref="A4.Ex23.m1.17.17.17.9.9.9.1.1.1.1.2"></times><apply id="A4.Ex23.m1.17.17.17.9.9.9.1.1.1.1.3.cmml" xref="A4.Ex23.m1.17.17.17.9.9.9.1.1.1.1.3"><csymbol cd="ambiguous" id="A4.Ex23.m1.17.17.17.9.9.9.1.1.1.1.3.1.cmml" xref="A4.Ex23.m1.17.17.17.9.9.9.1.1.1.1.3">subscript</csymbol><ci id="A4.Ex23.m1.17.17.17.9.9.9.1.1.1.1.3.2.cmml" xref="A4.Ex23.m1.17.17.17.9.9.9.1.1.1.1.3.2">𝔼</ci><apply id="A4.Ex23.m1.17.17.17.9.9.9.1.1.1.1.3.3.cmml" xref="A4.Ex23.m1.17.17.17.9.9.9.1.1.1.1.3.3"><csymbol cd="ambiguous" id="A4.Ex23.m1.17.17.17.9.9.9.1.1.1.1.3.3.1.cmml" xref="A4.Ex23.m1.17.17.17.9.9.9.1.1.1.1.3.3">subscript</csymbol><ci id="A4.Ex23.m1.17.17.17.9.9.9.1.1.1.1.3.3.2.cmml" xref="A4.Ex23.m1.17.17.17.9.9.9.1.1.1.1.3.3.2">𝜌</ci><ci id="A4.Ex23.m1.17.17.17.9.9.9.1.1.1.1.3.3.3a.cmml" xref="A4.Ex23.m1.17.17.17.9.9.9.1.1.1.1.3.3.3"><mtext mathsize="50%" id="A4.Ex23.m1.17.17.17.9.9.9.1.1.1.1.3.3.3.cmml" xref="A4.Ex23.m1.17.17.17.9.9.9.1.1.1.1.3.3.3">data</mtext></ci></apply></apply><apply id="A4.Ex23.m1.17.17.17.9.9.9.1.1.1.1.1.2.cmml" xref="A4.Ex23.m1.17.17.17.9.9.9.1.1.1.1.1.1"><csymbol cd="latexml" id="A4.Ex23.m1.17.17.17.9.9.9.1.1.1.1.1.2.1.cmml" xref="A4.Ex23.m1.17.17.17.9.9.9.1.1.1.1.1.1.2">delimited-[]</csymbol><apply id="A4.Ex23.m1.17.17.17.9.9.9.1.1.1.1.1.1.1.cmml" xref="A4.Ex23.m1.17.17.17.9.9.9.1.1.1.1.1.1.1"><times id="A4.Ex23.m1.17.17.17.9.9.9.1.1.1.1.1.1.1.1.cmml" xref="A4.Ex23.m1.17.17.17.9.9.9.1.1.1.1.1.1.1.1"></times><ci id="A4.Ex23.m1.17.17.17.9.9.9.1.1.1.1.1.1.1.2.cmml" xref="A4.Ex23.m1.17.17.17.9.9.9.1.1.1.1.1.1.1.2">𝑟</ci><interval closure="open" id="A4.Ex23.m1.17.17.17.9.9.9.1.1.1.1.1.1.1.3.1.cmml" xref="A4.Ex23.m1.17.17.17.9.9.9.1.1.1.1.1.1.1.3.2"><ci id="A4.Ex23.m1.9.9.9.1.1.1.cmml" xref="A4.Ex23.m1.9.9.9.1.1.1">𝑠</ci><ci id="A4.Ex23.m1.10.10.10.2.2.2.cmml" xref="A4.Ex23.m1.10.10.10.2.2.2">𝑎</ci></interval></apply></apply></apply></apply><apply id="A4.Ex23.m1.17.17.17.9.9.9.1.2.2.cmml" xref="A4.Ex23.m1.17.17.17.9.9.9.1.2.2"><times id="A4.Ex23.m1.17.17.17.9.9.9.1.2.2.2.cmml" xref="A4.Ex23.m1.17.17.17.9.9.9.1.2.2.2"></times><apply id="A4.Ex23.m1.17.17.17.9.9.9.1.2.2.3.cmml" xref="A4.Ex23.m1.17.17.17.9.9.9.1.2.2.3"><csymbol cd="ambiguous" id="A4.Ex23.m1.17.17.17.9.9.9.1.2.2.3.1.cmml" xref="A4.Ex23.m1.17.17.17.9.9.9.1.2.2.3">subscript</csymbol><ci id="A4.Ex23.m1.17.17.17.9.9.9.1.2.2.3.2.cmml" xref="A4.Ex23.m1.17.17.17.9.9.9.1.2.2.3.2">𝔼</ci><apply id="A4.Ex23.m1.17.17.17.9.9.9.1.2.2.3.3.cmml" xref="A4.Ex23.m1.17.17.17.9.9.9.1.2.2.3.3"><csymbol cd="ambiguous" id="A4.Ex23.m1.17.17.17.9.9.9.1.2.2.3.3.1.cmml" xref="A4.Ex23.m1.17.17.17.9.9.9.1.2.2.3.3">subscript</csymbol><ci id="A4.Ex23.m1.17.17.17.9.9.9.1.2.2.3.3.2.cmml" xref="A4.Ex23.m1.17.17.17.9.9.9.1.2.2.3.3.2">𝜌</ci><ci id="A4.Ex23.m1.17.17.17.9.9.9.1.2.2.3.3.3.cmml" xref="A4.Ex23.m1.17.17.17.9.9.9.1.2.2.3.3.3">𝜃</ci></apply></apply><apply id="A4.Ex23.m1.17.17.17.9.9.9.1.2.2.1.2.cmml" xref="A4.Ex23.m1.17.17.17.9.9.9.1.2.2.1.1"><csymbol cd="latexml" id="A4.Ex23.m1.17.17.17.9.9.9.1.2.2.1.2.1.cmml" xref="A4.Ex23.m1.17.17.17.9.9.9.1.2.2.1.1.2">delimited-[]</csymbol><apply id="A4.Ex23.m1.17.17.17.9.9.9.1.2.2.1.1.1.cmml" xref="A4.Ex23.m1.17.17.17.9.9.9.1.2.2.1.1.1"><times id="A4.Ex23.m1.17.17.17.9.9.9.1.2.2.1.1.1.1.cmml" xref="A4.Ex23.m1.17.17.17.9.9.9.1.2.2.1.1.1.1"></times><ci id="A4.Ex23.m1.17.17.17.9.9.9.1.2.2.1.1.1.2.cmml" xref="A4.Ex23.m1.17.17.17.9.9.9.1.2.2.1.1.1.2">𝑟</ci><interval closure="open" id="A4.Ex23.m1.17.17.17.9.9.9.1.2.2.1.1.1.3.1.cmml" xref="A4.Ex23.m1.17.17.17.9.9.9.1.2.2.1.1.1.3.2"><ci id="A4.Ex23.m1.11.11.11.3.3.3.cmml" xref="A4.Ex23.m1.11.11.11.3.3.3">𝑠</ci><ci id="A4.Ex23.m1.12.12.12.4.4.4.cmml" xref="A4.Ex23.m1.12.12.12.4.4.4">𝑎</ci></interval></apply></apply></apply><apply id="A4.Ex23.m1.17.17.17.9.9.9.1.3.3.cmml" xref="A4.Ex23.m1.17.17.17.9.9.9.1.3.3"><times id="A4.Ex23.m1.17.17.17.9.9.9.1.3.3.2.cmml" xref="A4.Ex23.m1.17.17.17.9.9.9.1.3.3.2"></times><ci id="A4.Ex23.m1.17.17.17.9.9.9.1.3.3.3.cmml" xref="A4.Ex23.m1.17.17.17.9.9.9.1.3.3.3">𝑐</ci><ci id="A4.Ex23.m1.17.17.17.9.9.9.1.3.3.4.cmml" xref="A4.Ex23.m1.17.17.17.9.9.9.1.3.3.4">𝛼</ci><apply id="A4.Ex23.m1.17.17.17.9.9.9.1.3.3.5.cmml" xref="A4.Ex23.m1.17.17.17.9.9.9.1.3.3.5"><csymbol cd="ambiguous" id="A4.Ex23.m1.17.17.17.9.9.9.1.3.3.5.1.cmml" xref="A4.Ex23.m1.17.17.17.9.9.9.1.3.3.5">subscript</csymbol><ci id="A4.Ex23.m1.17.17.17.9.9.9.1.3.3.5.2.cmml" xref="A4.Ex23.m1.17.17.17.9.9.9.1.3.3.5.2">𝔼</ci><apply id="A4.Ex23.m1.17.17.17.9.9.9.1.3.3.5.3.cmml" xref="A4.Ex23.m1.17.17.17.9.9.9.1.3.3.5.3"><csymbol cd="ambiguous" id="A4.Ex23.m1.17.17.17.9.9.9.1.3.3.5.3.1.cmml" xref="A4.Ex23.m1.17.17.17.9.9.9.1.3.3.5.3">subscript</csymbol><ci id="A4.Ex23.m1.17.17.17.9.9.9.1.3.3.5.3.2.cmml" xref="A4.Ex23.m1.17.17.17.9.9.9.1.3.3.5.3.2">𝜌</ci><ci id="A4.Ex23.m1.17.17.17.9.9.9.1.3.3.5.3.3a.cmml" xref="A4.Ex23.m1.17.17.17.9.9.9.1.3.3.5.3.3"><mtext mathsize="50%" id="A4.Ex23.m1.17.17.17.9.9.9.1.3.3.5.3.3.cmml" xref="A4.Ex23.m1.17.17.17.9.9.9.1.3.3.5.3.3">data</mtext></ci></apply></apply><apply id="A4.Ex23.m1.17.17.17.9.9.9.1.3.3.1.2.cmml" xref="A4.Ex23.m1.17.17.17.9.9.9.1.3.3.1.1"><csymbol cd="latexml" id="A4.Ex23.m1.17.17.17.9.9.9.1.3.3.1.2.1.cmml" xref="A4.Ex23.m1.17.17.17.9.9.9.1.3.3.1.1.2">delimited-[]</csymbol><apply id="A4.Ex23.m1.17.17.17.9.9.9.1.3.3.1.1.1.cmml" xref="A4.Ex23.m1.17.17.17.9.9.9.1.3.3.1.1.1"><times id="A4.Ex23.m1.17.17.17.9.9.9.1.3.3.1.1.1.1.cmml" xref="A4.Ex23.m1.17.17.17.9.9.9.1.3.3.1.1.1.1"></times><ci id="A4.Ex23.m1.17.17.17.9.9.9.1.3.3.1.1.1.2.cmml" xref="A4.Ex23.m1.17.17.17.9.9.9.1.3.3.1.1.1.2">𝑟</ci><apply id="A4.Ex23.m1.17.17.17.9.9.9.1.3.3.1.1.1.3.cmml" xref="A4.Ex23.m1.17.17.17.9.9.9.1.3.3.1.1.1.3"><csymbol cd="ambiguous" id="A4.Ex23.m1.17.17.17.9.9.9.1.3.3.1.1.1.3.1.cmml" xref="A4.Ex23.m1.17.17.17.9.9.9.1.3.3.1.1.1.3">superscript</csymbol><interval closure="open" id="A4.Ex23.m1.17.17.17.9.9.9.1.3.3.1.1.1.3.2.1.cmml" xref="A4.Ex23.m1.17.17.17.9.9.9.1.3.3.1.1.1.3.2.2"><ci id="A4.Ex23.m1.13.13.13.5.5.5.cmml" xref="A4.Ex23.m1.13.13.13.5.5.5">𝑠</ci><ci id="A4.Ex23.m1.14.14.14.6.6.6.cmml" xref="A4.Ex23.m1.14.14.14.6.6.6">𝑎</ci></interval><cn type="integer" id="A4.Ex23.m1.17.17.17.9.9.9.1.3.3.1.1.1.3.3.cmml" xref="A4.Ex23.m1.17.17.17.9.9.9.1.3.3.1.1.1.3.3">2</cn></apply></apply></apply></apply><apply id="A4.Ex23.m1.17.17.17.9.9.9.1.5.5.cmml" xref="A4.Ex23.m1.17.17.17.9.9.9.1.5.5"><times id="A4.Ex23.m1.17.17.17.9.9.9.1.5.5.3.cmml" xref="A4.Ex23.m1.17.17.17.9.9.9.1.5.5.3"></times><ci id="A4.Ex23.m1.17.17.17.9.9.9.1.5.5.4.cmml" xref="A4.Ex23.m1.17.17.17.9.9.9.1.5.5.4">𝑐</ci><apply id="A4.Ex23.m1.17.17.17.9.9.9.1.4.4.1.1.1.cmml" xref="A4.Ex23.m1.17.17.17.9.9.9.1.4.4.1.1"><minus id="A4.Ex23.m1.17.17.17.9.9.9.1.4.4.1.1.1.1.cmml" xref="A4.Ex23.m1.17.17.17.9.9.9.1.4.4.1.1.1.1"></minus><cn type="integer" id="A4.Ex23.m1.17.17.17.9.9.9.1.4.4.1.1.1.2.cmml" xref="A4.Ex23.m1.17.17.17.9.9.9.1.4.4.1.1.1.2">1</cn><ci id="A4.Ex23.m1.17.17.17.9.9.9.1.4.4.1.1.1.3.cmml" xref="A4.Ex23.m1.17.17.17.9.9.9.1.4.4.1.1.1.3">𝛼</ci></apply><apply id="A4.Ex23.m1.17.17.17.9.9.9.1.5.5.5.cmml" xref="A4.Ex23.m1.17.17.17.9.9.9.1.5.5.5"><csymbol cd="ambiguous" id="A4.Ex23.m1.17.17.17.9.9.9.1.5.5.5.1.cmml" xref="A4.Ex23.m1.17.17.17.9.9.9.1.5.5.5">subscript</csymbol><ci id="A4.Ex23.m1.17.17.17.9.9.9.1.5.5.5.2.cmml" xref="A4.Ex23.m1.17.17.17.9.9.9.1.5.5.5.2">𝔼</ci><apply id="A4.Ex23.m1.17.17.17.9.9.9.1.5.5.5.3.cmml" xref="A4.Ex23.m1.17.17.17.9.9.9.1.5.5.5.3"><csymbol cd="ambiguous" id="A4.Ex23.m1.17.17.17.9.9.9.1.5.5.5.3.1.cmml" xref="A4.Ex23.m1.17.17.17.9.9.9.1.5.5.5.3">subscript</csymbol><ci id="A4.Ex23.m1.17.17.17.9.9.9.1.5.5.5.3.2.cmml" xref="A4.Ex23.m1.17.17.17.9.9.9.1.5.5.5.3.2">𝜌</ci><ci id="A4.Ex23.m1.17.17.17.9.9.9.1.5.5.5.3.3.cmml" xref="A4.Ex23.m1.17.17.17.9.9.9.1.5.5.5.3.3">𝜃</ci></apply></apply><apply id="A4.Ex23.m1.17.17.17.9.9.9.1.5.5.2.2.cmml" xref="A4.Ex23.m1.17.17.17.9.9.9.1.5.5.2.1"><csymbol cd="latexml" id="A4.Ex23.m1.17.17.17.9.9.9.1.5.5.2.2.1.cmml" xref="A4.Ex23.m1.17.17.17.9.9.9.1.5.5.2.1.2">delimited-[]</csymbol><apply id="A4.Ex23.m1.17.17.17.9.9.9.1.5.5.2.1.1.cmml" xref="A4.Ex23.m1.17.17.17.9.9.9.1.5.5.2.1.1"><times id="A4.Ex23.m1.17.17.17.9.9.9.1.5.5.2.1.1.1.cmml" xref="A4.Ex23.m1.17.17.17.9.9.9.1.5.5.2.1.1.1"></times><ci id="A4.Ex23.m1.17.17.17.9.9.9.1.5.5.2.1.1.2.cmml" xref="A4.Ex23.m1.17.17.17.9.9.9.1.5.5.2.1.1.2">𝑟</ci><apply id="A4.Ex23.m1.17.17.17.9.9.9.1.5.5.2.1.1.3.cmml" xref="A4.Ex23.m1.17.17.17.9.9.9.1.5.5.2.1.1.3"><csymbol cd="ambiguous" id="A4.Ex23.m1.17.17.17.9.9.9.1.5.5.2.1.1.3.1.cmml" xref="A4.Ex23.m1.17.17.17.9.9.9.1.5.5.2.1.1.3">superscript</csymbol><interval closure="open" id="A4.Ex23.m1.17.17.17.9.9.9.1.5.5.2.1.1.3.2.1.cmml" xref="A4.Ex23.m1.17.17.17.9.9.9.1.5.5.2.1.1.3.2.2"><ci id="A4.Ex23.m1.15.15.15.7.7.7.cmml" xref="A4.Ex23.m1.15.15.15.7.7.7">𝑠</ci><ci id="A4.Ex23.m1.16.16.16.8.8.8.cmml" xref="A4.Ex23.m1.16.16.16.8.8.8">𝑎</ci></interval><cn type="integer" id="A4.Ex23.m1.17.17.17.9.9.9.1.5.5.2.1.1.3.3.cmml" xref="A4.Ex23.m1.17.17.17.9.9.9.1.5.5.2.1.1.3.3">2</cn></apply></apply></apply></apply></apply></apply></matrixrow></matrix></annotation-xml><annotation encoding="application/x-tex" id="A4.Ex23.m1.17c">\displaystyle\begin{aligned} 2\chi^{2}(\rho_{\text{data}}\|\underbrace{\frac{\rho_{\text{data}}+\rho_{\theta}}{2}}_{\rho_{\text{mix }}})&amp;=\sup_{r}2\left(\mathbb{E}_{\rho_{\text{data}}}[r(s,a)]-\mathbb{E}_{\rho_{\text{mix}}}\left[r(s,a)+\frac{r(s,a)^{2}}{4}\right]\right)\\
&amp;=\sup_{r}\mathbb{E}_{\rho_{\text{data}}}[r(s,a)]-\mathbb{E}_{\rho_{\theta}}[r(s,a)]-c\alpha\mathbb{E}_{\rho_{\text{data}}}\left[r(s,a)^{2}\right]-c(1-\alpha)\mathbb{E}_{\rho_{\theta}}\left[r(s,a)^{2}\right].\end{aligned}</annotation></semantics></math></td>
<td class="ltx_eqn_cell ltx_eqn_center_padright"></td>
</tr></tbody>
</table>
<p id="A4.SS4.p2.5" class="ltx_p">In practice, we find this method leads to better quality generations.</p>
</div>
</section>
</section>
<section id="A5" class="ltx_appendix">
<h2 class="ltx_title ltx_title_appendix">
<span class="ltx_tag ltx_tag_appendix">Appendix E </span>Additional Training Details</h2>

<section id="A5.SS1" class="ltx_subsection">
<h3 class="ltx_title ltx_title_subsection">
<span class="ltx_tag ltx_tag_subsection">E.1 </span>Hardware</h3>

<div id="A5.SS1.p1" class="ltx_para">
<p id="A5.SS1.p1.4" class="ltx_p">We train each model on four A4000 GPUs with 16GB VRAM each. We keep the batch size at 128 for all models, although we have to reduce the batch size per device and use gradient accumulation for the larger models (GPT2-medium and large). As mentioned in the main text, we keep training parameters the same as the nanoGPT implementation. For the behavioral cloning and SequenceMatch models, we add a new column to the output embedding corresponding to the <span id="A5.SS1.p1.4.1" class="ltx_text ltx_font_typewriter">&lt;backspace&gt;</span> output. For the fully trained models, we add a <span id="A5.SS1.p1.4.2" class="ltx_text ltx_font_typewriter">&lt;BOS&gt;</span> token to the start of the sequences and add a new column to the input embedding corresponding to the <span id="A5.SS1.p1.4.3" class="ltx_text ltx_font_typewriter">&lt;BOS&gt;</span> token. For the SequenceMatch models, we first train against the BC objective for 5,000 gradient steps, and then train against a convex combination of the SM loss: <math id="A5.SS1.p1.1.m1.1" class="ltx_Math" alttext="\mathcal{L}_{\text{total}}=\beta\mathcal{L}_{\text{BC}}+(1-\beta)\mathcal{L}_{\text{SM}}" display="inline"><semantics id="A5.SS1.p1.1.m1.1a"><mrow id="A5.SS1.p1.1.m1.1.1" xref="A5.SS1.p1.1.m1.1.1.cmml"><msub id="A5.SS1.p1.1.m1.1.1.3" xref="A5.SS1.p1.1.m1.1.1.3.cmml"><mi class="ltx_font_mathcaligraphic" id="A5.SS1.p1.1.m1.1.1.3.2" xref="A5.SS1.p1.1.m1.1.1.3.2.cmml">ℒ</mi><mtext id="A5.SS1.p1.1.m1.1.1.3.3" xref="A5.SS1.p1.1.m1.1.1.3.3a.cmml">total</mtext></msub><mo id="A5.SS1.p1.1.m1.1.1.2" xref="A5.SS1.p1.1.m1.1.1.2.cmml">=</mo><mrow id="A5.SS1.p1.1.m1.1.1.1" xref="A5.SS1.p1.1.m1.1.1.1.cmml"><mrow id="A5.SS1.p1.1.m1.1.1.1.3" xref="A5.SS1.p1.1.m1.1.1.1.3.cmml"><mi id="A5.SS1.p1.1.m1.1.1.1.3.2" xref="A5.SS1.p1.1.m1.1.1.1.3.2.cmml">β</mi><mo lspace="0em" rspace="0em" id="A5.SS1.p1.1.m1.1.1.1.3.1" xref="A5.SS1.p1.1.m1.1.1.1.3.1.cmml">​</mo><msub id="A5.SS1.p1.1.m1.1.1.1.3.3" xref="A5.SS1.p1.1.m1.1.1.1.3.3.cmml"><mi class="ltx_font_mathcaligraphic" id="A5.SS1.p1.1.m1.1.1.1.3.3.2" xref="A5.SS1.p1.1.m1.1.1.1.3.3.2.cmml">ℒ</mi><mtext id="A5.SS1.p1.1.m1.1.1.1.3.3.3" xref="A5.SS1.p1.1.m1.1.1.1.3.3.3a.cmml">BC</mtext></msub></mrow><mo id="A5.SS1.p1.1.m1.1.1.1.2" xref="A5.SS1.p1.1.m1.1.1.1.2.cmml">+</mo><mrow id="A5.SS1.p1.1.m1.1.1.1.1" xref="A5.SS1.p1.1.m1.1.1.1.1.cmml"><mrow id="A5.SS1.p1.1.m1.1.1.1.1.1.1" xref="A5.SS1.p1.1.m1.1.1.1.1.1.1.1.cmml"><mo stretchy="false" id="A5.SS1.p1.1.m1.1.1.1.1.1.1.2" xref="A5.SS1.p1.1.m1.1.1.1.1.1.1.1.cmml">(</mo><mrow id="A5.SS1.p1.1.m1.1.1.1.1.1.1.1" xref="A5.SS1.p1.1.m1.1.1.1.1.1.1.1.cmml"><mn id="A5.SS1.p1.1.m1.1.1.1.1.1.1.1.2" xref="A5.SS1.p1.1.m1.1.1.1.1.1.1.1.2.cmml">1</mn><mo id="A5.SS1.p1.1.m1.1.1.1.1.1.1.1.1" xref="A5.SS1.p1.1.m1.1.1.1.1.1.1.1.1.cmml">−</mo><mi id="A5.SS1.p1.1.m1.1.1.1.1.1.1.1.3" xref="A5.SS1.p1.1.m1.1.1.1.1.1.1.1.3.cmml">β</mi></mrow><mo stretchy="false" id="A5.SS1.p1.1.m1.1.1.1.1.1.1.3" xref="A5.SS1.p1.1.m1.1.1.1.1.1.1.1.cmml">)</mo></mrow><mo lspace="0em" rspace="0em" id="A5.SS1.p1.1.m1.1.1.1.1.2" xref="A5.SS1.p1.1.m1.1.1.1.1.2.cmml">​</mo><msub id="A5.SS1.p1.1.m1.1.1.1.1.3" xref="A5.SS1.p1.1.m1.1.1.1.1.3.cmml"><mi class="ltx_font_mathcaligraphic" id="A5.SS1.p1.1.m1.1.1.1.1.3.2" xref="A5.SS1.p1.1.m1.1.1.1.1.3.2.cmml">ℒ</mi><mtext id="A5.SS1.p1.1.m1.1.1.1.1.3.3" xref="A5.SS1.p1.1.m1.1.1.1.1.3.3a.cmml">SM</mtext></msub></mrow></mrow></mrow><annotation-xml encoding="MathML-Content" id="A5.SS1.p1.1.m1.1b"><apply id="A5.SS1.p1.1.m1.1.1.cmml" xref="A5.SS1.p1.1.m1.1.1"><eq id="A5.SS1.p1.1.m1.1.1.2.cmml" xref="A5.SS1.p1.1.m1.1.1.2"></eq><apply id="A5.SS1.p1.1.m1.1.1.3.cmml" xref="A5.SS1.p1.1.m1.1.1.3"><csymbol cd="ambiguous" id="A5.SS1.p1.1.m1.1.1.3.1.cmml" xref="A5.SS1.p1.1.m1.1.1.3">subscript</csymbol><ci id="A5.SS1.p1.1.m1.1.1.3.2.cmml" xref="A5.SS1.p1.1.m1.1.1.3.2">ℒ</ci><ci id="A5.SS1.p1.1.m1.1.1.3.3a.cmml" xref="A5.SS1.p1.1.m1.1.1.3.3"><mtext mathsize="70%" id="A5.SS1.p1.1.m1.1.1.3.3.cmml" xref="A5.SS1.p1.1.m1.1.1.3.3">total</mtext></ci></apply><apply id="A5.SS1.p1.1.m1.1.1.1.cmml" xref="A5.SS1.p1.1.m1.1.1.1"><plus id="A5.SS1.p1.1.m1.1.1.1.2.cmml" xref="A5.SS1.p1.1.m1.1.1.1.2"></plus><apply id="A5.SS1.p1.1.m1.1.1.1.3.cmml" xref="A5.SS1.p1.1.m1.1.1.1.3"><times id="A5.SS1.p1.1.m1.1.1.1.3.1.cmml" xref="A5.SS1.p1.1.m1.1.1.1.3.1"></times><ci id="A5.SS1.p1.1.m1.1.1.1.3.2.cmml" xref="A5.SS1.p1.1.m1.1.1.1.3.2">𝛽</ci><apply id="A5.SS1.p1.1.m1.1.1.1.3.3.cmml" xref="A5.SS1.p1.1.m1.1.1.1.3.3"><csymbol cd="ambiguous" id="A5.SS1.p1.1.m1.1.1.1.3.3.1.cmml" xref="A5.SS1.p1.1.m1.1.1.1.3.3">subscript</csymbol><ci id="A5.SS1.p1.1.m1.1.1.1.3.3.2.cmml" xref="A5.SS1.p1.1.m1.1.1.1.3.3.2">ℒ</ci><ci id="A5.SS1.p1.1.m1.1.1.1.3.3.3a.cmml" xref="A5.SS1.p1.1.m1.1.1.1.3.3.3"><mtext mathsize="70%" id="A5.SS1.p1.1.m1.1.1.1.3.3.3.cmml" xref="A5.SS1.p1.1.m1.1.1.1.3.3.3">BC</mtext></ci></apply></apply><apply id="A5.SS1.p1.1.m1.1.1.1.1.cmml" xref="A5.SS1.p1.1.m1.1.1.1.1"><times id="A5.SS1.p1.1.m1.1.1.1.1.2.cmml" xref="A5.SS1.p1.1.m1.1.1.1.1.2"></times><apply id="A5.SS1.p1.1.m1.1.1.1.1.1.1.1.cmml" xref="A5.SS1.p1.1.m1.1.1.1.1.1.1"><minus id="A5.SS1.p1.1.m1.1.1.1.1.1.1.1.1.cmml" xref="A5.SS1.p1.1.m1.1.1.1.1.1.1.1.1"></minus><cn type="integer" id="A5.SS1.p1.1.m1.1.1.1.1.1.1.1.2.cmml" xref="A5.SS1.p1.1.m1.1.1.1.1.1.1.1.2">1</cn><ci id="A5.SS1.p1.1.m1.1.1.1.1.1.1.1.3.cmml" xref="A5.SS1.p1.1.m1.1.1.1.1.1.1.1.3">𝛽</ci></apply><apply id="A5.SS1.p1.1.m1.1.1.1.1.3.cmml" xref="A5.SS1.p1.1.m1.1.1.1.1.3"><csymbol cd="ambiguous" id="A5.SS1.p1.1.m1.1.1.1.1.3.1.cmml" xref="A5.SS1.p1.1.m1.1.1.1.1.3">subscript</csymbol><ci id="A5.SS1.p1.1.m1.1.1.1.1.3.2.cmml" xref="A5.SS1.p1.1.m1.1.1.1.1.3.2">ℒ</ci><ci id="A5.SS1.p1.1.m1.1.1.1.1.3.3a.cmml" xref="A5.SS1.p1.1.m1.1.1.1.1.3.3"><mtext mathsize="70%" id="A5.SS1.p1.1.m1.1.1.1.1.3.3.cmml" xref="A5.SS1.p1.1.m1.1.1.1.1.3.3">SM</mtext></ci></apply></apply></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="A5.SS1.p1.1.m1.1c">\mathcal{L}_{\text{total}}=\beta\mathcal{L}_{\text{BC}}+(1-\beta)\mathcal{L}_{\text{SM}}</annotation></semantics></math>, where <math id="A5.SS1.p1.2.m2.1" class="ltx_Math" alttext="\beta" display="inline"><semantics id="A5.SS1.p1.2.m2.1a"><mi id="A5.SS1.p1.2.m2.1.1" xref="A5.SS1.p1.2.m2.1.1.cmml">β</mi><annotation-xml encoding="MathML-Content" id="A5.SS1.p1.2.m2.1b"><ci id="A5.SS1.p1.2.m2.1.1.cmml" xref="A5.SS1.p1.2.m2.1.1">𝛽</ci></annotation-xml><annotation encoding="application/x-tex" id="A5.SS1.p1.2.m2.1c">\beta</annotation></semantics></math> is annealed from <math id="A5.SS1.p1.3.m3.1" class="ltx_Math" alttext="1" display="inline"><semantics id="A5.SS1.p1.3.m3.1a"><mn id="A5.SS1.p1.3.m3.1.1" xref="A5.SS1.p1.3.m3.1.1.cmml">1</mn><annotation-xml encoding="MathML-Content" id="A5.SS1.p1.3.m3.1b"><cn type="integer" id="A5.SS1.p1.3.m3.1.1.cmml" xref="A5.SS1.p1.3.m3.1.1">1</cn></annotation-xml><annotation encoding="application/x-tex" id="A5.SS1.p1.3.m3.1c">1</annotation></semantics></math> to <math id="A5.SS1.p1.4.m4.1" class="ltx_Math" alttext="0.2" display="inline"><semantics id="A5.SS1.p1.4.m4.1a"><mn id="A5.SS1.p1.4.m4.1.1" xref="A5.SS1.p1.4.m4.1.1.cmml">0.2</mn><annotation-xml encoding="MathML-Content" id="A5.SS1.p1.4.m4.1b"><cn type="float" id="A5.SS1.p1.4.m4.1.1.cmml" xref="A5.SS1.p1.4.m4.1.1">0.2</cn></annotation-xml><annotation encoding="application/x-tex" id="A5.SS1.p1.4.m4.1c">0.2</annotation></semantics></math> linearly from 5,000 to 10,000 gradient steps. For the full training, we freeze all layers of the model except the output embedding for training steps 0 to 1000, then linearly unfreeze them for steps 1000 to 2000. We use a learning rate scheme consisting of a linear warmup from 0 to 2000 steps, followed by cosine decay. For the extra logits offset head, we use a two-layer MLP with ReLU nonlinearities and hidden size equal to one-quarter of the embedding size. The inputs to the layer are the position embeddings, the hidden values at the current position, the position id as an integer, and a Fourier embedding of the input position <cite class="ltx_cite ltx_citemacro_citep">[<a href="#bib.bib31" title="" class="ltx_ref">31</a>]</cite>. The output of the layer is added directly to the logits.</p>
</div>
<div id="A5.SS1.p2" class="ltx_para">
<p id="A5.SS1.p2.1" class="ltx_p">For SequenceMatch, we keep a replay buffer of past generated sequences. The replay buffer is first-in-last-out, with the oldest sequences being replaced once the size of the buffer is reached. The size of the replay buffer is 10,000.
We specify how many times each sequence in the replay buffer will appear in the training data before it is replaced (on average), and from that calculate how frequently a generation step must take place during training. We set the times each sequence will be seen in training to 8.
The lengths of the prompts for the generated sequences used in training are randomized, chosen randomly from zero to half the context length. The completion is always set to continue up to the context length or <span id="A5.SS1.p2.1.1" class="ltx_text ltx_font_typewriter">&lt;EOS&gt;</span> token.</p>
</div>
<div id="A5.SS1.p3" class="ltx_para">
<p id="A5.SS1.p3.1" class="ltx_p">For the evaluation, we set the prompt length to be half the context length. We then generate sequences of length 256, for both the context length 512 and 1024. For the generation, we set the temperature to 1 and the top-p sampling to 1. However, for the increased length of the 1024 context length, we set the top-p parameter to 0.95. We use the default settings to evaluate the mauve score with 512 samples.</p>
</div>
</section>
</section>
<section id="A6" class="ltx_appendix">
<h2 class="ltx_title ltx_title_appendix">
<span class="ltx_tag ltx_tag_appendix">Appendix F </span>Additional Plots</h2>

<figure id="A6.F4" class="ltx_figure"><img src="/html/2306.05426/assets/x4.png" id="A6.F4.g1" class="ltx_graphics ltx_centering ltx_img_landscape" width="438" height="146" alt="Refer to caption">
<figcaption class="ltx_caption ltx_centering"><span class="ltx_tag ltx_tag_figure">Figure 4: </span>Diversity score <cite class="ltx_cite ltx_citemacro_citep">[<a href="#bib.bib17" title="" class="ltx_ref">17</a>]</cite> when fine-tuning GPT2 of various sizes on the openwebtext dataset with context length 512. Higher is better. Full and LM Head refer to which parts of the pretrained model are trained. We see that SequenceMatch outperforms behavioral cloning and MLE for a fixed model size. However, the fully trained models obtain lower scores than the variant only training the head.</figcaption>
</figure>
<div id="A6.p1" class="ltx_para">
<p id="A6.p1.1" class="ltx_p">In figure <a href="#A6.F4" title="Figure 4 ‣ Appendix F Additional Plots ‣ SequenceMatch: Imitation Learning for Autoregressive Sequence Modelling with Backtracking" class="ltx_ref"><span class="ltx_text ltx_ref_tag">4</span></a> we show the results for the diversity metric from <cite class="ltx_cite ltx_citemacro_citep">[<a href="#bib.bib17" title="" class="ltx_ref">17</a>]</cite>. We see that for a fixed model size and type, the SequenceMatch models outperform the behavioral cloning and MLE baselines. A somewhat anomalous result is that the diversity is higher for the LM Head models, and fairly uniformly decreases as we increase the size of the models. This might indicate undertraining of the full models.</p>
</div>
</section>
<section id="A7" class="ltx_appendix">
<h2 class="ltx_title ltx_title_appendix">
<span class="ltx_tag ltx_tag_appendix">Appendix G </span>Overhead</h2>

<div id="A7.p1" class="ltx_para">
<p id="A7.p1.1" class="ltx_p">In this section we discuss the relative overhead of using the SequenceMatch training objective. We have additional overhead due to the necessity of sampling completions from the model. In addition, the actual loss has some additional complexity compared to the typical MLE loss, as we must extract the terminal values and compute a telescoping sum. Additionally, due to the fact that we use a batch of masks with a complex masking patterns, some GPU kernels that are specialized for causal masking cannot be utilized. However, we note that it’s not necessary to sample at every gradient step, since we can accumulate old trajectories in a replay buffer and re-use them. Furthermore, we can typically sample using a higher batch size than the gradient step batch size, so requiring fewer sampling steps per gradient step. In table <a href="#A7.T2" title="Table 2 ‣ Appendix G Overhead ‣ SequenceMatch: Imitation Learning for Autoregressive Sequence Modelling with Backtracking" class="ltx_ref"><span class="ltx_text ltx_ref_tag">2</span></a> we show the breakdown of times necessary for a gradient step for each method. We see that the loss computation and gradient step typically takes around twice as long for the SequenceMatch objective than the MLE objective, due to the additional computation specified above. The sampling adds additional overhead. We note that the bottleneck from sampling could in principle be completely removed by adding a separate set of GPUs which independently generate sequences given the latest parameters and write to a buffer which is polled by the main training thread. Due to time constraints and the additional complexity of synchronizing separate processes, we did not implement this additional distributed training approach.</p>
</div>
<figure id="A7.T2" class="ltx_table">
<table id="A7.T2.14" class="ltx_tabular ltx_align_middle">
<tr id="A7.T2.14.15" class="ltx_tr">
<td id="A7.T2.14.15.1" class="ltx_td"></td>
<td id="A7.T2.14.15.2" class="ltx_td ltx_align_left"><span id="A7.T2.14.15.2.1" class="ltx_text" style="font-size:90%;">Fetch, Process Batch</span></td>
<td id="A7.T2.14.15.3" class="ltx_td ltx_align_left"><span id="A7.T2.14.15.3.1" class="ltx_text" style="font-size:90%;">Grad. Step</span></td>
<td id="A7.T2.14.15.4" class="ltx_td ltx_align_left"><span id="A7.T2.14.15.4.1" class="ltx_text" style="font-size:90%;">Sample Raw</span></td>
<td id="A7.T2.14.15.5" class="ltx_td ltx_align_left"><span id="A7.T2.14.15.5.1" class="ltx_text" style="font-size:90%;">Grad. steps per Sample</span></td>
<td id="A7.T2.14.15.6" class="ltx_td ltx_align_left"><span id="A7.T2.14.15.6.1" class="ltx_text" style="font-size:90%;">Total</span></td>
</tr>
<tr id="A7.T2.4.4" class="ltx_tr">
<td id="A7.T2.4.4.5" class="ltx_td ltx_align_left"><span id="A7.T2.4.4.5.1" class="ltx_text" style="font-size:90%;">SM-(Small, Full)</span></td>
<td id="A7.T2.1.1.1" class="ltx_td ltx_align_left ltx_border_t">
<span id="A7.T2.1.1.1.1" class="ltx_text" style="font-size:90%;">0.3</span><math id="A7.T2.1.1.1.m1.1" class="ltx_Math" alttext="\pm" display="inline"><semantics id="A7.T2.1.1.1.m1.1a"><mo mathsize="90%" id="A7.T2.1.1.1.m1.1.1" xref="A7.T2.1.1.1.m1.1.1.cmml">±</mo><annotation-xml encoding="MathML-Content" id="A7.T2.1.1.1.m1.1b"><csymbol cd="latexml" id="A7.T2.1.1.1.m1.1.1.cmml" xref="A7.T2.1.1.1.m1.1.1">plus-or-minus</csymbol></annotation-xml><annotation encoding="application/x-tex" id="A7.T2.1.1.1.m1.1c">\pm</annotation></semantics></math><span id="A7.T2.1.1.1.2" class="ltx_text" style="font-size:90%;">0.05</span>
</td>
<td id="A7.T2.2.2.2" class="ltx_td ltx_align_left ltx_border_t">
<span id="A7.T2.2.2.2.1" class="ltx_text" style="font-size:90%;">2.2</span><math id="A7.T2.2.2.2.m1.1" class="ltx_Math" alttext="\pm" display="inline"><semantics id="A7.T2.2.2.2.m1.1a"><mo mathsize="90%" id="A7.T2.2.2.2.m1.1.1" xref="A7.T2.2.2.2.m1.1.1.cmml">±</mo><annotation-xml encoding="MathML-Content" id="A7.T2.2.2.2.m1.1b"><csymbol cd="latexml" id="A7.T2.2.2.2.m1.1.1.cmml" xref="A7.T2.2.2.2.m1.1.1">plus-or-minus</csymbol></annotation-xml><annotation encoding="application/x-tex" id="A7.T2.2.2.2.m1.1c">\pm</annotation></semantics></math><span id="A7.T2.2.2.2.2" class="ltx_text" style="font-size:90%;">0.02</span>
</td>
<td id="A7.T2.3.3.3" class="ltx_td ltx_align_left ltx_border_t">
<span id="A7.T2.3.3.3.1" class="ltx_text" style="font-size:90%;">10 </span><math id="A7.T2.3.3.3.m1.1" class="ltx_Math" alttext="\pm" display="inline"><semantics id="A7.T2.3.3.3.m1.1a"><mo mathsize="90%" id="A7.T2.3.3.3.m1.1.1" xref="A7.T2.3.3.3.m1.1.1.cmml">±</mo><annotation-xml encoding="MathML-Content" id="A7.T2.3.3.3.m1.1b"><csymbol cd="latexml" id="A7.T2.3.3.3.m1.1.1.cmml" xref="A7.T2.3.3.3.m1.1.1">plus-or-minus</csymbol></annotation-xml><annotation encoding="application/x-tex" id="A7.T2.3.3.3.m1.1c">\pm</annotation></semantics></math><span id="A7.T2.3.3.3.2" class="ltx_text" style="font-size:90%;"> 2</span>
</td>
<td id="A7.T2.4.4.6" class="ltx_td ltx_align_left ltx_border_t"><span id="A7.T2.4.4.6.1" class="ltx_text" style="font-size:90%;">16</span></td>
<td id="A7.T2.4.4.4" class="ltx_td ltx_align_left ltx_border_t">
<span id="A7.T2.4.4.4.1" class="ltx_text" style="font-size:90%;">3.1 </span><math id="A7.T2.4.4.4.m1.1" class="ltx_Math" alttext="\pm" display="inline"><semantics id="A7.T2.4.4.4.m1.1a"><mo mathsize="90%" id="A7.T2.4.4.4.m1.1.1" xref="A7.T2.4.4.4.m1.1.1.cmml">±</mo><annotation-xml encoding="MathML-Content" id="A7.T2.4.4.4.m1.1b"><csymbol cd="latexml" id="A7.T2.4.4.4.m1.1.1.cmml" xref="A7.T2.4.4.4.m1.1.1">plus-or-minus</csymbol></annotation-xml><annotation encoding="application/x-tex" id="A7.T2.4.4.4.m1.1c">\pm</annotation></semantics></math><span id="A7.T2.4.4.4.2" class="ltx_text" style="font-size:90%;"> 0.5</span>
</td>
</tr>
<tr id="A7.T2.7.7" class="ltx_tr">
<td id="A7.T2.7.7.4" class="ltx_td ltx_align_left"><span id="A7.T2.7.7.4.1" class="ltx_text" style="font-size:90%;">MLE-(Small, Full)</span></td>
<td id="A7.T2.5.5.1" class="ltx_td ltx_align_left">
<span id="A7.T2.5.5.1.1" class="ltx_text" style="font-size:90%;">0.25</span><math id="A7.T2.5.5.1.m1.1" class="ltx_Math" alttext="\pm" display="inline"><semantics id="A7.T2.5.5.1.m1.1a"><mo mathsize="90%" id="A7.T2.5.5.1.m1.1.1" xref="A7.T2.5.5.1.m1.1.1.cmml">±</mo><annotation-xml encoding="MathML-Content" id="A7.T2.5.5.1.m1.1b"><csymbol cd="latexml" id="A7.T2.5.5.1.m1.1.1.cmml" xref="A7.T2.5.5.1.m1.1.1">plus-or-minus</csymbol></annotation-xml><annotation encoding="application/x-tex" id="A7.T2.5.5.1.m1.1c">\pm</annotation></semantics></math><span id="A7.T2.5.5.1.2" class="ltx_text" style="font-size:90%;"> 0.05</span>
</td>
<td id="A7.T2.6.6.2" class="ltx_td ltx_align_left">
<span id="A7.T2.6.6.2.1" class="ltx_text" style="font-size:90%;">1.2 </span><math id="A7.T2.6.6.2.m1.1" class="ltx_Math" alttext="\pm" display="inline"><semantics id="A7.T2.6.6.2.m1.1a"><mo mathsize="90%" id="A7.T2.6.6.2.m1.1.1" xref="A7.T2.6.6.2.m1.1.1.cmml">±</mo><annotation-xml encoding="MathML-Content" id="A7.T2.6.6.2.m1.1b"><csymbol cd="latexml" id="A7.T2.6.6.2.m1.1.1.cmml" xref="A7.T2.6.6.2.m1.1.1">plus-or-minus</csymbol></annotation-xml><annotation encoding="application/x-tex" id="A7.T2.6.6.2.m1.1c">\pm</annotation></semantics></math><span id="A7.T2.6.6.2.2" class="ltx_text" style="font-size:90%;"> 0.1</span>
</td>
<td id="A7.T2.7.7.5" class="ltx_td ltx_align_left"><span id="A7.T2.7.7.5.1" class="ltx_text" style="font-size:90%;">N/A</span></td>
<td id="A7.T2.7.7.6" class="ltx_td ltx_align_left"><span id="A7.T2.7.7.6.1" class="ltx_text" style="font-size:90%;">N/A</span></td>
<td id="A7.T2.7.7.3" class="ltx_td ltx_align_left">
<span id="A7.T2.7.7.3.1" class="ltx_text" style="font-size:90%;">1.45 </span><math id="A7.T2.7.7.3.m1.1" class="ltx_Math" alttext="\pm" display="inline"><semantics id="A7.T2.7.7.3.m1.1a"><mo mathsize="90%" id="A7.T2.7.7.3.m1.1.1" xref="A7.T2.7.7.3.m1.1.1.cmml">±</mo><annotation-xml encoding="MathML-Content" id="A7.T2.7.7.3.m1.1b"><csymbol cd="latexml" id="A7.T2.7.7.3.m1.1.1.cmml" xref="A7.T2.7.7.3.m1.1.1">plus-or-minus</csymbol></annotation-xml><annotation encoding="application/x-tex" id="A7.T2.7.7.3.m1.1c">\pm</annotation></semantics></math><span id="A7.T2.7.7.3.2" class="ltx_text" style="font-size:90%;"> 0.15</span>
</td>
</tr>
<tr id="A7.T2.11.11" class="ltx_tr">
<td id="A7.T2.11.11.5" class="ltx_td ltx_align_left"><span id="A7.T2.11.11.5.1" class="ltx_text" style="font-size:90%;">SM-(Large, LM Head)</span></td>
<td id="A7.T2.8.8.1" class="ltx_td ltx_align_left ltx_border_t">
<span id="A7.T2.8.8.1.1" class="ltx_text" style="font-size:90%;">0.3</span><math id="A7.T2.8.8.1.m1.1" class="ltx_Math" alttext="\pm" display="inline"><semantics id="A7.T2.8.8.1.m1.1a"><mo mathsize="90%" id="A7.T2.8.8.1.m1.1.1" xref="A7.T2.8.8.1.m1.1.1.cmml">±</mo><annotation-xml encoding="MathML-Content" id="A7.T2.8.8.1.m1.1b"><csymbol cd="latexml" id="A7.T2.8.8.1.m1.1.1.cmml" xref="A7.T2.8.8.1.m1.1.1">plus-or-minus</csymbol></annotation-xml><annotation encoding="application/x-tex" id="A7.T2.8.8.1.m1.1c">\pm</annotation></semantics></math><span id="A7.T2.8.8.1.2" class="ltx_text" style="font-size:90%;">0.05</span>
</td>
<td id="A7.T2.9.9.2" class="ltx_td ltx_align_left ltx_border_t">
<span id="A7.T2.9.9.2.1" class="ltx_text" style="font-size:90%;">4.9</span><math id="A7.T2.9.9.2.m1.1" class="ltx_Math" alttext="\pm" display="inline"><semantics id="A7.T2.9.9.2.m1.1a"><mo mathsize="90%" id="A7.T2.9.9.2.m1.1.1" xref="A7.T2.9.9.2.m1.1.1.cmml">±</mo><annotation-xml encoding="MathML-Content" id="A7.T2.9.9.2.m1.1b"><csymbol cd="latexml" id="A7.T2.9.9.2.m1.1.1.cmml" xref="A7.T2.9.9.2.m1.1.1">plus-or-minus</csymbol></annotation-xml><annotation encoding="application/x-tex" id="A7.T2.9.9.2.m1.1c">\pm</annotation></semantics></math><span id="A7.T2.9.9.2.2" class="ltx_text" style="font-size:90%;">0.1</span>
</td>
<td id="A7.T2.10.10.3" class="ltx_td ltx_align_left ltx_border_t">
<span id="A7.T2.10.10.3.1" class="ltx_text" style="font-size:90%;">33 </span><math id="A7.T2.10.10.3.m1.1" class="ltx_Math" alttext="\pm" display="inline"><semantics id="A7.T2.10.10.3.m1.1a"><mo mathsize="90%" id="A7.T2.10.10.3.m1.1.1" xref="A7.T2.10.10.3.m1.1.1.cmml">±</mo><annotation-xml encoding="MathML-Content" id="A7.T2.10.10.3.m1.1b"><csymbol cd="latexml" id="A7.T2.10.10.3.m1.1.1.cmml" xref="A7.T2.10.10.3.m1.1.1">plus-or-minus</csymbol></annotation-xml><annotation encoding="application/x-tex" id="A7.T2.10.10.3.m1.1c">\pm</annotation></semantics></math><span id="A7.T2.10.10.3.2" class="ltx_text" style="font-size:90%;"> 5</span>
</td>
<td id="A7.T2.11.11.6" class="ltx_td ltx_align_left ltx_border_t"><span id="A7.T2.11.11.6.1" class="ltx_text" style="font-size:90%;">12</span></td>
<td id="A7.T2.11.11.4" class="ltx_td ltx_align_left ltx_border_t">
<span id="A7.T2.11.11.4.1" class="ltx_text" style="font-size:90%;">7.95 </span><math id="A7.T2.11.11.4.m1.1" class="ltx_Math" alttext="\pm" display="inline"><semantics id="A7.T2.11.11.4.m1.1a"><mo mathsize="90%" id="A7.T2.11.11.4.m1.1.1" xref="A7.T2.11.11.4.m1.1.1.cmml">±</mo><annotation-xml encoding="MathML-Content" id="A7.T2.11.11.4.m1.1b"><csymbol cd="latexml" id="A7.T2.11.11.4.m1.1.1.cmml" xref="A7.T2.11.11.4.m1.1.1">plus-or-minus</csymbol></annotation-xml><annotation encoding="application/x-tex" id="A7.T2.11.11.4.m1.1c">\pm</annotation></semantics></math><span id="A7.T2.11.11.4.2" class="ltx_text" style="font-size:90%;"> 0.7</span>
</td>
</tr>
<tr id="A7.T2.14.14" class="ltx_tr">
<td id="A7.T2.14.14.4" class="ltx_td ltx_align_left"><span id="A7.T2.14.14.4.1" class="ltx_text" style="font-size:90%;">MLE-(Large, LM Head)</span></td>
<td id="A7.T2.12.12.1" class="ltx_td ltx_align_left">
<span id="A7.T2.12.12.1.1" class="ltx_text" style="font-size:90%;">0.25</span><math id="A7.T2.12.12.1.m1.1" class="ltx_Math" alttext="\pm" display="inline"><semantics id="A7.T2.12.12.1.m1.1a"><mo mathsize="90%" id="A7.T2.12.12.1.m1.1.1" xref="A7.T2.12.12.1.m1.1.1.cmml">±</mo><annotation-xml encoding="MathML-Content" id="A7.T2.12.12.1.m1.1b"><csymbol cd="latexml" id="A7.T2.12.12.1.m1.1.1.cmml" xref="A7.T2.12.12.1.m1.1.1">plus-or-minus</csymbol></annotation-xml><annotation encoding="application/x-tex" id="A7.T2.12.12.1.m1.1c">\pm</annotation></semantics></math><span id="A7.T2.12.12.1.2" class="ltx_text" style="font-size:90%;">0.05</span>
</td>
<td id="A7.T2.13.13.2" class="ltx_td ltx_align_left">
<span id="A7.T2.13.13.2.1" class="ltx_text" style="font-size:90%;">2.2</span><math id="A7.T2.13.13.2.m1.1" class="ltx_Math" alttext="\pm" display="inline"><semantics id="A7.T2.13.13.2.m1.1a"><mo mathsize="90%" id="A7.T2.13.13.2.m1.1.1" xref="A7.T2.13.13.2.m1.1.1.cmml">±</mo><annotation-xml encoding="MathML-Content" id="A7.T2.13.13.2.m1.1b"><csymbol cd="latexml" id="A7.T2.13.13.2.m1.1.1.cmml" xref="A7.T2.13.13.2.m1.1.1">plus-or-minus</csymbol></annotation-xml><annotation encoding="application/x-tex" id="A7.T2.13.13.2.m1.1c">\pm</annotation></semantics></math><span id="A7.T2.13.13.2.2" class="ltx_text" style="font-size:90%;">0.1</span>
</td>
<td id="A7.T2.14.14.5" class="ltx_td ltx_align_left"><span id="A7.T2.14.14.5.1" class="ltx_text" style="font-size:90%;">N/A</span></td>
<td id="A7.T2.14.14.6" class="ltx_td ltx_align_left"><span id="A7.T2.14.14.6.1" class="ltx_text" style="font-size:90%;">N/A</span></td>
<td id="A7.T2.14.14.3" class="ltx_td ltx_align_left">
<span id="A7.T2.14.14.3.1" class="ltx_text" style="font-size:90%;">2.45 </span><math id="A7.T2.14.14.3.m1.1" class="ltx_Math" alttext="\pm" display="inline"><semantics id="A7.T2.14.14.3.m1.1a"><mo mathsize="90%" id="A7.T2.14.14.3.m1.1.1" xref="A7.T2.14.14.3.m1.1.1.cmml">±</mo><annotation-xml encoding="MathML-Content" id="A7.T2.14.14.3.m1.1b"><csymbol cd="latexml" id="A7.T2.14.14.3.m1.1.1.cmml" xref="A7.T2.14.14.3.m1.1.1">plus-or-minus</csymbol></annotation-xml><annotation encoding="application/x-tex" id="A7.T2.14.14.3.m1.1c">\pm</annotation></semantics></math><span id="A7.T2.14.14.3.2" class="ltx_text" style="font-size:90%;"> 0.15</span>
</td>
</tr>
</table>
<figcaption class="ltx_caption" style="font-size:90%;"><span class="ltx_tag ltx_tag_table">Table 2: </span>Execution time of various parts of the training loop for the different models for the 512 context length, <math id="A7.T2.16.m1.1" class="ltx_Math" alttext="\chi^{2}" display="inline"><semantics id="A7.T2.16.m1.1b"><msup id="A7.T2.16.m1.1.1" xref="A7.T2.16.m1.1.1.cmml"><mi id="A7.T2.16.m1.1.1.2" xref="A7.T2.16.m1.1.1.2.cmml">χ</mi><mn id="A7.T2.16.m1.1.1.3" xref="A7.T2.16.m1.1.1.3.cmml">2</mn></msup><annotation-xml encoding="MathML-Content" id="A7.T2.16.m1.1c"><apply id="A7.T2.16.m1.1.1.cmml" xref="A7.T2.16.m1.1.1"><csymbol cd="ambiguous" id="A7.T2.16.m1.1.1.1.cmml" xref="A7.T2.16.m1.1.1">superscript</csymbol><ci id="A7.T2.16.m1.1.1.2.cmml" xref="A7.T2.16.m1.1.1.2">𝜒</ci><cn type="integer" id="A7.T2.16.m1.1.1.3.cmml" xref="A7.T2.16.m1.1.1.3">2</cn></apply></annotation-xml><annotation encoding="application/x-tex" id="A7.T2.16.m1.1d">\chi^{2}</annotation></semantics></math> objective with model rollouts regularization. We show the raw time to sample a batch of trajectories, as well as the time for sampling once amortized due to the fact that we do not sample every training step.</figcaption>
</figure>
</section>
<section id="A8" class="ltx_appendix">
<h2 class="ltx_title ltx_title_appendix">
<span class="ltx_tag ltx_tag_appendix">Appendix H </span>Additional Related Work</h2>

<section id="A8.SS1" class="ltx_subsection">
<h3 class="ltx_title ltx_title_subsection">
<span class="ltx_tag ltx_tag_subsection">H.1 </span>Regularization Terms</h3>

<div id="A8.SS1.p1" class="ltx_para">
<p id="A8.SS1.p1.1" class="ltx_p">Due to the disadvantages of the KL-divergence discussed above, several additional training objectives have been proposed which take into account the model’s generated sequences. Particularly popular is the (sequence-level) unlikelihood loss <cite class="ltx_cite ltx_citemacro_cite">[<a href="#bib.bib37" title="" class="ltx_ref">37</a>]</cite>. At step <math id="A8.SS1.p1.1.m1.1" class="ltx_Math" alttext="t" display="inline"><semantics id="A8.SS1.p1.1.m1.1a"><mi id="A8.SS1.p1.1.m1.1.1" xref="A8.SS1.p1.1.m1.1.1.cmml">t</mi><annotation-xml encoding="MathML-Content" id="A8.SS1.p1.1.m1.1b"><ci id="A8.SS1.p1.1.m1.1.1.cmml" xref="A8.SS1.p1.1.m1.1.1">𝑡</ci></annotation-xml><annotation encoding="application/x-tex" id="A8.SS1.p1.1.m1.1c">t</annotation></semantics></math>, this is given by</p>
<table id="A8.Ex24" class="ltx_equation ltx_eqn_table">

<tbody><tr class="ltx_equation ltx_eqn_row ltx_align_baseline">
<td class="ltx_eqn_cell ltx_eqn_center_padleft"></td>
<td class="ltx_eqn_cell ltx_align_center"><math id="A8.Ex24.m1.1" class="ltx_math_unparsed" alttext="\mathcal{L}_{\text{ULS}}^{t}(P_{\theta}(\cdot|x_{1:t}))=\mathbb{E}_{s_{t+N}\sim P_{\theta}(\cdot|s_{t})}\left[-\sum_{k=t+1}^{t+N}\sum_{c\in\mathcal{C}^{k}}P_{\theta}(c|s_{k})\right]," display="block"><semantics id="A8.Ex24.m1.1a"><mrow id="A8.Ex24.m1.1b"><msubsup id="A8.Ex24.m1.1.1"><mi class="ltx_font_mathcaligraphic" id="A8.Ex24.m1.1.1.2.2">ℒ</mi><mtext id="A8.Ex24.m1.1.1.2.3">ULS</mtext><mi id="A8.Ex24.m1.1.1.3">t</mi></msubsup><mrow id="A8.Ex24.m1.1.2"><mo stretchy="false" id="A8.Ex24.m1.1.2.1">(</mo><msub id="A8.Ex24.m1.1.2.2"><mi id="A8.Ex24.m1.1.2.2.2">P</mi><mi id="A8.Ex24.m1.1.2.2.3">θ</mi></msub><mrow id="A8.Ex24.m1.1.2.3"><mo stretchy="false" id="A8.Ex24.m1.1.2.3.1">(</mo><mo lspace="0em" rspace="0em" id="A8.Ex24.m1.1.2.3.2">⋅</mo><mo fence="false" rspace="0.167em" stretchy="false" id="A8.Ex24.m1.1.2.3.3">|</mo><msub id="A8.Ex24.m1.1.2.3.4"><mi id="A8.Ex24.m1.1.2.3.4.2">x</mi><mrow id="A8.Ex24.m1.1.2.3.4.3"><mn id="A8.Ex24.m1.1.2.3.4.3.2">1</mn><mo lspace="0.278em" rspace="0.278em" id="A8.Ex24.m1.1.2.3.4.3.1">:</mo><mi id="A8.Ex24.m1.1.2.3.4.3.3">t</mi></mrow></msub><mo stretchy="false" id="A8.Ex24.m1.1.2.3.5">)</mo></mrow><mo stretchy="false" id="A8.Ex24.m1.1.2.4">)</mo></mrow><mo id="A8.Ex24.m1.1.3">=</mo><msub id="A8.Ex24.m1.1.4"><mi id="A8.Ex24.m1.1.4.2">𝔼</mi><mrow id="A8.Ex24.m1.1.4.3"><msub id="A8.Ex24.m1.1.4.3.1"><mi id="A8.Ex24.m1.1.4.3.1.2">s</mi><mrow id="A8.Ex24.m1.1.4.3.1.3"><mi id="A8.Ex24.m1.1.4.3.1.3.2">t</mi><mo id="A8.Ex24.m1.1.4.3.1.3.1">+</mo><mi id="A8.Ex24.m1.1.4.3.1.3.3">N</mi></mrow></msub><mo id="A8.Ex24.m1.1.4.3.2">∼</mo><msub id="A8.Ex24.m1.1.4.3.3"><mi id="A8.Ex24.m1.1.4.3.3.2">P</mi><mi id="A8.Ex24.m1.1.4.3.3.3">θ</mi></msub><mrow id="A8.Ex24.m1.1.4.3.4"><mo stretchy="false" id="A8.Ex24.m1.1.4.3.4.1">(</mo><mo lspace="0em" rspace="0em" id="A8.Ex24.m1.1.4.3.4.2">⋅</mo><mo fence="false" rspace="0.167em" stretchy="false" id="A8.Ex24.m1.1.4.3.4.3">|</mo><msub id="A8.Ex24.m1.1.4.3.4.4"><mi id="A8.Ex24.m1.1.4.3.4.4.2">s</mi><mi id="A8.Ex24.m1.1.4.3.4.4.3">t</mi></msub><mo stretchy="false" id="A8.Ex24.m1.1.4.3.4.5">)</mo></mrow></mrow></msub><mrow id="A8.Ex24.m1.1.5"><mo id="A8.Ex24.m1.1.5.1">[</mo><mo lspace="0em" rspace="0.055em" id="A8.Ex24.m1.1.5.2">−</mo><munderover id="A8.Ex24.m1.1.5.3"><mo movablelimits="false" rspace="0em" id="A8.Ex24.m1.1.5.3.2.2">∑</mo><mrow id="A8.Ex24.m1.1.5.3.2.3"><mi id="A8.Ex24.m1.1.5.3.2.3.2">k</mi><mo id="A8.Ex24.m1.1.5.3.2.3.1">=</mo><mrow id="A8.Ex24.m1.1.5.3.2.3.3"><mi id="A8.Ex24.m1.1.5.3.2.3.3.2">t</mi><mo id="A8.Ex24.m1.1.5.3.2.3.3.1">+</mo><mn id="A8.Ex24.m1.1.5.3.2.3.3.3">1</mn></mrow></mrow><mrow id="A8.Ex24.m1.1.5.3.3"><mi id="A8.Ex24.m1.1.5.3.3.2">t</mi><mo id="A8.Ex24.m1.1.5.3.3.1">+</mo><mi id="A8.Ex24.m1.1.5.3.3.3">N</mi></mrow></munderover><munder id="A8.Ex24.m1.1.5.4"><mo movablelimits="false" id="A8.Ex24.m1.1.5.4.2">∑</mo><mrow id="A8.Ex24.m1.1.5.4.3"><mi id="A8.Ex24.m1.1.5.4.3.2">c</mi><mo id="A8.Ex24.m1.1.5.4.3.1">∈</mo><msup id="A8.Ex24.m1.1.5.4.3.3"><mi class="ltx_font_mathcaligraphic" id="A8.Ex24.m1.1.5.4.3.3.2">𝒞</mi><mi id="A8.Ex24.m1.1.5.4.3.3.3">k</mi></msup></mrow></munder><msub id="A8.Ex24.m1.1.5.5"><mi id="A8.Ex24.m1.1.5.5.2">P</mi><mi id="A8.Ex24.m1.1.5.5.3">θ</mi></msub><mrow id="A8.Ex24.m1.1.5.6"><mo stretchy="false" id="A8.Ex24.m1.1.5.6.1">(</mo><mi id="A8.Ex24.m1.1.5.6.2">c</mi><mo fence="false" rspace="0.167em" stretchy="false" id="A8.Ex24.m1.1.5.6.3">|</mo><msub id="A8.Ex24.m1.1.5.6.4"><mi id="A8.Ex24.m1.1.5.6.4.2">s</mi><mi id="A8.Ex24.m1.1.5.6.4.3">k</mi></msub><mo stretchy="false" id="A8.Ex24.m1.1.5.6.5">)</mo></mrow><mo id="A8.Ex24.m1.1.5.7">]</mo></mrow><mo id="A8.Ex24.m1.1.6">,</mo></mrow><annotation encoding="application/x-tex" id="A8.Ex24.m1.1c">\mathcal{L}_{\text{ULS}}^{t}(P_{\theta}(\cdot|x_{1:t}))=\mathbb{E}_{s_{t+N}\sim P_{\theta}(\cdot|s_{t})}\left[-\sum_{k=t+1}^{t+N}\sum_{c\in\mathcal{C}^{k}}P_{\theta}(c|s_{k})\right],</annotation></semantics></math></td>
<td class="ltx_eqn_cell ltx_eqn_center_padright"></td>
</tr></tbody>
</table>
<p id="A8.SS1.p1.5" class="ltx_p">where <math id="A8.SS1.p1.2.m1.1" class="ltx_Math" alttext="\mathcal{C}^{k}" display="inline"><semantics id="A8.SS1.p1.2.m1.1a"><msup id="A8.SS1.p1.2.m1.1.1" xref="A8.SS1.p1.2.m1.1.1.cmml"><mi class="ltx_font_mathcaligraphic" id="A8.SS1.p1.2.m1.1.1.2" xref="A8.SS1.p1.2.m1.1.1.2.cmml">𝒞</mi><mi id="A8.SS1.p1.2.m1.1.1.3" xref="A8.SS1.p1.2.m1.1.1.3.cmml">k</mi></msup><annotation-xml encoding="MathML-Content" id="A8.SS1.p1.2.m1.1b"><apply id="A8.SS1.p1.2.m1.1.1.cmml" xref="A8.SS1.p1.2.m1.1.1"><csymbol cd="ambiguous" id="A8.SS1.p1.2.m1.1.1.1.cmml" xref="A8.SS1.p1.2.m1.1.1">superscript</csymbol><ci id="A8.SS1.p1.2.m1.1.1.2.cmml" xref="A8.SS1.p1.2.m1.1.1.2">𝒞</ci><ci id="A8.SS1.p1.2.m1.1.1.3.cmml" xref="A8.SS1.p1.2.m1.1.1.3">𝑘</ci></apply></annotation-xml><annotation encoding="application/x-tex" id="A8.SS1.p1.2.m1.1c">\mathcal{C}^{k}</annotation></semantics></math> is a set of problematic outputs, such as repeated <math id="A8.SS1.p1.3.m2.1" class="ltx_Math" alttext="n" display="inline"><semantics id="A8.SS1.p1.3.m2.1a"><mi id="A8.SS1.p1.3.m2.1.1" xref="A8.SS1.p1.3.m2.1.1.cmml">n</mi><annotation-xml encoding="MathML-Content" id="A8.SS1.p1.3.m2.1b"><ci id="A8.SS1.p1.3.m2.1.1.cmml" xref="A8.SS1.p1.3.m2.1.1">𝑛</ci></annotation-xml><annotation encoding="application/x-tex" id="A8.SS1.p1.3.m2.1c">n</annotation></semantics></math>-grams. The loss considers an <math id="A8.SS1.p1.4.m3.1" class="ltx_Math" alttext="N" display="inline"><semantics id="A8.SS1.p1.4.m3.1a"><mi id="A8.SS1.p1.4.m3.1.1" xref="A8.SS1.p1.4.m3.1.1.cmml">N</mi><annotation-xml encoding="MathML-Content" id="A8.SS1.p1.4.m3.1b"><ci id="A8.SS1.p1.4.m3.1.1.cmml" xref="A8.SS1.p1.4.m3.1.1">𝑁</ci></annotation-xml><annotation encoding="application/x-tex" id="A8.SS1.p1.4.m3.1c">N</annotation></semantics></math>-step sequence generated from the model from <math id="A8.SS1.p1.5.m4.1" class="ltx_Math" alttext="s_{t}" display="inline"><semantics id="A8.SS1.p1.5.m4.1a"><msub id="A8.SS1.p1.5.m4.1.1" xref="A8.SS1.p1.5.m4.1.1.cmml"><mi id="A8.SS1.p1.5.m4.1.1.2" xref="A8.SS1.p1.5.m4.1.1.2.cmml">s</mi><mi id="A8.SS1.p1.5.m4.1.1.3" xref="A8.SS1.p1.5.m4.1.1.3.cmml">t</mi></msub><annotation-xml encoding="MathML-Content" id="A8.SS1.p1.5.m4.1b"><apply id="A8.SS1.p1.5.m4.1.1.cmml" xref="A8.SS1.p1.5.m4.1.1"><csymbol cd="ambiguous" id="A8.SS1.p1.5.m4.1.1.1.cmml" xref="A8.SS1.p1.5.m4.1.1">subscript</csymbol><ci id="A8.SS1.p1.5.m4.1.1.2.cmml" xref="A8.SS1.p1.5.m4.1.1.2">𝑠</ci><ci id="A8.SS1.p1.5.m4.1.1.3.cmml" xref="A8.SS1.p1.5.m4.1.1.3">𝑡</ci></apply></annotation-xml><annotation encoding="application/x-tex" id="A8.SS1.p1.5.m4.1c">s_{t}</annotation></semantics></math> and penalizes repetitions. Although this regularization term performs well in practice, it relies on a heuristic that repetitive text is unnatural, which does not necessarily hold universally.</p>
</div>
<div id="A8.SS1.p2" class="ltx_para">
<p id="A8.SS1.p2.1" class="ltx_p">However, the idea of sampling a sequence from the model and including that sequence in the loss is incorporated in SequenceMatch.</p>
</div>
</section>
</section>
<section id="A9" class="ltx_appendix">
<h2 class="ltx_title ltx_title_appendix">
<span class="ltx_tag ltx_tag_appendix">Appendix I </span>Examples</h2>

<div id="A9.p1" class="ltx_para">
<p id="A9.p1.1" class="ltx_p">In this section we give the first few samples from the evaluation set, with no cherry-picking, for the 1024-context dataset and the SequenceMatch and MLE objectives. Note that we strip newlines in the examples and generations in order to present them on one page. At one point an unprintable character (btyes U+FFFD) was produced, which we write as (U+FFFD).
We have two settings for the examples.</p>
</div>
<div id="A9.p2" class="ltx_para">
<p id="A9.p2.1" class="ltx_p">In the first setting, we take the prompt sequence and change the last token to a random token drawn from the dataset. We see that the SequenceMatch model is able to utilize the <span id="A9.p2.1.1" class="ltx_text ltx_font_typewriter">&lt;backspace&gt;</span> token immediately to remove the spurious token. The only case where this does not happen is for the prompt <span id="A9.p2.1.2" class="ltx_text ltx_font_typewriter">... Clements disagreed particula</span>, where the random token does make some semantic sense. In comparison, the MLE model cannot use the backspace and has a tendency to degenerate after a random token (particularly evident in the Toyota example).</p>
</div>
<div id="A9.p3" class="ltx_para">
<p id="A9.p3.1" class="ltx_p">In the second setting, we give continuations on the evaluation dataset. We see that the SequenceMatch model uses the backspace token in the Toyota example with the generation <span id="A9.p3.1.1" class="ltx_text ltx_font_typewriter">skeptical of any measure&lt;BKSPC&gt; possible future partnerships</span>. Therefore, we can see that the SequenceMatch model is able to learn to correct itself if it makes a generation that leads out of the distribution of typical sequences.</p>
</div>
<figure id="A9.T3" class="ltx_table">
<figcaption class="ltx_caption"><span class="ltx_tag ltx_tag_table">Table 3: </span><span id="A9.T3.2.1" class="ltx_text" style="font-size:90%;">Model Prompts and Completions for the 1024 SequenceMatch trained model. In this setting we add a random token at the end of the prompt and observe the behavior of the generated sequences.</span></figcaption>
<table id="A9.T3.3" class="ltx_tabular ltx_align_middle">
<tr id="A9.T3.3.1" class="ltx_tr">
<td id="A9.T3.3.1.1" class="ltx_td ltx_align_justify ltx_border_tt">
<span id="A9.T3.3.1.1.1" class="ltx_inline-block ltx_align_top">
<span id="A9.T3.3.1.1.1.1" class="ltx_p"><span id="A9.T3.3.1.1.1.1.1" class="ltx_text ltx_font_bold">Prompt</span></span>
</span>
</td>
<td id="A9.T3.3.1.2" class="ltx_td ltx_nopad_l ltx_nopad_r ltx_align_justify ltx_border_tt">
<span id="A9.T3.3.1.2.1" class="ltx_inline-block ltx_align_top">
<span id="A9.T3.3.1.2.1.1" class="ltx_p"><span id="A9.T3.3.1.2.1.1.1" class="ltx_text ltx_font_bold">Completion</span></span>
</span>
</td>
</tr>
<tr id="A9.T3.3.2" class="ltx_tr">
<td id="A9.T3.3.2.1" class="ltx_td ltx_align_justify ltx_border_t">
<span id="A9.T3.3.2.1.1" class="ltx_inline-block ltx_align_top">
<span id="A9.T3.3.2.1.1.1" class="ltx_p"><span id="A9.T3.3.2.1.1.1.1" class="ltx_text ltx_font_typewriter" style="font-size:50%;">&lt;BOS&gt;WHAT?!??! I know. That’s what you’re saying right now.
"WHAT?! DISNEY HAS A DONUT SUNDAE AND I DIDN’T KNOW ABOUT IT?!" How do I know you’re saying that? Because that’s exactly what I was saying when Tina (&lt;- amazing DFB photographer who’s frigging awesome) spotted this at the Plaza Ice Cream Parlor in the Magic Kingdom this week! But it’s OK. It’s brand new — not even on the menu yet — so we didn’t miss out on too much of the Donut Sundae lifespan. And we’re hoping that lifespan is a nice, long one! The Main Street Plaza Ice Cream Parlor can be found at the intersection of Main Street USA and Tomorrowland, just before you get to Cinderella Castle. And the sundae joins a few other must-have treats on the Ice Cream Parlor’s menu, including the house-made ice cream sandwich (preferably ordered with a drizzled sauce!), the "kids’ cone" (it’s totally OK to order this as a dysph</span></span>
</span>
</td>
<td id="A9.T3.3.2.2" class="ltx_td ltx_nopad_l ltx_nopad_r ltx_align_justify ltx_border_t">
<span id="A9.T3.3.2.2.1" class="ltx_inline-block ltx_align_top">
<span id="A9.T3.3.2.2.1.1" class="ltx_p"><span id="A9.T3.3.2.2.1.1.1" class="ltx_text ltx_font_typewriter" style="font-size:50%;">&lt;BKSPC&gt; souvenir or fruit-eating piece of cake), and the Chesapeake Bay Memorial Park curmudgeonly ice cream truck (though don’t take our word for it).
Just as some of the other ice cream parlor attractions on the internet can help (hopefully), you can visit the Ice Cream Parlor to find even more delicious fried Oreo sandwiches, the "glass ice cream truck" teddy bear (can’t have it either), the skipjack pooping "free" soda fountain, and the pyrotechnically gourmet ice cream fountain! Here’s the video of the Wrecking Ball, the Oreo pod dunk, and me having a little short squeeze last night.
This also happened: the Lake Clark Brewery’s Donut Ice Cream Factory opened the new location back in 2015 and they’re rumored to be in the final phases of redevelopment. We hope you enjoy getting ahead of the news of their transition to the big comeback we expect to see in April.&lt;|endoftext|&gt;</span></span>
</span>
</td>
</tr>
<tr id="A9.T3.3.3" class="ltx_tr">
<td id="A9.T3.3.3.1" class="ltx_td ltx_align_justify ltx_border_t">
<span id="A9.T3.3.3.1.1" class="ltx_inline-block ltx_align_top">
<span id="A9.T3.3.3.1.1.1" class="ltx_p"><span id="A9.T3.3.3.1.1.1.1" class="ltx_text ltx_font_typewriter" style="font-size:50%;">&lt;BOS&gt;A notorious protester convicted of wilfully promoting hatred against Muslims and criminally harassing a Muslim man and his family was sentenced Tuesday to nine months in jail. Eric Brazau handed out a flyer that "vilified Muslims and disparages their religion," Ontario court Judge S. Ford Clements said in February, when he found Brazau guilty.
Eric Brazau was convicted of willful promotion of hatred against Muslims and criminally harassing a Muslim family. ( CARLOS OSORIO / TORONTO STAR FILE PHOTO )
The case was far from being on the borderline between "rough and tumble debate" and hate speech, as Brazau had argued, Clements said in a College Park courtroom. Brazau handed out the flyer, which contained many offensive references to Islam and Muslims, in August and September 2012. While distributing it, Brazau sometimes yelled obscenities about Islam "in a tone of voice that suggested he was very angry and had little interest in debate," Clements said. Brazau had argued that he did not intend to promote hate speech; instead he wanted to stimulate debate about censorship, "blasphemy laws" and Sharia law, Clements said. Article Continued Below Clements disagreed particula</span></span>
</span>
</td>
<td id="A9.T3.3.3.2" class="ltx_td ltx_nopad_l ltx_nopad_r ltx_align_justify ltx_border_t">
<span id="A9.T3.3.3.2.1" class="ltx_inline-block ltx_align_top">
<span id="A9.T3.3.3.2.1.1" class="ltx_p"><span id="A9.T3.3.3.2.1.1.1" class="ltx_text ltx_font_typewriter" style="font-size:50%;">with Brazau’s argument that people should not be allowed to speak in a respectful manner about public information and even the workings of mosques under the guise of religion. He said that parties to these principles must have their act out with civility training — in other words, someone is responsible to their location. Clements also agreed with Brazau’s counsel that these are disagreements within the boundaries of the courtroom. "Based on the details in his core prosecution, the Attorney General has established that a search warrant was issued to his home located in the Brampton area of Greater Toronto prior to this arrest which led to a search warrant being executed," Clements wrote in his ruling. Clements added that prosecutors obtained emergency caution letters sent to him last week noting the violence in the community.
Quebec Court Justice C. David Jones wrote for Clements that "treat of hatred on members of a religion is a systematic part of a larger system of religious policing and a serious mistake." Jones said after Brazau’s conviction that his conviction would only worsen if a further trial was to be opened. A judge in the Woodin Regional Court recently recommended Brazau be held without bail to avoid a conviction or to avoid detention pending a potential appeal.
Read more about:&lt;|endoftext|&gt;</span></span>
</span>
</td>
</tr>
<tr id="A9.T3.3.4" class="ltx_tr">
<td id="A9.T3.3.4.1" class="ltx_td ltx_align_justify ltx_border_t">
<span id="A9.T3.3.4.1.1" class="ltx_inline-block ltx_align_top">
<span id="A9.T3.3.4.1.1.1" class="ltx_p"><span id="A9.T3.3.4.1.1.1.1" class="ltx_text ltx_font_typewriter" style="font-size:50%;">&lt;BOS&gt;× Some Seattle businesses closed for ’A Day Without Immigrants’, but others decided against it SEATTLE — While there is no official list of local businesses participating in this movement, "A Day Without Immigrants", we did find some businesses that had closed their doors and posted signs up saying they were participating. In fact, one business owner says he’s doing things a little bit differently. Instead of shutting down, he says he is choosing to pay it forward. Please enable Javascript to watch this video Edward Moran moved from Mexico to the United States in 1984. He opened El Norte Lounge in Lake City about seven years ago. And instead of closing up shop along with many other immigrant small business owners across the nation, Eduardo was open for business Thursday. "I don’t believe in closing a place just to protest," says Eduardo. Instead, he says he’s paying it forward. Eduardo is asking customers to pay in cash to avoid bank fees from credit card machines. He says he plans to donate a portion of his proceeds to a nonprofit that focuses on helping immigrants here in the Pacific Northwest. And he’s callingtotal</span></span>
</span>
</td>
<td id="A9.T3.3.4.2" class="ltx_td ltx_nopad_l ltx_nopad_r ltx_align_justify ltx_border_t">
<span id="A9.T3.3.4.2.1" class="ltx_inline-block ltx_align_top">
<span id="A9.T3.3.4.2.1.1" class="ltx_p"><span id="A9.T3.3.4.2.1.1.1" class="ltx_text ltx_font_typewriter" style="font-size:50%;">&lt;BKSPC&gt; for a dialogue at least inside the city to try to bring pressure on the city to have equal access to immigrants. Steve Williams and Benjamin Romero noticed his business doors briefly ran out on Christmas and weekdays between Christmas and New Year’s. They say an important message is for businesses to consider the recent wave of protests that have erupted in Portland. From Mexico to the world with both women and children, signs are popping up throughout North America. The woman who shares an apartment with a family in Tacoma says all they want is a neighborly home and looks forward to a great life. Vincent French said when he first moved to Portland for work, people said he had been called in by the government and his mother. "When I moved here in Tacoma, they said to me, ’You can help people who are a threat and you can help your neighbors help other people out,’ " French said. However, after receiving death threats online, he says his business was able to avoid those calls. "I think they’ve finally decided, that’s great," he said. "I want people to be there to keep order." However, Ani Hernandez said she hopes only business owners can address negative feelings in the community. "When they start like this and start shutting down, people have to feel uncomfortable," she said. And just as there is no good news, some businesses are taking steps to control the negative emotions in the community. State of Washington state is going to hold a memorial service for anti-immigrant protesters at the Tenth Avenue and Aroznik Bridge. Click here to book a reservation.&lt;|endoftext|&gt;</span></span>
</span>
</td>
</tr>
<tr id="A9.T3.3.5" class="ltx_tr">
<td id="A9.T3.3.5.1" class="ltx_td ltx_align_justify ltx_border_t">
<span id="A9.T3.3.5.1.1" class="ltx_inline-block ltx_align_top">
<span id="A9.T3.3.5.1.1.1" class="ltx_p"><span id="A9.T3.3.5.1.1.1.1" class="ltx_text ltx_font_typewriter" style="font-size:50%;">&lt;BOS&gt;Today, Toyota announced changes in executives’ areas of responsibility, as well as personnel changes at the sub-executive managerial level. The most important change by far is the appointment of Akio Toyoda, the company’s CEO and grandson of founder Kiichiro Toyoda, as President of a new ’EV Business Planning’ department. Earlier this month, we reported-admittedly a little tongue-in-cheek-about Toyota announcing the creation of an electric vehicle division and putting only 4 engineers on the project with the goal to bring EVs to market by 2020. The move seems a lot more serious now that Akio Toyoda is leading the effort, and several other executives, managers, and engineers have been assigned new responsibilities in the electric vehicle planning department, including the chief engineer of the Prius. At the executive level, the changes will be effective today, while the managers were apparently put on the program throughout the month. You can see the full list of changes below. It appears to be a clear sign that Toyota is more serious than ever about electric vehicles and it is not simply investing in fuel cell hydrogen to comply to new fuel consumption standards. Changes to executives’ areas of 113</span></span>
</span>
</td>
<td id="A9.T3.3.5.2" class="ltx_td ltx_nopad_l ltx_nopad_r ltx_align_justify ltx_border_t">
<span id="A9.T3.3.5.2.1" class="ltx_inline-block ltx_align_top">
<span id="A9.T3.3.5.2.1.1" class="ltx_p"><span id="A9.T3.3.5.2.1.1.1" class="ltx_text ltx_font_typewriter" style="font-size:50%;">&lt;BKSPC&gt; responsibility require that Toyota - and its competitors - disclose further changes to their policies and practices as the larger EV business evolves. Toyota’s own EV business environment will be different from other companies which have recently been embracing a hybrid fleet. The company has not had a hybrid supply chain for years, and hybrid research research is not allowed inside its laboratories. That change will only come with the launch of this new integrated EV product division as the deal has not been finalized. The "Reuturistic and Singular Communication Systems" at Toyota are the industry’s most ambitious "big guy" partnerships. With that title and that vision first put to me, Toyota’s goal is to use a higher volume of vehicles and systems to market what’s best for consumers and the environment, rather than market what’s worst for them. For that reason, the company is opening the first car dealerships in the United States, and is doing so as the name suggests. There is no plan to extend out its RAV4 EV program beyond the University of Arizona system in Reno. While some groups like the Australian Automobile Club consider this as an important move, any EV owners who will be conclining to a hybrid infrastructure ought to be aware the company recognizes the average demand and needs of those vehicles and systems: With more than 300,000 vehicles on the road now, a few hundred more - including "Prix Super Super 500 Hybrid" - are being phased out. Consumers are more willing to hop on the electric car bandwagon than at any time in history. The shift to EV mandates has become what almost everyone has been dying to do for decades; shake off the bad habits of all regulatory agencies, deal with this as a new and necessary trend and transform the EV industry. Japan is still a new market after over 100 years of hard-charging and combustion engines. Now, we’ve seen the biggest transformation in our world - a future where EVs are sold by taxis, where vehicles are tracked and traded for cash. Existing customers, policy makers, and private sector know the EV space is big and we want to help. The new EV environment provides great opportunities and more rules, policies, and practices. Top 10 Reuturistic Energy Hybrid Designs Current LEAF motor vehicles are sold by Volkswagen, Toyota and Jaguar Land Rover, but very few cars contain or come close to this level of use. Over &lt;|endoftext|&gt;</span></span>
</span>
</td>
</tr>
<tr id="A9.T3.3.6" class="ltx_tr">
<td id="A9.T3.3.6.1" class="ltx_td ltx_align_justify ltx_border_bb ltx_border_t">
<span id="A9.T3.3.6.1.1" class="ltx_inline-block ltx_align_top">
<span id="A9.T3.3.6.1.1.1" class="ltx_p"><span id="A9.T3.3.6.1.1.1.1" class="ltx_text ltx_font_typewriter" style="font-size:50%;">&lt;BOS&gt;North Korean leader Kim Jong Un. AP Images / Business Insider North Korea attempted to fire a missile Sunday, but it blew up within seconds. It happened one day after the anniversary of the country’s founding. While North Korea’s missile program may be the shadowiest on earth, it’s possible that US cyber warriors were the reason for the failed launch. A recent New York Times report uncovered a Kham secret operation to derail North Korea’s nuclear-missile program that has been raging for at least three years. Essentially, the report attributes North Korea’s high rate of failure with Russian-designed missiles to the US meddling in the country’s missile software and networks. Although North Korea’s missile infrastructure lacks the competence of Russia’s, the Soviet-era missile on which North Korea based its missile had a 13 rotten% failure rate, and the North Korean version failed a whopping 88% of the time, according to the report. While the missile failure on Sunday could have just been due to poor workmanship, US Deputy National Security Adviser K.T. McFarland seemed to leave room for speculation about espionage, telling Fox News, ""We can’t talk about secret intelligence and things that might have been done ${}</span></span>
</span>
</td>
<td id="A9.T3.3.6.2" class="ltx_td ltx_nopad_l ltx_nopad_r ltx_align_justify ltx_border_bb ltx_border_t">
<span id="A9.T3.3.6.2.1" class="ltx_inline-block ltx_align_top">
<span id="A9.T3.3.6.2.1.1" class="ltx_p"><span id="A9.T3.3.6.2.1.1.1" class="ltx_text ltx_font_typewriter" style="font-size:50%;">&lt;BKSPC&gt; to try to secure a foreign adversary or cause a serious injury or insurrection in North Korea. We could just slip the word ""secrecy"" into the Cold War."" Kham has published an outline of the failed missile call, with an attack message from an unknown country (the United States) that says, ""Kim Jong Un was able to detonate over as many as 30 interceptor missiles in just a single second."" The most realistic hypothesis seems to be that the North was firing missile-defence missiles somewhere north of the DMZ, and that North Korea detonated one and possibly two ""missiles."" Also buried on the NPA resume is part of the chart above, which suggests that North Korea was supposed to have advanced its satellite, but that it wasn’t actually meant to attack, and that Kim Jong Un deployed his forces through the DMZ in preparation for its full-scale invasion of the United States. The NPA suggestion that Kim Jong Un was behind the North Korean missile launch has been a theme in numerous US policy meetings over the past year. President Donald Trump hosted President Kim Jong Un, who has since spoken with South Korea’s President Moon Jae-in on the importance of dialogue. The face-to-face talks between Trump and Trump have so far resulted in multiple calls for ""constructive, constructive joint action.""On the campaign trail, Trump promised to ramp up efforts to tackle Pyongyang’s nuclear program, and claimed that North Korean leader Kim Jong Un was behind the misdeeds of his country. In response, Trump’s new administration has shown itself to be actively talking about North Korean diplomacy, telling the American community last month that ""North Korea is a wonderful, great nation. It has turned several dangerous institutions into havens of radicalism and terrorism, and I am confident that North Korea is also prepared to launch a strike and destroy any attempts to stop and shut down its programme. We must put forward options and seek a comprehensive, comprehensive, and comprehensive response."" North Korea had clearly misreported the strategic consequences of its ballistic missile launch Sunday. A missile does not threaten the US or the South; it appears to have fallen from the sky. In fact, North Korea has already launched about 95,000 missiles in less than a month.&lt;|endoftext|&gt;</span></span>
</span>
</td>
</tr>
</table>
</figure>
<figure id="A9.T4" class="ltx_table">
<figcaption class="ltx_caption"><span class="ltx_tag ltx_tag_table">Table 4: </span><span id="A9.T4.2.1" class="ltx_text" style="font-size:90%;">Model Prompts and Completions for the 1024 MLE trained model. In this setting we add a random token at the end of the prompt and observe the behavior of the generated sequences. Continued on next page</span></figcaption>
<table id="A9.T4.3" class="ltx_tabular ltx_align_middle">
<tr id="A9.T4.3.1" class="ltx_tr">
<td id="A9.T4.3.1.1" class="ltx_td ltx_align_justify ltx_border_tt">
<span id="A9.T4.3.1.1.1" class="ltx_inline-block ltx_align_top">
<span id="A9.T4.3.1.1.1.1" class="ltx_p"><span id="A9.T4.3.1.1.1.1.1" class="ltx_text ltx_font_bold">Prompt</span></span>
</span>
</td>
<td id="A9.T4.3.1.2" class="ltx_td ltx_nopad_l ltx_nopad_r ltx_align_justify ltx_border_tt">
<span id="A9.T4.3.1.2.1" class="ltx_inline-block ltx_align_top">
<span id="A9.T4.3.1.2.1.1" class="ltx_p"><span id="A9.T4.3.1.2.1.1.1" class="ltx_text ltx_font_bold">Completion</span></span>
</span>
</td>
</tr>
<tr id="A9.T4.3.2" class="ltx_tr">
<td id="A9.T4.3.2.1" class="ltx_td ltx_align_justify ltx_border_t">
<span id="A9.T4.3.2.1.1" class="ltx_inline-block ltx_align_top">
<span id="A9.T4.3.2.1.1.1" class="ltx_p"><span id="A9.T4.3.2.1.1.1.1" class="ltx_text ltx_font_typewriter" style="font-size:50%;">WHAT?!??! I know. That’s what you’re saying right now. "WHAT?! DISNEY HAS A DONUT SUNDAE AND I DIDN’T KNOW ABOUT IT?!" How do I know you’re saying that? Because that’s exactly what I was saying when Tina (&lt;- amazing DFB photographer who’s frigging awesome) spotted this at the Plaza Ice Cream Parlor in the Magic Kingdom this week! But it’s OK. It’s brand new — not even on the menu yet — so we didn’t miss out on too much of the Donut Sundae lifespan. And we’re hoping that lifespan is a nice, long one! The Main Street Plaza Ice Cream Parlor can be found at the intersection of Main Street USA and Tomorrowland, just before you get to Cinderella Castle. And the sundae joins a few other must-have treats on the Ice Cream Parlor’s menu, including the house-made ice cream sandwich (preferably ordered with a drizzled sauce!), the "kids’ cone" (it’s totally OK to order this as a grown Cold</span></span>
</span>
</td>
<td id="A9.T4.3.2.2" class="ltx_td ltx_nopad_l ltx_nopad_r ltx_align_justify ltx_border_t">
<span id="A9.T4.3.2.2.1" class="ltx_inline-block ltx_align_top">
<span id="A9.T4.3.2.2.1.1" class="ltx_p"><span id="A9.T4.3.2.2.1.1.1" class="ltx_text ltx_font_typewriter" style="font-size:50%;">Onion Roll, since kids eat cake too!), and good ol’ Oldman’s Sweet Ice Cream based Mini Six Peanut Butter Cups, as well as brand new Oreos Made from Oakwood. Anyway, we digress. So basically, we did a little code-changing this afternoon, and it turns out that we’ll be doing the full-on "YIMBA" package once again. Nope, nobody added New Master Cake (we’ll have to share your images), and you’re walking back your welcome to Polynesian macen as much as possible! Also, just to reiterate, all 10 of our Frozen Shorts! You see, we received one gift from Disney with a date of March 20. No luck deciding to use another date. No silly excuse, just a sense of nostalgia. See ya all next time! (This pattern has been gifted to us by Original Couture Forestes, which are mostly adorable because they totally turned out their own thing!) Please feel free to tell us what you think in the comments below…we’ll see you all on. But if you have any other ideas, let us know and we’ll try to make them a reality in the future, too! (C) Original Couture Forestes &amp; Haircutters, YAMAHA Haircutters, and Innovative Mesh, all of whom deserve the award for this awesome Wild Forest creativity. For more casual fan-inspired pixel-art, check out these indie-design throwback images from the Splendour Of Sound booth! Look around at this awesome hidden gem. You’re never going to be alone with these work done by YOU! Other [And This Has When You’re on a Mission?!] samples from above or click the INVERSELEads button below to explore [Colourful Imagery]. [Colourful Imagery samples] by Chloe Yee. Quite a handful of amazing Red Solo was shown at the Smithsonian in June 2009. Have some of your favorite characters and locations be inspired by their design and art! [Colourful Imagery samples] by Karen Moore. This series uses heart modeled Granny Smith cruelly, deformed words, and her favorite turquoise character Digby Pie. It’s set in these specially designed Styrofoam turquoise silks, assembled by the construction company at</span></span>
</span>
</td>
</tr>
<tr id="A9.T4.3.3" class="ltx_tr">
<td id="A9.T4.3.3.1" class="ltx_td ltx_align_justify ltx_border_t">
<span id="A9.T4.3.3.1.1" class="ltx_inline-block ltx_align_top">
<span id="A9.T4.3.3.1.1.1" class="ltx_p"><span id="A9.T4.3.3.1.1.1.1" class="ltx_text ltx_font_typewriter" style="font-size:50%;">A notorious protester convicted of wilfully promoting hatred against Muslims and criminally harassing a Muslim man and his family was sentenced Tuesday to nine months in jail. Eric Brazau handed out a flyer that "vilified Muslims and disparages their religion," Ontario court Judge S. Ford Clements said in February, when he found Brazau guilty. Eric Brazau was convicted of willful promotion of hatred against Muslims and criminally harassing a Muslim family. ( CARLOS OSORIO / TORONTO STAR FILE PHOTO ) The case was far from being on the borderline between "rough and tumble debate" and hate speech, as Brazau had argued, Clements said in a College Park courtroom. Brazau handed out the flyer, which contained many offensive references to Islam and Muslims, in August and September 2012. While distributing it, Brazau sometimes yelled obscenities about Islam "in a tone of voice that suggested he was very angry and had little interest in debate," Clements said. Brazau had argued that he did not intend to promote hate speech; instead he wanted to stimulate debate about censorship, "blasphemy laws" and Sharia law, Clements said. Article Continued Below Clements disagreed.agos</span></span>
</span>
</td>
<td id="A9.T4.3.3.2" class="ltx_td ltx_nopad_l ltx_nopad_r ltx_align_justify ltx_border_t">
<span id="A9.T4.3.3.2.1" class="ltx_inline-block ltx_align_top">
<span id="A9.T4.3.3.2.1.1" class="ltx_p"><span id="A9.T4.3.3.2.1.1.1" class="ltx_text ltx_font_typewriter" style="font-size:50%;">: It wasn’t only when an anti-Muslim protester was convicted. Clements said 2017 was unique because his term gives Brazau the opportunity to answer: "Qaads ben Yehudi: Where are the ’deplorables’ and who are the ’parallel struggles?’" after the jihad. Clements also said he found Bansaris and Jolyon Friesen guilty of helping incite hatred and hate. Zean Korah, a Supreme Court of Canada judge and former face of hate speech at the Toronto detention centre, will hold a preliminary hearing at Wednesday’s district court, Clements said. Article Continued Below Zean Joeberg will be heading up an "anti-fascist group"; as Ziya Janette Sharma will be in charge of the prosecution, Clements agreed. He said he didn’t anticipate Clements making such a verdict in the light of events in Ferguson, Mo., and that findings "are not to be taken lightly," Clements said. "It’s the judge’s job to look like we’ve done well in addressing this issue," Clements said. The judge sentenced Brazau to nine months in prison, awarding him $500,000 for fighting the charges. The sentence came after a two-day trial in Toronto where he stood with fellow protesters in front of Chief of Staff at the Toronto Police Service, then endorsed the suspect in the flagrant breach of secrecy. He was scheduled to appear in St. John’s Superior Court on Monday. During the trial, meanwhile, some of his accusers sat in on the most contentious and contested event of his life, the lawyer arguing that the judge should have subjected Brazau to such an intense chilling procedure that could have been triggered by his admission of hate speech. He also called the reality of being falsely accused by the St. John’s Residents Association of mistreating his client a "victory" instead of "a blow to his reputation." Clements said the judge was aware of so many anti-jihadary developments as he had been studying the case on a trip to the New York area last month. But he rejected allegations of political bias, saying that Brazau’s remarks were "symbolic and ironic." Clements took issue with allegations of the judge condoning violence, saying: "There’s some type!</span></span>
</span>
</td>
</tr>
<tr id="A9.T4.3.4" class="ltx_tr">
<td id="A9.T4.3.4.1" class="ltx_td ltx_align_justify ltx_border_t">
<span id="A9.T4.3.4.1.1" class="ltx_inline-block ltx_align_top">
<span id="A9.T4.3.4.1.1.1" class="ltx_p"><span id="A9.T4.3.4.1.1.1.1" class="ltx_text ltx_font_typewriter" style="font-size:50%;">× Some Seattle businesses closed for ’A Day Without Immigrants’, but others decided against it SEATTLE — While there is no official list of local businesses participating in this movement, "A Day Without Immigrants", we did find some businesses that had closed their doors and posted signs up saying they were participating. In fact, one business owner says he’s doing things a little bit differently. Instead of shutting down, he says he is choosing to pay it forward. Please enable Javascript to watch this video Edward Moran moved from Mexico to the United States in 1984. He opened El Norte Lounge in Lake City about seven years ago. And instead of closing up shop along with many other immigrant small business owners across the nation, Eduardo was open for business Thursday. "I don’t believe in closing a place just to protest," says Eduardo. Instead, he says he’s paying it forward. Eduardo is asking customers to pay in cash to avoid bank fees from credit card machines. He says he plans to donate a portion of his proceeds to a nonprofit that focuses on helping immigrants here in the Pacific Northwest. And he’s calling on finalists</span></span>
</span>
</td>
<td id="A9.T4.3.4.2" class="ltx_td ltx_nopad_l ltx_nopad_r ltx_align_justify ltx_border_t">
<span id="A9.T4.3.4.2.1" class="ltx_inline-block ltx_align_top">
<span id="A9.T4.3.4.2.1.1" class="ltx_p"><span id="A9.T4.3.4.2.1.1.1" class="ltx_text ltx_font_typewriter" style="font-size:50%;">in the project to pay back what he’s paid on every purchase. Do you believe Eduardo’s message to businesses — donate, pay their employees back and help other immigrants live in dignity? How about more "A Day Without Immigrants"? Is it possible you could help encourage the nation to do something like Eduardo’s? Helping immigrants live in dignity isn’t the goal of the group: To give free tuition to illegal aliens. But Eduardo believes immigrants can be welcome here as long as they pay taxes. "Do we need any more illegals in our country? No. We don’t," says Eduardo. District Judge Lucy Kohls says school district officials should remove the "A Day Without Immigrants" sign from their annual accreditation program, which requires every high school student to teach English. But according to Korea-based Senator Hillary Schakowsky, this group has started competing. "They seem to be suffering from stigma," says Schakowsky. "I’m hoping the courts will find them to be ashamed of themselves for what they’ve done and to cast them in the negative light, if not as a group who would be well served to get on the national stage." Lynn Horcher says she hopes that Eduardo’s message can inspire parents and businesses to break down the walls around immigrants, without fear for their safety and to break out of fear that those still working for immigrants will be jailed, beaten and deported. "I’m so sorry," says Lynch. "Those who truly want to do this were always called ’Daddy Minjies.’ I say that as a parent who thinks that when your parents leave you need to do something that they really, really feel guilty about because you were born here." Witness the violence, burning and pickings, and watch the protesters packing tents for three days. Could immigrants be shut down for protest or collect your money? Photo Credit: SimplePhotographer.com Follow @ChrisBreaux on Twitter. This article was originally published on The Conversation. Read the original story. [h/t: Trevor Wright] Download our NEW Occupy Democrats app for your iPhone by clicking here or for your Android by clicking here. Add your name to millions demanding that!</span></span>
</span>
</td>
</tr>
<tr id="A9.T4.3.5" class="ltx_tr">
<td id="A9.T4.3.5.1" class="ltx_td ltx_align_justify ltx_border_bb ltx_border_t">
<span id="A9.T4.3.5.1.1" class="ltx_inline-block ltx_align_top">
<span id="A9.T4.3.5.1.1.1" class="ltx_p"><span id="A9.T4.3.5.1.1.1.1" class="ltx_text ltx_font_typewriter" style="font-size:50%;">Today, Toyota announced changes in executives’ areas of responsibility, as well as personnel changes at the sub-executive managerial level. The most important change by far is the appointment of Akio Toyoda, the company’s CEO and grandson of founder Kiichiro Toyoda, as President of a new ’EV Business Planning’ department. Earlier this month, we reported-admittedly a little tongue-in-cheek-about Toyota announcing the creation of an electric vehicle division and putting only 4 engineers on the project with the goal to bring EVs to market by 2020. The move seems a lot more serious now that Akio Toyoda is leading the effort, and several other executives, managers, and engineers have been assigned new responsibilities in the electric vehicle planning department, including the chief engineer of the Prius. At the executive level, the changes will be effective today, while the managers were apparently put on the program throughout the month. You can see the full list of changes below. It appears to be a clear sign that Toyota is more serious than ever about electric vehicles and it is not simply investing in fuel cell hydrogen to comply to new fuel consumption standards. Changes to executives’ areas of responsibilityJohn</span></span>
</span>
</td>
<td id="A9.T4.3.5.2" class="ltx_td ltx_nopad_l ltx_nopad_r ltx_align_justify ltx_border_bb ltx_border_t">
<span id="A9.T4.3.5.2.1" class="ltx_inline-block ltx_align_top">
<span id="A9.T4.3.5.2.1.1" class="ltx_p"><span id="A9.T4.3.5.2.1.1.1" class="ltx_text ltx_font_typewriter" style="font-size:50%;">Schmitt, Managing Director of Toyota Chris Koscarino, EV Business Planner Michelle Swahira, EV Executive Manager, New York Mark Page, Assistant Managing Director, Toyota Mathew Kennedy, EV Business Planner David Gustavsson, EV Manager, New York Leigh Munro, EV Manager, San Jose Ruthen Friedrich, EV Executive President, Califasto Matt Keysbury, EV Managing Director, Toyota Rahla Baldus, EV Management, Nippon Professional Grooming Club, Tokyo Let’s keep it human for a minute. Just kidding, Toyota wasn’t kidding about the new gig, when they announced that the first 100,000 electric vehicles will be hitting stores across the country in two years, and that the car maker wants to serve as "the world’s largest car retailer." See also. Ah yes, the EV is finally relevant and the rest is history. Toyota President Michio Kaku and CEO Akio Toyoda are turning heads and actively promoting the sport-class EV during the various global celebrations, and even this week, unveiling the new 2018 Plug-In Hybrid Transit (EV.SE), which will have a new 4.0-liter,EV powertrain, a plug-in hybrid. It will arrive on the market in September, and will be the first-ever plug-in hybrid with a highway-compliant full-size sedan in Japan. The new sedan will offer "bump-in" emissions-calming technology, making the EV more efficient than its rivals. The fleet should start rolling out in 2017, and even here at EV Trade, we encourage most prospective car buyers to take the time to check our website for what exactly is coming to market. You don’t want your Sonata on the road for only a short week, in the European market? Source: iSupermarket [Source: iSupermarket ]] Source: Quora Source: Quora Source: Google+ Source: Google+ Source: Quora Source: Google+ Source: Quora Source: Quora Source: Google+ Source: Google+ Source: Quora Source: Google+ Source: Quora Source: Quora Source: Quora Source:</span></span>
</span>
</td>
</tr>
</table>
</figure>
<figure id="A9.T5" class="ltx_table">
<figcaption class="ltx_caption"><span class="ltx_tag ltx_tag_table">Table 5: </span><span id="A9.T5.2.1" class="ltx_text" style="font-size:90%;">Last Model Prompt and Completion for the 1024 MLE trained model. In this setting we add a random token at the end of the prompt and observe the behavior of the generated sequences. Continued from previous page</span></figcaption>
<table id="A9.T5.3" class="ltx_tabular ltx_align_middle">
<tr id="A9.T5.3.1" class="ltx_tr">
<td id="A9.T5.3.1.1" class="ltx_td ltx_align_justify ltx_border_tt">
<span id="A9.T5.3.1.1.1" class="ltx_inline-block ltx_align_top">
<span id="A9.T5.3.1.1.1.1" class="ltx_p"><span id="A9.T5.3.1.1.1.1.1" class="ltx_text ltx_font_bold">Prompt</span></span>
</span>
</td>
<td id="A9.T5.3.1.2" class="ltx_td ltx_nopad_l ltx_nopad_r ltx_align_justify ltx_border_tt">
<span id="A9.T5.3.1.2.1" class="ltx_inline-block ltx_align_top">
<span id="A9.T5.3.1.2.1.1" class="ltx_p"><span id="A9.T5.3.1.2.1.1.1" class="ltx_text ltx_font_bold">Completion</span></span>
</span>
</td>
</tr>
<tr id="A9.T5.3.2" class="ltx_tr">
<td id="A9.T5.3.2.1" class="ltx_td ltx_align_justify ltx_border_bb ltx_border_t">
<span id="A9.T5.3.2.1.1" class="ltx_inline-block ltx_align_top">
<span id="A9.T5.3.2.1.1.1" class="ltx_p"><span id="A9.T5.3.2.1.1.1.1" class="ltx_text ltx_font_typewriter" style="font-size:50%;">North Korean leader Kim Jong Un. AP Images / Business Insider North Korea attempted to fire a missile Sunday, but it blew up within seconds. It happened one day after the anniversary of the country’s founding. While North Korea’s missile program may be the shadowiest on earth, it’s possible that US cyber warriors were the reason for the failed launch. A recent New York Times report uncovered a secret operation to derail North Korea’s nuclear-missile program that has been raging for at least three years. Essentially, the report attributes North Korea’s high rate of failure with Russian-designed missiles to the US meddling in the country’s missile software and networks. Although North Korea’s missile infrastructure lacks the competence of Russia’s, the Soviet-era missile on which North Korea based its missile had a 13% failure rate, and the North Korean version failed a whopping 88% of the time, according to the report. While the missile failure on Sunday could have just been due to poor workmanship, US Deputy National Security Adviser K.T. McFarland seemed to leave room for speculation about espionage, telling Fox News, "We can’t talk about secret intelligence and things that might have been done, covert operations scen</span></span>
</span>
</td>
<td id="A9.T5.3.2.2" class="ltx_td ltx_nopad_l ltx_nopad_r ltx_align_justify ltx_border_bb ltx_border_t">
<span id="A9.T5.3.2.2.1" class="ltx_inline-block ltx_align_top">
<span id="A9.T5.3.2.2.1.1" class="ltx_p"><span id="A9.T5.3.2.2.1.1.1" class="ltx_text ltx_font_typewriter" style="font-size:50%;">ically." The revelation of the secrets follow months of effort to downplay hacking and sabotage that has divided the country, in which North Korean cyber warriors fought militarily against regime change. By overthrowing the leadership of Kim Jong Un, North Korea has breached the territory of the United States and other big nations, as well as a vital diplomatic facility in Shanghai, a large regional hub, Reuters reported. North Korea’s attempts to sabotage Pyongyang first came to light on April 1, when it carried out a missile test. But even North Korea’s leaders were quick to pinpoint the launch as the likely result of cyber-attacks. An overwhelming majority of Pyongyang’s elite are U.S. intelligence, with Kim deriding Washington’s cyber security arrangements and blaming the country’s Soviet enemies. On Sunday’s anniversary, a cyberwarfare specialist named Kim Hyon Hyon conducted a test firing of the Terminal High Altitude Area Defense interceptor that was his main target. US intelligence officials have told Fox News that Kim Kim planned to enter South Korea last Friday to try and reset relations, Yonhap reported. [And Trump is the North’s top diplomat now] The cyber attack also likely broke out at a door for Kim Jong Un’s brother, Ri Yong Ho, who seems to be a devoted leader. The South Korean leader responded by comparing the attack on the research institute to the attacks on the USS Cole airbase in Yemen that killed 9 sailors during the attack. Kim is the country’s previous leader from 1990- 1994. Kim Jong Un’s brother, Ri Jong Il, passed away in 1994, but North Korea remains very close to Ri’s family and maintains a high ranking. By Sunday, Jong Il had tweeted, "A war hell war!" North Korea test fired at Ichiwa port. Pesatime (New York/New York) — Ri Jong Il (@ RiJi) December 10, 2016 Later, some of North Korea’s scientists released a book about Ri, promising to "break his nuclear arms" and help their country prevent a nuclear war. In March, Sony Hackings Interview Kim Jong Un and Other Executives Are Separating Their Values From Their Intelligence Perceptions. They are just now getting their heads around the Kim Jong Un decision. — Sputnik News (@SputnikNews) December 13, 2016 Before that, North Korea had been largely on alert, determined to achieve a nuclear war. Kim launched!</span></span>
</span>
</td>
</tr>
</table>
</figure>
<figure id="A9.T6" class="ltx_table">
<figcaption class="ltx_caption"><span class="ltx_tag ltx_tag_table">Table 6: </span><span id="A9.T6.2.1" class="ltx_text" style="font-size:90%;">Model Prompts and Completions for the 1024 SequenceMatch trained model. In this setting we simply generate sequences based on the prompt</span></figcaption>
<table id="A9.T6.3" class="ltx_tabular ltx_align_middle">
<tr id="A9.T6.3.1" class="ltx_tr">
<td id="A9.T6.3.1.1" class="ltx_td ltx_align_justify ltx_border_tt">
<span id="A9.T6.3.1.1.1" class="ltx_inline-block ltx_align_top">
<span id="A9.T6.3.1.1.1.1" class="ltx_p"><span id="A9.T6.3.1.1.1.1.1" class="ltx_text ltx_font_bold">Prompt</span></span>
</span>
</td>
<td id="A9.T6.3.1.2" class="ltx_td ltx_nopad_l ltx_nopad_r ltx_align_justify ltx_border_tt">
<span id="A9.T6.3.1.2.1" class="ltx_inline-block ltx_align_top">
<span id="A9.T6.3.1.2.1.1" class="ltx_p"><span id="A9.T6.3.1.2.1.1.1" class="ltx_text ltx_font_bold">Completion</span></span>
</span>
</td>
</tr>
<tr id="A9.T6.3.2" class="ltx_tr">
<td id="A9.T6.3.2.1" class="ltx_td ltx_align_justify ltx_border_t">
<span id="A9.T6.3.2.1.1" class="ltx_inline-block ltx_align_top">
<span id="A9.T6.3.2.1.1.1" class="ltx_p"><span id="A9.T6.3.2.1.1.1.1" class="ltx_text ltx_font_typewriter" style="font-size:50%;">&lt;BOS&gt;WHAT?!??! I know. That’s what you’re saying right now. "WHAT?! DISNEY HAS A DONUT SUNDAE AND I DIDN’T KNOW ABOUT IT?!" How do I know you’re saying that? Because that’s exactly what I was saying when Tina (&lt;- amazing DFB photographer who’s frigging awesome) spotted this at the Plaza Ice Cream Parlor in the Magic Kingdom this week!But it’s OK. It’s brand new — not even on the menu yet — so we didn’t miss out on too much of the Donut Sundae lifespan. And we’re hoping that lifespan is a nice, long one! The Main Street Plaza Ice Cream Parlor can be found at the intersection of Main Street USA and Tomorrowland, just before you get to Cinderella Castle. And the sundae joins a few other must-have treats on the Ice Cream Parlor’s menu, including the house-made ice cream sandwich (preferably ordered with a drizzled sauce!), the "kids’ cone" (it’s totally OK to order this as a grown</span></span>
</span>
</td>
<td id="A9.T6.3.2.2" class="ltx_td ltx_nopad_l ltx_nopad_r ltx_align_justify ltx_border_t">
<span id="A9.T6.3.2.2.1" class="ltx_inline-block ltx_align_top">
<span id="A9.T6.3.2.2.1.1" class="ltx_p"><span id="A9.T6.3.2.2.1.1.1" class="ltx_text ltx_font_typewriter" style="font-size:50%;">" adult adult! But NOT on a Snickers bar, too!), the kikos and curries (unless you use all the glaze from other frozen items in the store), and absolutely everything — as well as the desserts and ice cream itself. Guests can share their undie sundae or a gummy mummy figurine with the kiosk. Happy Butterfingers, and thanks for checking out the best all summer online.&lt;|endoftext|&gt;</span></span>
</span>
</td>
</tr>
<tr id="A9.T6.3.3" class="ltx_tr">
<td id="A9.T6.3.3.1" class="ltx_td ltx_align_justify ltx_border_t">
<span id="A9.T6.3.3.1.1" class="ltx_inline-block ltx_align_top">
<span id="A9.T6.3.3.1.1.1" class="ltx_p"><span id="A9.T6.3.3.1.1.1.1" class="ltx_text ltx_font_typewriter" style="font-size:50%;">&lt;BOS&gt;A notorious protester convicted of wilfully promoting hatred against Muslims and criminally harassing a Muslim man and his family was sentenced Tuesday to nine months in jail. Eric Brazau handed out a flyer that "vilified Muslims and disparages their religion," Ontario court Judge S. Ford Clements said in February, when he found Brazau guilty. Eric Brazau was convicted of willful promotion of hatred against Muslims and criminally harassing a Muslim family. ( CARLOS OSORIO / TORONTO STAR FILE PHOTO ) The case was far from being on the borderline between "rough and tumble debate" and hate speech, as Brazau had argued, Clements said in a College Park courtroom. Brazau handed out the flyer, which contained many offensive references to Islam and Muslims, in August and September 2012. While distributing it, Brazau sometimes yelled obscenities about Islam "in a tone of voice that suggested he was very angry and had little interest in debate," Clements said. Brazau had argued that he did not intend to promote hate speech; instead he wanted to stimulate debate about censorship, "blasphemy laws" and Sharia law, Clements said. Article Continued Below Clements disagreed.</span></span>
</span>
</td>
<td id="A9.T6.3.3.2" class="ltx_td ltx_nopad_l ltx_nopad_r ltx_align_justify ltx_border_t">
<span id="A9.T6.3.3.2.1" class="ltx_inline-block ltx_align_top">
<span id="A9.T6.3.3.2.1.1" class="ltx_p"><span id="A9.T6.3.3.2.1.1.1" class="ltx_text ltx_font_typewriter" style="font-size:50%;">""He presented that he could not create the views or arguments required in terms of hatred which I thought would promote even greater debate," Clements said of Brazau. Brazau’s lawyers have accused him of lying to get away with distributing offensive flyers to delegitimize a mosque location. Clements said Brazau wasn’t guilty of participating in the defacement of mosque equipment. He said because of his alleged victimization in an anti-Muslim message for months, the flyer has become an "internal crusade against the fundamental rights of our Muslim community." He said, although Brazau received laments for his actions, police did not find any unlawful activity during the June 2012 incident. "They could not seem to distinguish that the flyer has done anything illegal," Clements said. "We did find up-close images of the flyer at a nearby parking lot on June 12, which is a stunning part of what happened." The flyer said he had been planning to post an editorial about the case on his website in January. He wrote a memo outlining how his comments to his prior remarks had affected his views on Islam. He told a friend at one point that "I was trying to add as much drama as possible" to Muslim accusations he had received about his recent conduct, Clements said, but Brazau’s actions attracted too much attention. Article Continued Below He denied defacing the apartment they shared with his brother. He was sentenced to 15 months’ probation and ordered to pay $10,000 in restitution to his victims. Mesher Lalaini, the lawyer who represented Brazau on Tuesday, said he was appalled that police had failed to bring him to trial. However, he said his client told the judge he couldn’t believe that police were complicit in the attack.&lt;|endoftext|&gt;</span></span>
</span>
</td>
</tr>
<tr id="A9.T6.3.4" class="ltx_tr">
<td id="A9.T6.3.4.1" class="ltx_td ltx_align_justify ltx_border_t">
<span id="A9.T6.3.4.1.1" class="ltx_inline-block ltx_align_top">
<span id="A9.T6.3.4.1.1.1" class="ltx_p"><span id="A9.T6.3.4.1.1.1.1" class="ltx_text ltx_font_typewriter" style="font-size:50%;">&lt;BOS&gt;× Some Seattle businesses closed for ’A Day Without Immigrants’, but others decided against it SEATTLE — While there is no official list of local businesses participating in this movement, "A Day Without Immigrants", we did find some businesses that had closed their doors and posted signs up saying they were participating. In fact, one business owner says he’s doing things a little bit differently. Instead of shutting down, he says he is choosing to pay it forward. Please enable Javascript to watch this video Edward Moran moved from Mexico to the United States in 1984. He opened El Norte Lounge in Lake City about seven years ago. And instead of closing up shop along with many other immigrant small business owners across the nation, Eduardo was open for business Thursday."I don’t believe in closing a place just to protest," says Eduardo. Instead, he says he’s paying it forward. Eduardo is asking customers to pay in cash to avoid bank fees from credit card machines. He says he plans to donate a portion of his proceeds to a nonprofit that focuses on helping immigrants here in the Pacific Northwest. And he’s calling on</span></span>
</span>
</td>
<td id="A9.T6.3.4.2" class="ltx_td ltx_nopad_l ltx_nopad_r ltx_align_justify ltx_border_t">
<span id="A9.T6.3.4.2.1" class="ltx_inline-block ltx_align_top">
<span id="A9.T6.3.4.2.1.1" class="ltx_p"><span id="A9.T6.3.4.2.1.1.1" class="ltx_text ltx_font_typewriter" style="font-size:50%;">Seattle to take steps to address this injustice. "As some of these things have happened … I would like to do something a little different," says Eduardo. Eduardo took the day off from work Thursday. "I believe an important moment is for us to really make this what we are," says Ed. From Mexico to the United States, there are dozens of signs supporting immigrants who live here. Eduardo doesn’t fear that his business is destroyed because his business is shutting down due to currency restrictions. "I didn’t just start out as a business - I just made it money," says Eduardo. Eduardo says a lot of people here in the U.S. are immigrants to this country. He says there is people who have a much larger family standing by as they help other immigrants out.&lt;|endoftext|&gt;</span></span>
</span>
</td>
</tr>
<tr id="A9.T6.3.5" class="ltx_tr">
<td id="A9.T6.3.5.1" class="ltx_td ltx_align_justify ltx_border_t">
<span id="A9.T6.3.5.1.1" class="ltx_inline-block ltx_align_top">
<span id="A9.T6.3.5.1.1.1" class="ltx_p"><span id="A9.T6.3.5.1.1.1.1" class="ltx_text ltx_font_typewriter" style="font-size:50%;">&lt;BOS&gt;Today, Toyota announced changes in executives’ areas of responsibility, as well as personnel changes at the sub-executive managerial level. The most important change by far is the appointment of Akio Toyoda, the company’s CEO and grandson of founder Kiichiro Toyoda, as President of a new ’EV Business Planning’ department. Earlier this month, we reported-admittedly a little tongue-in-cheek-about Toyota announcing the creation of an electric vehicle division and putting only 4 engineers on the project with the goal to bring EVs to market by 2020. The move seems a lot more serious now that Akio Toyoda is leading the effort, and several other executives, managers, and engineers have been assigned new responsibilities in the electric vehicle planning department, including the chief engineer of the Prius. At the executive level, the changes will be effective today, while the managers were apparently put on the program throughout the month. You can see the full list of changes below. It appears to be a clear sign that Toyota is more serious than ever about electric vehicles and it is not simply investing in fuel cell hydrogen to comply to new fuel consumption standards. Changes to executives’ areas of responsibility</span></span>
</span>
</td>
<td id="A9.T6.3.5.2" class="ltx_td ltx_nopad_l ltx_nopad_r ltx_align_justify ltx_border_t">
<span id="A9.T6.3.5.2.1" class="ltx_inline-block ltx_align_top">
<span id="A9.T6.3.5.2.1.1" class="ltx_p"><span id="A9.T6.3.5.2.1.1.1" class="ltx_text ltx_font_typewriter" style="font-size:50%;">"(top image): Geneshiro Toyoda as President Akio Toyoda as CEO The company is stepping into a new era within the industry. Toyota will be taking a significant step forward moving forward with the program, along with all of the veteran EV experts who will be on board. Toyota will invest in another budget program with Nissan, and will also spend close to 2 percent more in this effort. Late last week, Toyota said the automaker is seeking federal money to launch and develop a Phase I funding program to support the Toyota SSP. While many people are skeptical of any measure&lt;BKSPC&gt; possible future partnerships, Toyota was confident that the group will be determined to get the program off the ground by 2020, and that a program would be here before too long. Toyota’s current projections indicate it will acquire Mitsubishi A-brand engines to support its No. 2 seat car, which will supply approximately 220,000 electric vehicles in 2020. The company is expected to have expanded the name in 2017, by launching a new hydrogen fuel cell vehicle between 2021 and 2023.
Ralph Hisefner as CEO New initiatives on Toyota’s Level 3 Vision Vision Future Systems Competition have been revealed today, but they are being designed to launch new development capabilities in this rapidly approaching market. By doing so, Toyota will be taking a step closer to the promise of wide-mileage electric vehicles, a goal already put to the ’Pim Super Super 500 Hybrid’ and the Toyota Vision Future technologies for the Toyota platform. Hyundai Tribute Pack Member (subsequently name changed): BMW i3 BMW i3 Gran Coupe SSI Kortis Accordingly, Toyota is assembling the brand S6, and with that said, even the really big crossover may be made by this new entrant. As stated in a Japanese blog: The KC-BY is forecast to surpass the 2012 ’Konami HD’ as the global hybrid vehicle market continues to grow. Toyota aims for the 2020 model to be able to extend global road segment recognition and hybrid vehicle capabilities to the top tier of the vehicle. The new vehicle that utilizes self-driving technology developed jointly in Toyota and BMW technology is expected to be available at the Tokyo Motor Show in March. The vehicle’s high-volume powertrain and low-land temperature drive technology combined with industry leading regenerative braking technology will enable use in some"</span></span>
</span>
</td>
</tr>
<tr id="A9.T6.3.6" class="ltx_tr">
<td id="A9.T6.3.6.1" class="ltx_td ltx_align_justify ltx_border_bb ltx_border_t">
<span id="A9.T6.3.6.1.1" class="ltx_inline-block ltx_align_top">
<span id="A9.T6.3.6.1.1.1" class="ltx_p"><span id="A9.T6.3.6.1.1.1.1" class="ltx_text ltx_font_typewriter" style="font-size:50%;">&lt;BOS&gt;North Korean leader Kim Jong Un. AP Images / Business Insider North Korea attempted to fire a missile Sunday, but it blew up within seconds. It happened one day after the anniversary of the country’s founding. While North Korea’s missile program may be the shadowiest on earth, it’s possible that US cyber warriors were the reason for the failed launch. A recent New York Times report uncovered a Kham secret operation to derail North Korea’s nuclear-missile program that has been raging for at least three years. Essentially, the report attributes North Korea’s high rate of failure with Russian-designed missiles to the US meddling in the country’s missile software and networks. Although North Korea’s missile infrastructure lacks the competence of Russia’s, the Soviet-era missile on which North Korea based its missile had a 13 rotten% failure rate, and the North Korean version failed a whopping 88% of the time, according to the report. While the missile failure on Sunday could have just been due to poor workmanship, US Deputy National Security Adviser K.T. McFarland seemed to leave room for speculation about espionage, telling Fox News, "We can’t talk about secret intelligence and things that might have been done</span></span>
</span>
</td>
<td id="A9.T6.3.6.2" class="ltx_td ltx_nopad_l ltx_nopad_r ltx_align_justify ltx_border_bb ltx_border_t">
<span id="A9.T6.3.6.2.1" class="ltx_inline-block ltx_align_top">
<span id="A9.T6.3.6.2.1.1" class="ltx_p"><span id="A9.T6.3.6.2.1.1.1" class="ltx_text ltx_font_typewriter" style="font-size:50%;">" yet what’s indisputable is that Russia has this capability." Experts in weapons of mass destruction, nor hobbyists, are all having it the way Washington does, so any possible moves must have been made based on failed missile maintenance. "You know what they’re doing," McFarland told Fox, "we’re not going to send the whole team along." Which is a strange thing for a reclusive state, not just because of North Korea’s weight, but also because its government boasted that it didn’t last long. These days, it appears to be a formula for luck and luck for the elites who once thought maybe they were doing something about the North Korean missile crisis. We’re supposed to give our president some credit for doing what he did and getting some information, but every year, late changes happen to stifle the executive in power. Madhya Pradesh, India and Bangladesh will always have to tighten security structures to ensure the integrity of North Korea’s defense, foreign affairs, and militaries. The Obama administration, concerned with other threatened nuclear war with China or the U.S., has been getting pretty wild about Kim Jong Il. President Obama only added to the tensions by denouncing Kim Jong Un’s activities as "evil." The latest episode in North Korea’s long downward spiral began with the sinking of a fifth submarine into the Korean Sea late last year, U.S. Pacific Command announced on its blog. In response to such concern, Obama pledged "recovery activities" against North Korea. In the same post, National Intelligence Director James Clapper said the administration will fight the North’s nuclear threats and leverage the means to get countries to do more. Meanwhile, Washington has recently raised concerns about Russia’s involvement in the crisis, and says sanctions imposed against Russia for its role in the conflict aren’t working.The president also told The Associated Press, "We urge President Putin to ensure that Russia does its business in international law and accountability."Listen to the full report from Business Insider, obtained by CNBC via a government-backed channel, here:&lt;|endoftext|&gt;</span></span>
</span>
</td>
</tr>
</table>
</figure>
<figure id="A9.T7" class="ltx_table">
<figcaption class="ltx_caption"><span class="ltx_tag ltx_tag_table">Table 7: </span><span id="A9.T7.2.1" class="ltx_text" style="font-size:90%;">Model Prompts and Completions for the 1024 MLE trained model. In this setting we simply generate sequences based on the prompt. Continued on the next page.</span></figcaption>
<table id="A9.T7.3" class="ltx_tabular ltx_align_middle">
<tr id="A9.T7.3.1" class="ltx_tr">
<td id="A9.T7.3.1.1" class="ltx_td ltx_align_justify ltx_border_tt">
<span id="A9.T7.3.1.1.1" class="ltx_inline-block ltx_align_top">
<span id="A9.T7.3.1.1.1.1" class="ltx_p"><span id="A9.T7.3.1.1.1.1.1" class="ltx_text ltx_font_bold" style="font-size:90%;">Prompt</span></span>
</span>
</td>
<td id="A9.T7.3.1.2" class="ltx_td ltx_nopad_l ltx_nopad_r ltx_align_justify ltx_border_tt">
<span id="A9.T7.3.1.2.1" class="ltx_inline-block ltx_align_top">
<span id="A9.T7.3.1.2.1.1" class="ltx_p"><span id="A9.T7.3.1.2.1.1.1" class="ltx_text ltx_font_bold" style="font-size:90%;">Completion</span></span>
</span>
</td>
</tr>
<tr id="A9.T7.3.2" class="ltx_tr">
<td id="A9.T7.3.2.1" class="ltx_td ltx_align_justify ltx_border_t">
<span id="A9.T7.3.2.1.1" class="ltx_inline-block ltx_align_top">
<span id="A9.T7.3.2.1.1.1" class="ltx_p"><span id="A9.T7.3.2.1.1.1.1" class="ltx_text ltx_font_typewriter" style="font-size:50%;">WHAT?!??! I know. That’s what you’re saying right now. "WHAT?! DISNEY HAS A DONUT SUNDAE AND I DIDN’T KNOW ABOUT IT?!" How do I know you’re saying that? Because that’s exactly what I was saying when Tina (&lt;- amazing DFB photographer who’s frigging awesome) spotted this at the Plaza Ice Cream Parlor in the Magic Kingdom this week!But it’s OK. It’s brand new — not even on the menu yet — so we didn’t miss out on too much of the Donut Sundae lifespan. And we’re hoping that lifespan is a nice, long one! The Main Street Plaza Ice Cream Parlor can be found at the intersection of Main Street USA and Tomorrowland, just before you get to Cinderella Castle. And the sundae joins a few other must-have treats on the Ice Cream Parlor’s menu, including the house-made ice cream sandwich (preferably ordered with a drizzled sauce!), the "kids’ cone" (it’s totally OK to order this as a grown</span></span>
</span>
</td>
<td id="A9.T7.3.2.2" class="ltx_td ltx_nopad_l ltx_nopad_r ltx_align_justify ltx_border_t">
<span id="A9.T7.3.2.2.1" class="ltx_inline-block ltx_align_top">
<span id="A9.T7.3.2.2.1.1" class="ltx_p"><span id="A9.T7.3.2.2.1.1.1" class="ltx_text ltx_font_typewriter" style="font-size:50%;">up treat, since kids eat cake too!), and good ol’ fashioned vanilla ice cream! Following the Donut Sundae today, you can order, pre-order, and shop the entire deliciously designed sundae at the Ice Cream Parlor at DFB. Don’t miss anything out of the box, besides the usual fine-dining fries and your favorite spreads! You can also pick up your order through Amalgamated Beverage Box, which is located right next door on the corner of Tamar Observatory and Tomorrowland Drive. To snag one of the vendors like the crazy-large beanies-and-donuts lunch-and-dinner, grab a tin from the shop, sneak in to talk at a meeting (we take great care around door 24) as the chefs sit down to work on the sundae, or walk out into the lobby to enjoy the hospitality before they head in to the cooling room. Also, come enjoy the serenity. I know, yes, there is a switch in the light switch, but let’s not forget about the steam simmering during cooling, and the popcorn-like pokey boy-ness under the table! Especially when you have other items. And the floor plan, by the way, is the most open dining room in Chicago. No kidding. View the Artists Competing for Banned Comics! Happy First Wednesdays! We really enjoyed seeing you and talking to you and getting to work on the designs! Find more details about this contest here. And please continue on to our Facebook Page for more comment and suggestions about amazing artwork on a single page. Thanks! Do you like chocolate platters in work? No problem! You’ll love every second of this delicious, decadent dessert! You can learn more about the winner here! Like our Banned Comports on Facebook or follow us on Pinterest! PS: Your promo code your favorite comic writer or artist to be featured in our Facebook and Twitter sets. It only goes to the sable (B&amp;F) fans that pledge at their design size instead of the Super Furry ones. Don’t worry, we’ll give you a link to the cruella, so make sure to check back soon when we have another awesome one! Have a cool day! -Lisa More from Eup’s Beach Café The Other Circular</span></span>
</span>
</td>
</tr>
<tr id="A9.T7.3.3" class="ltx_tr">
<td id="A9.T7.3.3.1" class="ltx_td ltx_align_justify ltx_border_t">
<span id="A9.T7.3.3.1.1" class="ltx_inline-block ltx_align_top">
<span id="A9.T7.3.3.1.1.1" class="ltx_p"><span id="A9.T7.3.3.1.1.1.1" class="ltx_text ltx_font_typewriter" style="font-size:50%;">A notorious protester convicted of wilfully promoting hatred against Muslims and criminally harassing a Muslim man and his family was sentenced Tuesday to nine months in jail. Eric Brazau handed out a flyer that "vilified Muslims and disparages their religion," Ontario court Judge S. Ford Clements said in February, when he found Brazau guilty. Eric Brazau was convicted of willful promotion of hatred against Muslims and criminally harassing a Muslim family. ( CARLOS OSORIO / TORONTO STAR FILE PHOTO ) The case was far from being on the borderline between "rough and tumble debate" and hate speech, as Brazau had argued, Clements said in a College Park courtroom. Brazau handed out the flyer, which contained many offensive references to Islam and Muslims, in August and September 2012. While distributing it, Brazau sometimes yelled obscenities about Islam "in a tone of voice that suggested he was very angry and had little interest in debate," Clements said. Brazau had argued that he did not intend to promote hate speech; instead he wanted to stimulate debate about censorship, "blasphemy laws" and Sharia law, Clements said. Article Continued Below Clements disagreed.</span></span>
</span>
</td>
<td id="A9.T7.3.3.2" class="ltx_td ltx_nopad_l ltx_nopad_r ltx_align_justify ltx_border_t">
<span id="A9.T7.3.3.2.1" class="ltx_inline-block ltx_align_top">
<span id="A9.T7.3.3.2.1.1" class="ltx_p"><span id="A9.T7.3.3.2.1.1.1" class="ltx_text ltx_font_typewriter" style="font-size:50%;">(U+FFFD) The defendant clearly is guilty," Clements said. "It is not a state where you can engage with a matter as legitimate." David Holt, Brazau’s lawyer, said in a brief that his client’s lawyer wanted more evidence. Holt said anything he found "seriously offensive," including white, male and Hispanic B-list and middle-class millennial controversy, "needs more serious and substantial exculpatory evidence." Supreme Court Justice Viviane Dawson added that her "courtesy orders order" for trial, ordering him to send the flyer, "was a ’badity order’ which demonstrates the attorney general — not himself — has failed to act in an appropriately proportionate fashion to the malicious impulses he states in his charges’ aggravation motion. Crown attorney Sarah Walcott warned that lack of evidence was likely to result in a lengthy jail sentence for Brazau and his attorneys. But prosecutors also vowed to pursue additional charges at a sentencing hearing in mid-June, when a trial, if it progresses, will take place. Walcott said the judge showed "[He] showed extraordinary competency, and delivered on his word." A hearing for the man in last July’s trial is set for Dec. 15. Facing charges of criminal harassment and incitement to hatred and incitement to hatred of others, Brazau refused to come out of his lawyer’s office before the trial began on March 1, but was found to be a witness at the first witness stand, a guilty plea hearing set for June 18. During the first stand, Brazau was accused of giving contradictory and false information about Islam and Muslims that could back up a reference to Islam being "genocidal," "indecent and ultimately un-Islamic," and "not innocent." Brazau’s lawyer went on to state: "It doesn’t matter if you’re in the community, church, synagogue, anywhere, I’m not a threat to anyone. Not a threat to God, nor the communities in the city of College Park, I’m a threat to others, because I care deeply about the faith of these people." The city of College Park is the home of the University of Toronto and the University of Ottawa, as well as the Little Ethiopia Peek Park in southern Ontario. The court ordered that the flyer stop promoting hate</span></span>
</span>
</td>
</tr>
<tr id="A9.T7.3.4" class="ltx_tr">
<td id="A9.T7.3.4.1" class="ltx_td ltx_align_justify ltx_border_t">
<span id="A9.T7.3.4.1.1" class="ltx_inline-block ltx_align_top">
<span id="A9.T7.3.4.1.1.1" class="ltx_p"><span id="A9.T7.3.4.1.1.1.1" class="ltx_text ltx_font_typewriter" style="font-size:50%;">× Some Seattle businesses closed for ’A Day Without Immigrants’, but others decided against it SEATTLE — While there is no official list of local businesses participating in this movement, "A Day Without Immigrants", we did find some businesses that had closed their doors and posted signs up saying they were participating. In fact, one business owner says he’s doing things a little bit differently. Instead of shutting down, he says he is choosing to pay it forward. Please enable Javascript to watch this video Edward Moran moved from Mexico to the United States in 1984. He opened El Norte Lounge in Lake City about seven years ago. And instead of closing up shop along with many other immigrant small business owners across the nation, Eduardo was open for business Thursday. "I don’t believe in closing a place just to protest," says Eduardo. Instead, he says he’s paying it forward. Eduardo is asking customers to pay in cash to avoid bank fees from credit card machines. He says he plans to donate a portion of his proceeds to a nonprofit that focuses on helping immigrants here in the Pacific Northwest. And he’s calling on other</span></span>
</span>
</td>
<td id="A9.T7.3.4.2" class="ltx_td ltx_nopad_l ltx_nopad_r ltx_align_justify ltx_border_t">
<span id="A9.T7.3.4.2.1" class="ltx_inline-block ltx_align_top">
<span id="A9.T7.3.4.2.1.1" class="ltx_p"><span id="A9.T7.3.4.2.1.1.1" class="ltx_text ltx_font_typewriter" style="font-size:50%;">business owners to do the same. "If we do this together for one week, I want to see the impact we have on this economy at the bank," says Eduardo. "We’re supporting him and his efforts and he’s paying it forward," says customer Kim Lawson. "I think it’s important to honor those people who are here and working really hard," says customer Jill Scollard. While there is no official list of businesses participating in this protest locally, we drove around Seattle tonight and found a few shops, including one on Capital Hill and one in White Center, with notices on the door saying they were shut down in support of "A day without immigrants". "I did think about closing, but my heart told me and my gut instincts said you are wrong," says Eduardo. While he knows some may criticize him for staying open, he says he’s doing what he thinks is best for his business and his employees. "In this industry everybody makes money every day; tips, you stop it’s not just your paycheck, it’s your tips. Share the wealth instead of stopping and not doing anything work hard and share the wealth," says Eduardo.&lt;|endoftext|&gt;</span></span>
</span>
</td>
</tr>
<tr id="A9.T7.3.5" class="ltx_tr">
<td id="A9.T7.3.5.1" class="ltx_td ltx_align_justify ltx_border_bb ltx_border_t">
<span id="A9.T7.3.5.1.1" class="ltx_inline-block ltx_align_top">
<span id="A9.T7.3.5.1.1.1" class="ltx_p"><span id="A9.T7.3.5.1.1.1.1" class="ltx_text ltx_font_typewriter" style="font-size:50%;">Today, Toyota announced changes in executives’ areas of responsibility, as well as personnel changes at the sub-executive managerial level. The most important change by far is the appointment of Akio Toyoda, the company’s CEO and grandson of founder Kiichiro Toyoda, as President of a new ’EV Business Planning’ department. Earlier this month, we reported-admittedly a little tongue-in-cheek-about Toyota announcing the creation of an electric vehicle division and putting only 4 engineers on the project with the goal to bring EVs to market by 2020. The move seems a lot more serious now that Akio Toyoda is leading the effort, and several other executives, managers, and engineers have been assigned new responsibilities in the electric vehicle planning department, including the chief engineer of the Prius. At the executive level, the changes will be effective today, while the managers were apparently put on the program throughout the month. You can see the full list of changes below. It appears to be a clear sign that Toyota is more serious than ever about electric vehicles and it is not simply investing in fuel cell hydrogen to comply to new fuel consumption standards. Changes to executives’ areas of responsibility</span></span>
</span>
</td>
<td id="A9.T7.3.5.2" class="ltx_td ltx_nopad_l ltx_nopad_r ltx_align_justify ltx_border_bb ltx_border_t">
<span id="A9.T7.3.5.2.1" class="ltx_inline-block ltx_align_top">
<span id="A9.T7.3.5.2.1.1" class="ltx_p"><span id="A9.T7.3.5.2.1.1.1" class="ltx_text ltx_font_typewriter" style="font-size:50%;">In the electric car area, Toyota has moved more recently to give executive members over-engineering a big lift. That includes John Dahl, president and CEO of Toyota Motor Corp. Chicago, and also will likely include Jeff Gunderson, CEO and Chairman of Toyota Motor Corp., and others like it. We’ll keep you updated when more information becomes available. Earlier this month, President of Toyota, Gene Munster, addressed a gathering of executives in New York City. Here’s the transcript from his speech. Gene: I think we would be delighted to see our entire EV business expanded into electric vehicles and we’ve got great, fast-charging options in the market, we’ve had the opportunity for years and we have a great quality product, in this case, and I think we are very pleased to have Executive Chairman Jeffrey "Mugster" Marcus as Chairman and CEO of Toyota Motor. We’re thrilled to have Jeff again joining us as the President of Toyota Motor Corporation. In the introduction to the presentation at the event, Merriam-Webster shares executives’ priorities on developing electric vehicle hybrid vehicles. In total, CEO Musk noted that it is a "science… to build 50,000 EVs in the next three years," which translates to approximately one-quarter of vehicles on the road. This industry is already a technological majority, and manufacturers are rapidly showing off both a range and availability of new technology. However, the goal of Toyota’s EVs strategy continues to be to deliver electric cars. The company has spent the last five years pursuing this goal. To date, it has considered electric vehicles in 30 cities, but has yet to deliver them to consumers. At the moment, the company has three or four EV prototypes on the road with another two of them pending production. Two of those prototypes are on the road for sale to start next year in California; in the end, the company is committed to continue the conversation by developing test vehicles with multiple clean-energy and internal combustion engines. In the new environment as the company heads into 2020, a significant amount of executive leadership will be needed to work with executives to develop electric vehicles. Will the changes to executives’ areas of responsibility make its employees more focused on customer service? Mugster: There has been some focus recently on our core customers. We’re committed to winning in every community to be a leader in the</span></span>
</span>
</td>
</tr>
</table>
</figure>
<figure id="A9.T8" class="ltx_table">
<figcaption class="ltx_caption"><span class="ltx_tag ltx_tag_table">Table 8: </span><span id="A9.T8.2.1" class="ltx_text" style="font-size:90%;">Last Model Prompt and Completion for the 1024 MLE trained model. In this setting we simply generate sequences based on the prompt. Continued from the previous page.</span></figcaption>
<table id="A9.T8.3" class="ltx_tabular ltx_align_middle">
<tr id="A9.T8.3.1" class="ltx_tr">
<td id="A9.T8.3.1.1" class="ltx_td ltx_align_justify ltx_border_tt">
<span id="A9.T8.3.1.1.1" class="ltx_inline-block ltx_align_top">
<span id="A9.T8.3.1.1.1.1" class="ltx_p"><span id="A9.T8.3.1.1.1.1.1" class="ltx_text ltx_font_bold" style="font-size:90%;">Prompt</span></span>
</span>
</td>
<td id="A9.T8.3.1.2" class="ltx_td ltx_nopad_l ltx_nopad_r ltx_align_justify ltx_border_tt">
<span id="A9.T8.3.1.2.1" class="ltx_inline-block ltx_align_top">
<span id="A9.T8.3.1.2.1.1" class="ltx_p"><span id="A9.T8.3.1.2.1.1.1" class="ltx_text ltx_font_bold" style="font-size:90%;">Completion</span></span>
</span>
</td>
</tr>
<tr id="A9.T8.3.2" class="ltx_tr">
<td id="A9.T8.3.2.1" class="ltx_td ltx_align_justify ltx_border_t">
<span id="A9.T8.3.2.1.1" class="ltx_inline-block ltx_align_top">
<span id="A9.T8.3.2.1.1.1" class="ltx_p"><span id="A9.T8.3.2.1.1.1.1" class="ltx_text ltx_font_typewriter" style="font-size:50%;">North Korean leader Kim Jong Un. AP Images / Business Insider North Korea attempted to fire a missile Sunday, but it blew up within seconds. It happened one day after the anniversary of the country’s founding. While North Korea’s missile program may be the shadowiest on earth, it’s possible that US cyber warriors were the reason for the failed launch. A recent New York Times report uncovered a Kham secret operation to derail North Korea’s nuclear-missile program that has been raging for at least three years. Essentially, the report attributes North Korea’s high rate of failure with Russian-designed missiles to the US meddling in the country’s missile software and networks. Although North Korea’s missile infrastructure lacks the competence of Russia’s, the Soviet-era missile on which North Korea based its missile had a 13 rotten% failure rate, and the North Korean version failed a whopping 88% of the time, according to the report. While the missile failure on Sunday could have just been due to poor workmanship, US Deputy National Security Adviser K.T. McFarland seemed to leave room for speculation about espionage, telling Fox News, "We can’t talk about secret intelligence and things that might have been done</span></span>
</span>
</td>
<td id="A9.T8.3.2.2" class="ltx_td ltx_nopad_l ltx_nopad_r ltx_align_justify ltx_border_t">
<span id="A9.T8.3.2.2.1" class="ltx_inline-block ltx_align_top">
<span id="A9.T8.3.2.2.1.1" class="ltx_p"><span id="A9.T8.3.2.2.1.1.1" class="ltx_text ltx_font_typewriter" style="font-size:50%;">to defame someone. I’m just not a spy." Even the hacking incident did come with some initial dissent, in which North Korean leader Kim Jong Un accused Obama of "cheating" by overthrowing the country’s democratically elected government. He also said Obama should postpone a nuclear test to four years, as well as a lingering diplomatic hostage situation. "I’ve been trying to convince the American people that the nuclear submarine test was the (CIA’s) worst mistake of our decade," Kim said. Last Update: Sunday, 15 July 2016 KSA 17:04 - GMT 13:04 - Updated: Sunday, 15 July 2016 KSA 17:04 - GMT 12:04 - Source: Reuters © Copyright 2016 Cable News Service. All Rights Reserved. This material may not be published, broadcast, rewritten, or redistributed. This Story Filed Under: cybersecurity, fbi, global, world, nonuk, Pyongyang, DPRK, PRC Companies: public reaction, national launch date, nyc, reisen think tank, launch, Yonhap News Agency, news-service, unreisen North Korea Sources: McClatchy, F-Secure, NBC News, Time Warner Cable, F-Secure (Sony), WSJ, NTSC, Sputnik.com Post navigation As you can see from the chart above, North Korea has climbed to its second year of its 9 February election season, a considerable advancement over the debut year of previous years. Keep up to date with all the latest news with expert comment and analysis from Syngenta. Follow us on Twitter and Facebook for updates. As you can see in the graphic above, North Korea’s year is notable because it’s a much brighter point on the balance sheet with its long history of trade with other countries. However, America has both more pragmatic — and strategic — impulses in this. America will be more aware of who’s pushing North Korea, rather than just the actions of a few. That’s not to say that President Obama and his Cabinet have been "soft" on the country’s nuclear program. But what they both done is specifically try to reaffirm the need for US engagement in the Korean peninsula. We see the same thing happening with North Korea now as it did when the Obama administration first visited in 2006. The Trump administration, in emphasizing economic difficulties and its war on North Korean leader Kim Jong Un, can still influence the</span></span>
</span>
</td>
</tr>
</table>
</figure>
<div class="ltx_pagination ltx_role_newpage"></div>
</section>
</article>
</div>
<div class="ar5iv-footer"><a href="/html/2306.05425" class="ar5iv-nav-button ar5iv-nav-button-prev">◄</a>
    <a class="ar5iv-home-button" href="/"><img height="40" alt="ar5iv homepage" src="/assets/ar5iv.png"></a>
    <a href="/feeling_lucky" class="ar5iv-text-button">Feeling<br>lucky?</a>
    <a href="/log/2306.05426" class="ar5iv-text-button ar5iv-severity-warning">Conversion<br>report</a>
    <a class="ar5iv-text-button" target="_blank" href="https://github.com/dginev/ar5iv/issues/new?template=improve-article--arxiv-id-.md&title=Improve+article+2306.05426">Report<br>an issue</a>
    <a href="https://arxiv.org/abs/2306.05426" class="ar5iv-text-button arxiv-ui-theme">View&nbsp;original<br>on&nbsp;arXiv</a><a href="/html/2306.05427" class="ar5iv-nav-button ar5iv-nav-button-next">►</a>
</div><footer class="ltx_page_footer">
<a class="ar5iv-toggle-color-scheme" href="javascript:toggleColorScheme()" title="Toggle ar5iv color scheme"><span class="color-scheme-icon"></span></a>
<a class="ar5iv-footer-button" href="https://arxiv.org/help/license" target="_blank">Copyright</a>
<a class="ar5iv-footer-button" href="https://arxiv.org/help/policies/privacy_policy" target="_blank">Privacy Policy</a>

<div class="ltx_page_logo">Generated  on Thu Feb 29 02:06:24 2024 by <a target="_blank" href="http://dlmf.nist.gov/LaTeXML/" class="ltx_LaTeXML_logo"><span style="letter-spacing:-0.2em; margin-right:0.1em;">L<span class="ltx_font_smallcaps" style="position:relative; bottom:2.2pt;">a</span>T<span class="ltx_font_smallcaps" style="font-size:120%;position:relative; bottom:-0.2ex;">e</span></span><span style="font-size:90%; position:relative; bottom:-0.2ex;">XML</span><img src="data:image/png;base64,iVBORw0KGgoAAAANSUhEUgAAAAsAAAAOCAYAAAD5YeaVAAAAAXNSR0IArs4c6QAAAAZiS0dEAP8A/wD/oL2nkwAAAAlwSFlzAAALEwAACxMBAJqcGAAAAAd0SU1FB9wKExQZLWTEaOUAAAAddEVYdENvbW1lbnQAQ3JlYXRlZCB3aXRoIFRoZSBHSU1Q72QlbgAAAdpJREFUKM9tkL+L2nAARz9fPZNCKFapUn8kyI0e4iRHSR1Kb8ng0lJw6FYHFwv2LwhOpcWxTjeUunYqOmqd6hEoRDhtDWdA8ApRYsSUCDHNt5ul13vz4w0vWCgUnnEc975arX6ORqN3VqtVZbfbTQC4uEHANM3jSqXymFI6yWazP2KxWAXAL9zCUa1Wy2tXVxheKA9YNoR8Pt+aTqe4FVVVvz05O6MBhqUIBGk8Hn8HAOVy+T+XLJfLS4ZhTiRJgqIoVBRFIoric47jPnmeB1mW/9rr9ZpSSn3Lsmir1fJZlqWlUonKsvwWwD8ymc/nXwVBeLjf7xEKhdBut9Hr9WgmkyGEkJwsy5eHG5vN5g0AKIoCAEgkEkin0wQAfN9/cXPdheu6P33fBwB4ngcAcByHJpPJl+fn54mD3Gg0NrquXxeLRQAAwzAYj8cwTZPwPH9/sVg8PXweDAauqqr2cDjEer1GJBLBZDJBs9mE4zjwfZ85lAGg2+06hmGgXq+j3+/DsixYlgVN03a9Xu8jgCNCyIegIAgx13Vfd7vdu+FweG8YRkjXdWy329+dTgeSJD3ieZ7RNO0VAXAPwDEAO5VKndi2fWrb9jWl9Esul6PZbDY9Go1OZ7PZ9z/lyuD3OozU2wAAAABJRU5ErkJggg==" alt="Mascot Sammy"></a>
</div></footer>
</div>

    <script>
      var canMathML = typeof(MathMLElement) == "function";
      if (!canMathML) {
        var body = document.querySelector("body");
        body.firstElementChild.setAttribute('style', 'opacity: 0;');
        var loading = document.createElement("div");
        loading.setAttribute("id", "mathjax-loading-spinner");
        var message = document.createElement("div");
        message.setAttribute("id", "mathjax-loading-message");
        message.innerText = "Typesetting Equations...";
        body.prepend(loading);
        body.prepend(message);

        var el = document.createElement("script");
        el.src = "https://cdn.jsdelivr.net/npm/mathjax@3/es5/tex-mml-chtml.js";
        document.querySelector("head").appendChild(el);

        window.MathJax = {
          startup: {
            pageReady: () => {
              return MathJax.startup.defaultPageReady().then(() => {
                body.removeChild(loading);
                body.removeChild(message);
                body.firstElementChild.removeAttribute('style');
              }); } } };
      }
    </script>
    <script>
    // Auxiliary function, building the preview feature when
    // an inline citation is clicked
    function clicked_cite(e) {
      e.preventDefault();
      let cite = this.closest('.ltx_cite');
      let next = cite.nextSibling;
      if (next && next.nodeType == Node.ELEMENT_NODE && next.getAttribute('class') == "ar5iv-bibitem-preview") {
        next.remove();
        return; }
      // Before adding a preview modal,
      // cleanup older previews, in case they're still open
      document.querySelectorAll('span.ar5iv-bibitem-preview').forEach(function(node) {
        node.remove();
      })

      // Create the preview
      preview = document.createElement('span');
      preview.setAttribute('class','ar5iv-bibitem-preview');
      let target = document.getElementById(this.getAttribute('href').slice(1));
      target.childNodes.forEach(function (child) {
        preview.append(child.cloneNode(true));
      });
      let close_x = document.createElement('button');
      close_x.setAttribute("aria-label","Close modal for bibliography item preview");
      close_x.textContent = "×";
      close_x.setAttribute('class', 'ar5iv-button-close-preview');
      close_x.setAttribute('onclick','this.parentNode.remove()');
      preview.append(close_x);
      preview.querySelectorAll('.ltx_tag_bibitem').forEach(function(node) {
        node.remove();
      });
      cite.parentNode.insertBefore(preview, cite.nextSibling);
      return;
    }
    // Global Document initialization:
    // - assign the preview feature to all inline citation links
    document.querySelectorAll(".ltx_cite .ltx_ref").forEach(function (link) {
      link.addEventListener("click", clicked_cite);
    });
    </script>
    </body>
</html>

2306.05426
In many domains, autoregressive models can attain high likelihood on the task of predicting the next observation.
However, this maximum-likelihood (MLE)  objective does not necessarily match a downstream use-case of autoregressively generating high-quality sequences.
The MLE objective weights sequences proportionally to their frequency under the data distribution, with no guidance for the model’s behaviour out of distribution (OOD) : leading to compounding error during autoregressive generation.
In order to address this compounding error problem, we formulate sequence generation as an imitation learning (IL)  problem. This allows us to minimize a variety of divergences between the distribution of sequences generated by an autoregressive model and sequences from a dataset, including divergences with weight on OOD generated sequences.
The IL framework also allows us to incorporate backtracking by introducing abackspaceaction into the generation process. This further mitigates the compounding error problem by allowing the model to revert a sampled token if it takes the sequence OOD.
Our resulting method, SequenceMatch, can be implemented without adversarial training or architectural changes.
We identify the SequenceMatch-divergence as a more suitable training objective for autoregressive models which are used for generation. We show that empirically, SequenceMatch training leads to improvements over MLE on text generation with language models.
abstract
SequenceMatch: Imitation Learning for Autoregressive Sequence Modelling with Backtracking
Abstract
2306.05426
1IntroductionAutoregressive models such as the GPT series of causally masked transformersare able to perform a variety of downstream tasks such as question-answering, translation, and summarization, after simply training on a large corpus of text with the objective of predicting the next token given the previous tokens. However, autoregressive language models suffer from a variety of pathological behavior when deployed on the task of free-form text generation, particularly at lower generation temperatures or with smaller models. These include generating the same token or series of token repeatedly, or generating gibberish outputs. This phenomenon of degeneration for longer continuations has also been observed in autoregressive models for video.
This problem of neural text degeneration has been linked to the training objective for LLMs, which trains a conditional distribution for the next token given a (partial)  sentence.
When deployed in an autoregressive fashion, the model has its own outputs as inputs, resulting in a compounding error problem that rapidly takes the model out of distribution (OOD) . This compounding error problem is also a key issue in the imitation learning subfield of reinforcement learning, where the goal is to learn a policy (a distribution over next actions given the past)  which results in trajectories similar to a set of provided expert trajectories.
The approach of directly matching the expert’s actions leads to a compounding error, which has led to several works proposing to address this problem by minimizing alternative divergences. These alternative divergences encourage the policy to return to expert states if the generated trajectory starts to diverge from them.
We argue that two key issues can prevent autoregressive models trained with maximum-likelihood from generating fluent sequences at evaluation time. First is the divergence measure used to evaluate the difference between the model and the data distribution. Because the MLE loss does not have any contribution from OOD sequences, the behavior of the model on OOD sequences (such as those generated autoregressively)  is not constrained. We address this by minimizing the-divergence between a mixture of the data and autoregressively generated sequences. This divergence is known to perform much better than MLE in imitiation learning.Secondly, if a model generates an OOD token, there may be no natural continuation which is similar to sequences from the data distribution, and so the model may be unable to return to the data distribution even if our-divergence encourages this. To address this, we augment the generation process with a<backspace>action, which deletes the previous token, and allows the model to correct for erroneous generations.
By incorporating recent work in non-adversarial imitation learning, our method,SequenceMatch, is able to train autoregressive models against alternative divergences such as the-mixture divergence while augmenting the policy with a<backspace>action. The SequenceMatch loss is a fully supervised loss without adversarial training, and can be applied on top of pretrained models as a finetuning step.
To summarize our contributions:•We formulate the sequence generation problem as an imitation learning (IL)  problem, and formulate a general non-adverarial objective for minimizing divergences between occupancy measures based on, handling (among others)  the forward and reverse KL-divergence, JS-divergence, anddivergence.•We develop a novel masking scheme allowing training of a transformer-based autoregressive model with a<backspace>action with no additional overhead vs MLE.•Finally we evaluate the empirical performance of SequenceMatch-trained models, showing improved performance over the maximum likelihood objective in general text generation.Figure 1:A toy model of an autoregressive generation problem, such as language modelling. Our task is to learn a set of conditional distributions that continue the sequence similarly to those sequences in the dataset (green arrows) , and avoid incorrect next tokens (red arrows) . Our method trains against divergences that more heavily punish out-of-distribution sequences. We additionally introduce a<backspace>action which can backtrack from an erroneous token (dashed purple arrows) .
introduction
SequenceMatch: Imitation Learning for Autoregressive Sequence Modelling with Backtracking
1Introduction
2306.05426
2Preliminaries: Training Objectives for Autoregressive Models2.1KL-DivergenceTypically, autoregressive models are trained against a maximum-likelihood objective. This objective can be motivated by treating our dataset as consisting of sequences of random variables, with a corresponding probability distribution, with a fixed length. The goal is to learn a parameterized modelthat is close to. The KL-divergence between the data distribution and the model has a useful decomposition:(1) (2) whereis a constant that does not depend on. For a datasetof sequences drawn i.i.d. from, this can be approximated with an estimator.
Hence, minimizing the KL-divergence is equivalent to maximizing the model’s (log-)  likelihood of the next element in the sequence given the previous elements.
This formulation is statistically well-motivated and particularly convenient for architectures such as the transformer, where all conditionals over a sequence can be computed in parallel. The density under the data distributionis not required, which is convenient as it is typically unknown.
In some domains, the length of the sequencesdiffers in each example, which can be incorporated by choosing an effective length, and treating all sequences shorter thanas having a sequence of padding tokens appended111Some care is required here, as each averaging the loss of each example over its length leads to an inconsistent estimator.. In the sequel with some abuse of notation we will writefor, for partial sequences that may not terminate until after, andto signify the conditional probability of the next token given a partial sequence.2.1.1Limitations of the KL-divergenceHowever, while it is clear that minimizing the KL-divergence in equation (1)  will result in(for a sufficiently flexible parameterization) , it is not obvious what the behaviour is of models whichapproximatelyminimize the KL-divergence. In figure1, a chain distribution is shown, with sequences of length. The modelhas anerror on each conditional, where an error leads to an OOD sequence which has no support under the data distribution. This leads to an error in the KL metric of order.
However, the probability of getting to the end of the chain before an incorrect token is picked is, and so the value of the KL-divergence is not a good metric if our main quantity of interest is how often generated sequences are in-distribution.
Furthermore, the KL-divergence weights the loss by the frequency under the data distribution, so if sequences are rarely seen under the data distribution they are not very important in the total loss. One particular implication is that the model’s behavior out-of-distribution from the data is essentially undetermined.
In other words, there is no optimization pressure on the model to learn how to ‘recover’ from mistakes.In non-autoregressive generative modelling, a wide variety of different divergences are commonly used, such as the Wasserstein distanceand Fisher divergence. Particularly interesting is thedivergence. Indeed we see in figure1that the-divergence in this case is equal to the squared probability of staying in the data distribution of sequences. We can further penalize out-of-distribution behavior by considering the divergence between mixtures, as we do in our practical algorithm.
However, it is generally difficult in practice to compute any divergence involving the density of the data, which must be substituted for with an approximation from a discriminator.In the field of reinforcement learning, several methods have been discovered which can minimize divergences such as Wasserstein and JS between the distribution of trajectories from an expert and a learned policy.
The approaches are non-adversarial, even though the expert density is not known. A key feature of these methods is that they operate onoccupancy measuresinstead of joint distributions, a concept which we introduce in the next section3.
body
SequenceMatch: Imitation Learning for Autoregressive Sequence Modelling with Backtracking
2Preliminaries: Training Objectives for Autoregressive Models
2306.05426
3Method3.1Sequence Modelling as a Markov Decision ProcessWe consider a sequence model represented as a Markov decision process (MDP) , defined by a tuple (.represent state and action spaces,represents the dynamics,represents the reward function, andrepresents the discount factor. In our case, the state spaceis the set of all sequences (of all lengths)  with elements in a finite set(the vocabulary plus a<begin-sentence>token if not already present in the vocabulary) . The set of actionsis a finite set. For concreteness, we can assume that(i.e. we have aninsert-tokenaction for each token) , as well as additional editing actions (<backspace>, etc) . In our case, we will assume that the initial state is deterministically given by a special<begin-sentence>token, while the dynamics for aninsert-tokenaction in a state (sequence) leads deterministically to the sequenceconsisting ofwith the given token appended to the end.Combined with a policy, the MDP defines a distribution over (possibly infinite-length)  sequences, following the generative process of sampling an action, then sampling the next state, etc. Finally, we assume that a special end of sequence token<end-of-sentence>induces a terminal state: in any statewith<end-of-sentence>as the final element, all actions cause a self-transition towith probability 1. We note that this probabilistic process reduces exactly to the autoregressive formulation of sequence modelling when the action set is the same as the vocabulary, but is different when editing actions are introduced. We incorporate a single editing action,<backspace>. A backspace action in a statedeterministically transitions to a statewith the final token in the sequenceremoved.222In the case of=<begin-sentence>and<backspace>is used,=<begin-sentence>alsoAn example of the states and actions can be seen in figure2. As an additional example, the actions[a; <backspace>]have corresponding states[<begin-sentence>; <begin-sentence> a; <begin-sentence>]. The MDP framework formalizes the intuitive picture in figure1: the task of language modelling can be viewed as the traversal of a tree where the nodes are (partial)  sequences.A central quantity of interest is the occupancy measure. We denote bythe random variable consisting of the state at timeunder a policyand the MDP defined above. Then, the occupancy measureis the (discounted)  probability of observing a particular sentenceat timeand taking actiongiven that sentence:(3) In other words, the occupancy measure is proportional to the observed frequency of a particular (sentence, next-action)  pair occurring, with occurrances discounted in time by a factor of. In the absence of editing actions,and the occupancy measure is a discounted probability over (partial)  sequences: for a sequenceof length,, whereis the sequence obtained by appendingto.
Given editing actions which can reduce the length of a sequence, the occupancy measure becomes more complicated, as the same sequence can occur at multiple times.
For instance, if a sequence has lengthat timeand the<backspace>action is used, the sequence at timewill have length.
We note that the occupancy measure is a normalized probability distribution, even if editing actions are included. For a function, the expectation with respect tohas the usual meaning:, where the sum is over the discrete action space and (countably infinite)  state space.
Occupancy measures provide an alternative way of modelling sequences, allowing us to impose a measure over all sequences, even in the presence of editing actions. As such, we avoid the somewhat artificial treatment with a maximum length cut-off discussed in section2.1, and can handle infinite sequences in a natural manner. Furthermore, the next section illustrates that we can non-adversarially minimize a large variety of divergences between occupancy measures, compared to only the KL divergence in the typical joint probability formulation.3.2Minimizing Occupancy DivergencesOur aim is to learn a policywhich induces an occupancy measuresuch that it is close to the data occupancy measure. We define the data occupancy measure by forming the data policycorresponding to the conditionalsand setting the probability of editing actions to zero. It is known that matching occupancy measures implies matching policies: iffor a valid occupancy, then the corresponding. Therefore, it is reasonable to minimize divergences between occupancy measures.
We extend the derivations into the case with infinite-dimensional state space.
We consider distances between occupancy divergences parameterized by the following form:whereis a convex regularizer. The criticpicks out any differences between the occupancies, while if, the difference in expectations will be zero for any.
This family of divergences might seem restrictive, but show in the appendix that it includes all-divergences such as the KL and JS-divergence, as well as the Wasserstein distance and MMD.
The divergence minimization problem can be made tractable by adding an entropy term:(4) with the entropy, anda chosen regularization strength.
Substituting in the definition of, we obtain the min-max problem.
We prove in the appendix that the saddle-point property inextends to our infinite-dimensional case, so.
We can interpret the outer maximization as finding a criticfor sequences and actionssuch that the model has high values on examples from the dataset and low values on the examples from the learned model: i.e. it is a discriminator.
The inner minimization overis an entropy-regularized minimization of the KL-divergence betweenand.
If we were to approach this directly by explicitly learningand, we would have an objective similar to a GAN.
This is known to be difficult to train.
Instead, we are able to solve the problem with optimization over a single variable by a transformation of variables.
In the following section, we recover an objectivewhich is equivalent to the objective in equation (4) , but only involves optimization over the logits of a policy. We will setin the next section, with the understanding that we can recover the original objective by scalingandby.3.2.1Reformulating the Occupancy Divergence Minimization ProblemWe first introduce the-function, corresponding to the discounted rewards obtained in stateby taking action. Formally we define it as the unique fixed point of the soft Bellman operator, where, for the value function. The inverse Bellman operatoris the inverse of this operator, given by. For a fixed policy, there is a one-to-one correspondence betweenandvia the Bellman and inverse Bellman operators (proved in the appendix) . Crucially, for the unique occupancywhich solves, the optimal policycorresponding tois proportional to the corresponding-values:. The key idea of the following derivations is that the optimal policy is uniquely determined by the optimal-values, while the reward has a one-to-one correspondence with the-values. This allows us to optimize solely over-values.
We can now write a chain of equalities involving our loss.Proposition 3.1.The following equalities hold for the loss:whereis a concave function anddenotes an expectation over sampled statesand successor states, for any occupancy.(without)  is given byProof.The full proof is given in detail in the appendix. As a sketch, the first equality holds from the previous section. The second is obtained by replacingwithand verifying that the two optimization problems are equal. The third line is via a telescoping sum argument first described in. In the fourth line we replacewith a simpler regularizer, whereif, and infinity otherwise. In the fifth line we expand the telescoping sum in a different way, allowing us to incorporate samples from any policy. In the final line we parameterize the policy from the-values, setting. We then show that the optimization problem overhas the same optimum as the optimization over, allowing us to eliminatefrom the optimization entirely.
∎Because the-value directly gives the logits of the optimal policy via, we relabelasto make the connection to logits more clear. This results in the fully supervised objective over the logits of a policy(6) wherecorresponds to samplingfromandfrom. The value function is.Minimizing this objective is the same as solving,
where.
By choosingand, we can recover-divergences by referencing equation (1) , including KL, JS anddivergences, and the Wasserstein and MMD distances. The corresponding choices are given in the appendix.
body
SequenceMatch: Imitation Learning for Autoregressive Sequence Modelling with Backtracking
3Method
2306.05426
4Practical Occupancy Matching with Autoregressive Sequence ModelsFigure 2:Attention masks, position IDs, inputs and labels for states and actions. Transforming states and actions to single-pass inputs allows parallel computation of logits for all (state, action)  pairs.In practice, we wish to train a parameterized modelwhich can serve as a policy, emitting a probability distribution over the next action given a partially completed sequence. In domains such as language, a common choice is a transformer. The transformer architecture with parametersgives a probability distribution over the next tokengiven the previous tokens, parameterized as a set of logits. This is converted to a probability distribution as. Thus the typical MLE loss, given a sample from the dataset of a complete sequence, can be written as. We can write this using the value function notation as.We now wish to equivalently form an estimator for the loss in equation (6) . To do this, samples fromare required. We obtain these samples by sampling complete sequences from the policy autoregressively and weighting the partial sequence at timeby a factor of. We similarly sample sequences fromby sampling complete sequences fromand weighting. We must take some care with the terminal states, which we discuss below.Then, given a length-N sequence of statesfrom a dataset of sequences, corresponding actionsand a generated length-sequenceof states from the model, we can form an estimator for the loss in equation (6) :(7) with(8) and.
The separate treatment of the<eos>tokens arises because we must take a sum over the infinite timesteps in equation (3)  in the terminal states with<eos>tokens. Analytically computing this infinite sum results in the terms in. It has also been shownthat minimizing the the divergence of mixturesis more effective than simply minimizing the-divergence between model and data. This can be implemented by calculating the loss for the-divergence (with)  and adding an additional regularization term.While the overall objectivemay look similar to the MLE estimator due to theterm, it should be stressed that the normalization is with respect to the next sequence state, as opposed to the MLE loss which normalizes according to the current sequence state.While the lossmay look obscure, it is instructive to take the limit asfor thecorresponding to the KL-divergence. We show in the appendix that we do indeed have. The equality follows by approximatingifhas a Taylor expansion at 0, which allows a linearization ofand simplifications. We also show that in the absence of editing actions,reduces to a-reweighted MLE objective.4.1Relative Efficiency of Generating During TrainingOur loss as presented requires sampling from the model during training. Sampling is generally much slower than computing the logits. Even when using caching to reduce unnecessary recomputations, the time taken to sample from the model will scale with the expected length of the sequence. However, the sequences do not need to be exactly sampled from the current policy. Since any policy can be used, we can keep sequences generated from the policy at previous training steps, stored in a replay buffer. We give an empirical analysis of the overhead when using SequenceMatch in the appendix.4.2Efficient Implementation of Backspace with Editing ActionsEditing actions which can delete previous parts of the input are challenging to implement while retaining the fast training of transformer-based autoregressive models. For instance, the sequence of actions[a; b; <backspace>]cannot be fed directly into a policy network, since it contains actions, not states. The sequence[a; b; <backspace>]is not a valid state: the corresponding state is[<begin-sentence> a].In order to convert this into a form where we can compute the relevant logits using masked attention, we must pre-process the sequence of actions into corresponding inputs, labels, masks and position IDs using algorithm A in the appendix. The preprocessing is illustrated in figure2. On the other hand, generation with<backspace>actions is straightforward: we already keep previous key-value cached values for generation with transformers. When<backspace>is sampled, we simply roll back the state of the key-value cache and position id with negligible overhead.4.3Augmenting Expert Sequences with BackspaceTo provide the policy with examples of how the<backspace>token should be used, we augment the data sequences as follows: with (small)  probability, we replace a sequencewith<backspace>, whereis chosen randomly from the vocabulary. However, we keep the action at positionas, with the result that the overall MDP is augmented with a stochastic dynamics: with probabilitya random token is inserted, instead of the chosen action. We also apply this to sequences which exceed the context length: the action is kept the same but the next token is forced to be the<eos>token. This introduces bias, as the policy learns to match the data distribution under a slightly different MDP than generation takes place in. In practice however, it leads to improved performance compared to the policy learning with no examples of<backspace>.Input :Datasetof data sequences, gradient-based optimizerstep, number of train steps, parameters, sampling interval, fixed context lengthAdd noise and process data sequences with algorithm A to form new effective trajectoriesInitialize bufferof model sequences; Initialize autoregressive policyforindoifthenPopulatewith trajectories; Process added sequences with algorithm ARemove oldest model sequences fromend ifSample dataset trajectoriesand model trajectoriesComputeand updateviastepusing gradientend forAlgorithm 1Training an autoregressive model against a SequenceMatch objective
body
SequenceMatch: Imitation Learning for Autoregressive Sequence Modelling with Backtracking
4Practical Occupancy Matching with Autoregressive Sequence Models
2306.05426
5Related WorkText Degeneration in Large Language ModelsIn natural language processing (NLP)  the phenomenon oftext degenerationcan occur, when a language model produces repetitive or nonsensical sequences.
Many explanations have been proposed to explain this phenomenon; a leading theory is that the large vocabulary size induces the model to over-estimate the probability of out-of-distribution (OOD)  tokens.
Once these tokens are sampled, the model’s context is now out-of-distribution.Measures to mitigate this problem include top-sampling, restricting generations to themost likely tokens, and top-sampling, an adaptive variant of top-sampling.
In addition, several alternative training measures have been proposed to reduce the probability of the model producing OOD tokens.
Unlikelihood trainingis discussed in detail in the appendix, while contrastive methods have also been proposed, which force the representations of repetitive text to be far from the representations of correct text.Matching Divergences in Imitation LearningIn the imitation learningsubfield of RL, the objective is to learn a policy giving a distribution over actions in each state, such that the distribution over trajectories is close to distribution of a set of provided expert trajectories.
A simple approach is behavioural cloning, which maximizes the likelihood of the expert’s chosen actions, on average over the states that the expert encounters.
However, it has been shownthat this simple behaviour cloning approach results in acompounding errorproblem, where the further the trained model gets from the typical expert states, the worse the model performs, incurring increasing error.show that minimizing the occupancy divergence between the expert and a learned policy could be written as a two-variable saddle-point optimization problem.
This more sophisticated method is able to take the dynamics of the problem into account, learning a policy which can return to the typical expert states if it erroneously leaves them.
In, this was further developed via a change of variables to only require a non-adversarial optimization over one variable.
We can view our approach as a specialization of the IQ-Learn algorithm into autoregressive sequence models.
body
SequenceMatch: Imitation Learning for Autoregressive Sequence Modelling with Backtracking
5Related Work
2306.05426
6ExperimentsFigure 3:MAUVE score when fine-tuning GPT2 of various sizes on the openwebtext dataset with context length 512. Higher is better. Full and LM Head refer to which parts of the pretrained model are trained. We see that SequenceMatch outperforms behavioral cloning and MLE. The fully trained models achieve much higher MAUVE scores than the variant only training the head.We experimentally verify that SequenceMatch can lead to better generation of sequences compared to the typical maximum-likelihood objective, when evaluated on a language modelling task. Many more experimental details, code and additional analyses are provided in the supplementary material.Experimental SetupWe use the GPT-2causally-masked transformer architecture through Huggingfaceand Flax/Jax. We finetune on sequences from the openwebtext dataset333https://github.com/jcpeterson/openwebtext, an open-sourced dataset similar to the original GPT-2 training set. To ensure the data was well-specified under our data generating process, we subsampled the dataset to remove sequences that did not terminate before the end of the context window (512 for experiments in figure3and 1024 for results in table1) , and padded sequences that terminated before the context length. We consider two training regimes:Full, where all model parameters are trained, andLM Head, where the model parameters are frozen and the final linear layer is trained. In both cases we add an additional head depending on the positional encodings to the model which generates an offset to the logits, allowing a position-dependent offset to be learned.
We compare a SequenceMatch-trained model against two baselines:MLEis a model trained against the typical MLE objective.Behavioral Cloningis a model trained with injected noise and<backspace>labels, but the MLE objective. Due to computational constraints we were unable to train on multiple seeds to obtain error bars. We train for 50,000 gradient steps with the AdamW optimizer, taking hyperparameters from the nanoGPT implementation444https://github.com/karpathy/nanoGPT. We set,andfor a length-context window (i.e. 0.998, 0.999 respectively) . Our metric for quality of generations is the MAUVE score, a non-parametric method for evaluating the quality of a generative model. The MAUVE score is formed by taking a low-dimensional PCA of an embedding of the generated sequences (here, a GPT2-XL encoder) . The score is a mixture of forward and reverse KLs between the data and model-generated sequences, between zero and one (higher is better) . We also report a diversity metric, given by, wherefor a continuation.ResultsThe results are shown in figure3and table1. We observe that, as measured by the MAUVE score, the SequenceMatch-trained models generate text that is closer to the dataset. The SequenceMatch-trained models also outperform MLE and BC on the diversity metric (shown in the appendix) . Furthermore, the samples from the SequenceMatch-trained model appear more fluent (random samples and additional statistics are shown in the appendix) . In table1, we show the result of training a GPT2-small model on the full 1024 context length case. We observe that the SequenceMatch-trained model is outperformed on the perplexity metric by the BC and MLE-trained methods. This is expected, as the training objective for BC and MLE is exactly equal to the perplexity. However, on the measures of generation quality (MAUVE score and diversity) , the SM-trained model far outperforms the baselines.Mauve Score () Perplexity () Diversity () SM-0.974.690.58BC0.554.520.44MLE0.514.510.55Table 1:A GPT-2-small model finetuned against different losses, with context length 1024. The maximum-likelihood methods (BC and MLE)  achieve good perplexity, which measures the probability of the next token being chosen correctly. However, they do much worse on the mauve score and diversity, measuring quality of the generated text when sampled autoregressively.6.1Limitations and ConclusionWe address the compounding error problem in autoregressive sequence generation by formulating the problem in the imitation learning (IL)  framework, deriving a general non-adversarial objective for minimizing divergences between occupancy measures induced by a learned model and the data distribution. We develop a novel masking scheme allowing training of a transformer-based autoregressive model with a<backspace>action with small overhead vs MLE, further reducing compounding error by facilitating backtracking. Empirically, the SequenceMatch objective leads to improvements over MLE at text generation. The main limitation with our method is the requirement to generate samples autoregressively while training, which can be expensive for long contexts. We give an empirical examination of this training overhead in the appendix. A secondary limitation is a more complex loss and requirement to process sequences to mask backspaces during training. Future work can investigate the effect of training larger models against SequenceMatch objectives, as well as how the qualities of generations change with choice of divergence.
conclusion
SequenceMatch: Imitation Learning for Autoregressive Sequence Modelling with Backtracking
6Experiments