<!DOCTYPE html><html lang="en">
<head>
<meta http-equiv="content-type" content="text/html; charset=UTF-8">
<title>[2310.10505] ReMax: A Simple, Effective, and Efficient Reinforcement Learning Method for Aligning Large Language Models</title><meta property="og:description" content="Alignment is crucial for training large language models. The predominant strategy is Reinforcement Learning from Human Feedback (RLHF), with Proximal Policy Optimization (PPO) as the de-facto algorithm. Yet, PPO is kno…">
<meta name="viewport" content="width=device-width, initial-scale=1">
<meta name="twitter:card" content="summary">
<meta name="twitter:title" content="ReMax: A Simple, Effective, and Efficient Reinforcement Learning Method for Aligning Large Language Models">
<meta name="twitter:image:src" content="https://ar5iv.labs.arxiv.org/assets/ar5iv_card.png">
<meta name="twitter:image:alt" content="ar5iv logo">
<meta property="og:title" content="ReMax: A Simple, Effective, and Efficient Reinforcement Learning Method for Aligning Large Language Models">
<meta property="og:site_name" content="ar5iv">
<meta property="og:image" content="https://ar5iv.labs.arxiv.org/assets/ar5iv_card.png">
<meta property="og:type" content="article">
<meta property="og:url" content="https://ar5iv.labs.arxiv.org/html/2310.10505">

<!--Generated on Wed Feb 28 01:03:35 2024 by LaTeXML (version 0.8.8) http://dlmf.nist.gov/LaTeXML/.-->
<meta name="viewport" content="width=device-width, initial-scale=1, shrink-to-fit=no">

<script>
  function detectColorScheme(){
    var theme="light";
    var current_theme = localStorage.getItem("ar5iv_theme");
    if(current_theme){
      if(current_theme == "dark"){
        theme = "dark";
      } }
    else if(!window.matchMedia) { return false; }
    else if(window.matchMedia("(prefers-color-scheme: dark)").matches) {
      theme = "dark"; }
    if (theme=="dark") {
      document.documentElement.setAttribute("data-theme", "dark");
    } else {
      document.documentElement.setAttribute("data-theme", "light"); } }

  detectColorScheme();

  function toggleColorScheme(){
    var current_theme = localStorage.getItem("ar5iv_theme");
    if (current_theme) {
      if (current_theme == "light") {
        localStorage.setItem("ar5iv_theme", "dark"); }
      else {
        localStorage.setItem("ar5iv_theme", "light"); } }
    else {
        localStorage.setItem("ar5iv_theme", "dark"); }
    detectColorScheme(); }
</script>
<link media="all" rel="stylesheet" href="/assets/ar5iv-fonts.0.7.9.min.css"><link media="all" rel="stylesheet" href="/assets/ar5iv.0.7.9.min.css"><link media="all" rel="stylesheet" href="/assets/ar5iv-site.0.2.2.css">
</head>
<body>
<div class="ltx_page_main">
<div class="ltx_page_content">
<article class="ltx_document ltx_authors_1line"><span id="id1" class="ltx_note ltx_role_affiliationtext"><sup class="ltx_note_mark">1</sup><span class="ltx_note_outer"><span class="ltx_note_content"><sup class="ltx_note_mark">1</sup><span class="ltx_note_type">affiliationtext: </span>The Chinese University of Hong Kong, Shenzhen</span></span></span><span id="id2" class="ltx_note ltx_role_affiliationtext"><sup class="ltx_note_mark">2</sup><span class="ltx_note_outer"><span class="ltx_note_content"><sup class="ltx_note_mark">2</sup><span class="ltx_note_type">affiliationtext: </span>Shenzhen Research Institute of Big Data</span></span></span><span id="id3" class="ltx_note ltx_role_affiliationtext"><sup class="ltx_note_mark">3</sup><span class="ltx_note_outer"><span class="ltx_note_content"><sup class="ltx_note_mark">3</sup><span class="ltx_note_type">affiliationtext: </span>National Key Laboratory for Novel Software Technology, Nanjing University</span></span></span><span id="id4" class="ltx_note ltx_role_affiliationtext"><sup class="ltx_note_mark">4</sup><span class="ltx_note_outer"><span class="ltx_note_content"><sup class="ltx_note_mark">4</sup><span class="ltx_note_type">affiliationtext: </span>Polixir.ai</span></span></span>
<h1 class="ltx_title ltx_title_document">ReMax: A Simple, Effective, and Efficient Reinforcement Learning Method for Aligning Large Language Models</h1>
<div class="ltx_authors">
<span class="ltx_creator ltx_role_author">
<span class="ltx_personname">Ziniu Li
</span><span class="ltx_author_notes">Email: <span id="id2.1.id1" class="ltx_text ltx_font_typewriter">ziniuli@link.cuhk.edu.cn</span></span></span>
<span class="ltx_creator ltx_role_author">
<span class="ltx_personname">Tian Xu
</span><span class="ltx_author_notes">Email: <span id="id3.1.id1" class="ltx_text ltx_font_typewriter">xut@lamda.nju.edu.cn</span></span></span>
<span class="ltx_creator ltx_role_author">
<span class="ltx_personname">Yushun Zhang
</span><span class="ltx_author_notes">Email: <span id="id4.1.id1" class="ltx_text ltx_font_typewriter">yushunzhang@link.cuhk.edu.cn</span></span></span>
<span class="ltx_creator ltx_role_author">
<span class="ltx_personname">Zhihang Lin
</span><span class="ltx_author_notes">Email: <span id="id5.1.id1" class="ltx_text ltx_font_typewriter">lzhforg@gmail.com</span></span></span>
<span class="ltx_creator ltx_role_author">
<span class="ltx_personname">
<br class="ltx_break">Yang Yu
</span><span class="ltx_author_notes">Corresponding authors. Emails: <span id="id6.1.id1" class="ltx_text ltx_font_typewriter">yuy@nju.edu.cn</span> and <span id="id7.2.id2" class="ltx_text ltx_font_typewriter">sunruoyu@cuhk.edu.cn</span></span></span>
<span class="ltx_creator ltx_role_author">
<span class="ltx_personname">Ruoyu Sun<sup id="id8.2.id1" class="ltx_sup"><span id="id8.2.id1.1" class="ltx_text ltx_font_italic">♯</span></sup>
</span><span class="ltx_author_notes"></span></span>
<span class="ltx_creator ltx_role_author">
<span class="ltx_personname">Zhi-Quan Luo
</span><span class="ltx_author_notes">Email: <span id="id9.1.id1" class="ltx_text ltx_font_typewriter">luozq@cuhk.edu.cn</span></span></span>
</div>

<div class="ltx_abstract">
<h6 class="ltx_title ltx_title_abstract">Abstract</h6>
<p id="id10.id1" class="ltx_p">Alignment is crucial for training large language models. The predominant strategy is Reinforcement Learning from Human Feedback (RLHF), with Proximal Policy Optimization (PPO) as the de-facto algorithm. Yet, PPO is known to struggle with computational inefficiency, a challenge that this paper aims to address. We identify three important properties of RLHF tasks: fast simulation, deterministic transitions, and trajectory-level rewards, which are <em id="id10.id1.1" class="ltx_emph ltx_font_italic">not</em> leveraged in PPO. Based on these properties, we develop ReMax, a new algorithm tailored for RLHF. The design of ReMax builds on the celebrated algorithm REINFORCE but is enhanced with a new variance-reduction technique.</p>
<p id="id11.id2" class="ltx_p">ReMax offers threefold advantages over PPO: first, it is simple to implement with just 6 lines of code. It further eliminates more than 4 hyper-parameters in PPO, which are laborious to tune. Second, ReMax reduces memory usage by about 50%. To illustrate, PPO runs out of memory when fine-tuning a Llama2-7B model on A100-80GB GPUs, whereas ReMax can support the training. Even though memory-efficient techniques (e.g., ZeRO and offload) are employed for PPO to afford training, ReMax can utilize a larger batch size to increase throughput. Third, in terms of wall-clock time, PPO is about twice as slow as ReMax per iteration. Importantly, these improvements do not sacrifice task performance. We hypothesize that these advantages can be maintained in larger-scale models.<span id="footnote1" class="ltx_note ltx_role_footnote"><sup class="ltx_note_mark">1</sup><span class="ltx_note_outer"><span class="ltx_note_content"><sup class="ltx_note_mark">1</sup><span class="ltx_tag ltx_tag_note">1</span>Our implementation of ReMax is available at <a target="_blank" href="https://github.com/liziniu/ReMax" title="" class="ltx_ref ltx_url ltx_font_typewriter">https://github.com/liziniu/ReMax</a></span></span></span></p>
</div>
<section id="S1" class="ltx_section">
<h2 class="ltx_title ltx_title_section">
<span class="ltx_tag ltx_tag_section">1 </span>Introduction</h2>

<div id="S1.p1" class="ltx_para">
<p id="S1.p1.1" class="ltx_p">Alignment is crucial for instructing Large Language Models (LLMs) to operate by human values. There are two approaches to do this: supervised learning and Reinforcement Learning from Human Feedback (RLHF) <cite class="ltx_cite ltx_citemacro_citep">(Stiennon et al., <a href="#bib.bib35" title="" class="ltx_ref">2020</a>; Ouyang et al., <a href="#bib.bib19" title="" class="ltx_ref">2022</a>; Bai et al., <a href="#bib.bib2" title="" class="ltx_ref">2022b</a>, <a href="#bib.bib1" title="" class="ltx_ref">a</a>)</cite>. The former approach relies on large amount of pre-prepared human-annotated data, so practitioners have to decide exactly how LLMs should behave upfront, which could be laborious. In contrast, the latter approach RLHF does not need to define everything beforehand. Briefly speaking, RLHF reformulates the text generation task into a sequential decision-making problem and applies Reinforcement Learning (RL) algorithms to solve it. The effectiveness of RLHF is highlighted in the GPT-4 technical report <cite class="ltx_cite ltx_citemacro_citep">(OpenAI, <a href="#bib.bib18" title="" class="ltx_ref">2023</a>)</cite>.</p>
</div>
<div id="S1.p2" class="ltx_para">
<p id="S1.p2.2" class="ltx_p">Despite its notable success, the wide application of RLHF is hindered by its heavy computation burden <cite class="ltx_cite ltx_citemacro_citep">(Yao et al., <a href="#bib.bib41" title="" class="ltx_ref">2023</a>)</cite>. To get a better sense, we recap that RLHF unfolds in three principal steps:</p>
<ul id="S1.I1" class="ltx_itemize">
<li id="S1.I1.i1" class="ltx_item" style="list-style-type:none;">
<span class="ltx_tag ltx_tag_item">•</span> 
<div id="S1.I1.i1.p1" class="ltx_para">
<p id="S1.I1.i1.p1.1" class="ltx_p">Step 1: supervised fine-tuning of an LLM is carried out to pinpoint a promising starting position.</p>
</div>
</li>
<li id="S1.I1.i2" class="ltx_item" style="list-style-type:none;">
<span class="ltx_tag ltx_tag_item">•</span> 
<div id="S1.I1.i2.p1" class="ltx_para">
<p id="S1.I1.i2.p1.1" class="ltx_p">Step 2: a reward model is learned from human preference data.</p>
</div>
</li>
<li id="S1.I1.i3" class="ltx_item" style="list-style-type:none;">
<span class="ltx_tag ltx_tag_item">•</span> 
<div id="S1.I1.i3.p1" class="ltx_para">
<p id="S1.I1.i3.p1.1" class="ltx_p">Step 3: an LLM is fine-tuned on new prompt datasets utilizing an RL algorithm.</p>
</div>
</li>
</ul>
<p id="S1.p2.1" class="ltx_p">The hardest part is the third step, where the LLM has to come up with its own responses and make them better to get high reward scores. For instance, as reported by the DeepSpeed team, while working on an OPT-13B model <cite class="ltx_cite ltx_citemacro_citep">(Zhang et al., <a href="#bib.bib42" title="" class="ltx_ref">2022</a>)</cite> with RLHF, the duration expended on the third RL step soared to 10.8 hours, quadrupling the cumulative time of about 2.5 hours spent on the preceding steps; refer to <cite class="ltx_cite ltx_citemacro_citep">(Yao et al., <a href="#bib.bib41" title="" class="ltx_ref">2023</a>, Table 4)</cite>. Moreover, according to our observation, the RL step requires more than <math id="S1.p2.1.m1.1" class="ltx_math_unparsed" alttext="2\times" display="inline"><semantics id="S1.p2.1.m1.1a"><mrow id="S1.p2.1.m1.1b"><mn id="S1.p2.1.m1.1.1">2</mn><mo lspace="0.222em" id="S1.p2.1.m1.1.2">×</mo></mrow><annotation encoding="application/x-tex" id="S1.p2.1.m1.1c">2\times</annotation></semantics></math> the GPU memory compared with the first two steps, which hinders the scale-up when computation resources are limited. Motivated by the above observations, this paper works on the third step of RLHF to make it easier and less computationally expensive.</p>
</div>
<figure id="S1.F1" class="ltx_figure"><img src="/html/2310.10505/assets/x1.png" id="S1.F1.g1" class="ltx_graphics ltx_centering ltx_img_landscape" width="392" height="114" alt="Refer to caption">
<figcaption class="ltx_caption ltx_centering"><span class="ltx_tag ltx_tag_figure"><span id="S1.F1.2.1.1" class="ltx_text" style="font-size:90%;">Figure 1</span>: </span><span id="S1.F1.3.2" class="ltx_text" style="font-size:90%;">Comparison between the building blocks of PPO and those of ReMax. ReMax keeps the reference model (for calculating KL penalty) and removes all the components related to the value model in PPO.</span></figcaption>
</figure>
<div id="S1.p3" class="ltx_para">
<p id="S1.p3.1" class="ltx_p">What is the computational bottleneck in the third step of RLHF? We find the overhead is due to the RL algorithm, Proximal Policy Optimization (PPO) <cite class="ltx_cite ltx_citemacro_citep">(Schulman et al., <a href="#bib.bib30" title="" class="ltx_ref">2017</a>)</cite>. Specifically, a key component of PPO, the <em id="S1.p3.1.1" class="ltx_emph ltx_font_italic">value model</em>—which is a neural network trained to estimate gradients—incurs significant computational overhead. To align LLMs with human preferences, the value model typically matches the LLM in size <cite class="ltx_cite ltx_citemacro_citep">(Dubois et al., <a href="#bib.bib10" title="" class="ltx_ref">2023</a>; Yao et al., <a href="#bib.bib41" title="" class="ltx_ref">2023</a>)</cite>, which doubles the storage. Furthermore, training the value model requires storing its gradients, activations, and optimizer states, all of which increase computational burden. Researchers have attempted to address this issue by using gradient checkpointing <cite class="ltx_cite ltx_citemacro_citep">(Sohoni et al., <a href="#bib.bib34" title="" class="ltx_ref">2019</a>)</cite>, Zero Redundancy Optimizer (ZeRO) <cite class="ltx_cite ltx_citemacro_citep">(Rajbhandari et al., <a href="#bib.bib24" title="" class="ltx_ref">2020</a>)</cite>, the offload technique <cite class="ltx_cite ltx_citemacro_citep">(Ren et al., <a href="#bib.bib26" title="" class="ltx_ref">2021</a>)</cite>, and a hybrid training engine <cite class="ltx_cite ltx_citemacro_citep">(Yao et al., <a href="#bib.bib41" title="" class="ltx_ref">2023</a>)</cite>. However, these techniques results in slow computation, and even with these techniques, the heavy GPU memory consumption of PPO remains an issue.</p>
</div>
<div id="S1.p4" class="ltx_para">
<p id="S1.p4.1" class="ltx_p">Is it possible to design a better algorithm for RLHF tasks, hopefully without the value model? We find the answer is yes.</p>
</div>
<section id="S1.SS1" class="ltx_subsection">
<h3 class="ltx_title ltx_title_subsection">
<span class="ltx_tag ltx_tag_subsection">1.1 </span>Our Contribution</h3>

<div id="S1.SS1.p1" class="ltx_para">
<p id="S1.SS1.p1.1" class="ltx_p">We find three important properties of RLHF that are <span id="S1.SS1.p1.1.1" class="ltx_text ltx_font_italic">not</span> used in PPO: <span id="S1.SS1.p1.1.2" class="ltx_text ltx_font_bold">fast simulation</span>, <span id="S1.SS1.p1.1.3" class="ltx_text ltx_font_bold">deterministic transitions</span> and <span id="S1.SS1.p1.1.4" class="ltx_text ltx_font_bold">trajectory-level rewards</span>. The first means that a trajectory (i.e., a complete response of an LLM) can be quickly obtained with minimal time overhead. The second indicates that the text context relies solely on past tokens and the presently generated token.<span id="footnote2" class="ltx_note ltx_role_footnote"><sup class="ltx_note_mark">2</sup><span class="ltx_note_outer"><span class="ltx_note_content"><sup class="ltx_note_mark">2</sup><span class="ltx_tag ltx_tag_note">2</span>We note that while the policy for token generation (i.e., the LLM itself) remains stochastic, the transition dynamics are deterministic.</span></span></span> Finally, the third implies that the reward model provides a single value only upon the completion of a response.</p>
</div>
<div id="S1.SS1.p2" class="ltx_para">
<p id="S1.SS1.p2.1" class="ltx_p">Based on the above observations, we propose a new algorithm tailored for RLHF, called <span id="S1.SS1.p2.1.1" class="ltx_text ltx_font_bold">ReMax</span>. It
utilizes the aforementioned three properties of RLHF and discards the value model without sacrificing performance. Figure <a href="#S1.F1" title="Figure 1 ‣ 1 Introduction ‣ ReMax: A Simple, Effective, and Efficient Reinforcement Learning Method for Aligning Large Language Models" class="ltx_ref"><span class="ltx_text ltx_ref_tag">1</span></a> illustrates the comparison between building blocks of PPO and ReMax.
The design of ReMax is inspired by a celebrated algorithm called REINFORCE <cite class="ltx_cite ltx_citemacro_citep">(Williams, <a href="#bib.bib40" title="" class="ltx_ref">1992</a>)</cite>, but is equipped with a new variance-reduction technique specially designed for LLMs. Without it, the performance is poor due to the high variance of stochastic gradients; verified in <a href="#S4.F3" title="In 4.1 A Brief Review on REINFORCE ‣ 4 Proposed Method ‣ ReMax: A Simple, Effective, and Efficient Reinforcement Learning Method for Aligning Large Language Models" class="ltx_ref"><span class="ltx_text ltx_ref_tag">Figure</span> <span class="ltx_text ltx_ref_tag">3</span></a> through experiments. The pseudo code of ReMax is given in <a href="#alg1" title="In 1.1 Our Contribution ‣ 1 Introduction ‣ ReMax: A Simple, Effective, and Efficient Reinforcement Learning Method for Aligning Large Language Models" class="ltx_ref"><span class="ltx_text ltx_ref_tag">Algorithm</span> <span class="ltx_text ltx_ref_tag">1</span></a>.</p>
</div>
<figure id="alg1" class="ltx_float ltx_float_algorithm ltx_framed ltx_framed_top">
<figcaption class="ltx_caption"><span class="ltx_tag ltx_tag_float"><span id="alg1.2.1.1" class="ltx_text ltx_font_bold">Algorithm 1</span> </span> ReMax for Aligning Large Language Models</figcaption>
<div id="alg1.3" class="ltx_listing ltx_listing">
<div id="alg1.l1" class="ltx_listingline">
<span class="ltx_tag ltx_tag_listingline"><span id="alg1.l1.1.1.1" class="ltx_text" style="font-size:80%;">1:</span></span><span id="alg1.l1.2" class="ltx_text ltx_font_typewriter">reward_model</span> and <span id="alg1.l1.3" class="ltx_text ltx_font_typewriter">language_model</span>

</div>
<div id="alg1.l2" class="ltx_listingline">
<span class="ltx_tag ltx_tag_listingline"><span id="alg1.l2.1.1.1" class="ltx_text" style="font-size:80%;">2:</span></span><span id="alg1.l2.2" class="ltx_text ltx_font_bold">for</span> <span id="alg1.l2.3" class="ltx_text ltx_font_typewriter">prompts</span> in <span id="alg1.l2.4" class="ltx_text ltx_font_typewriter">datasets</span> <span id="alg1.l2.5" class="ltx_text ltx_font_bold">do</span>

</div>
<div id="alg1.l3" class="ltx_listingline">
<span class="ltx_tag ltx_tag_listingline"><span id="alg1.l3.1.1.1" class="ltx_text" style="font-size:80%;">3:</span></span>     <math id="alg1.l3.m1.1" class="ltx_Math" alttext="\texttt{seqs}=\texttt{language\_model.generate(prompts, do\_sample=True)}" display="inline"><semantics id="alg1.l3.m1.1a"><mrow id="alg1.l3.m1.1.1" xref="alg1.l3.m1.1.1.cmml"><mtext class="ltx_mathvariant_monospace" id="alg1.l3.m1.1.1.2" xref="alg1.l3.m1.1.1.2a.cmml">seqs</mtext><mo id="alg1.l3.m1.1.1.1" xref="alg1.l3.m1.1.1.1.cmml">=</mo><mtext class="ltx_mathvariant_monospace" id="alg1.l3.m1.1.1.3" xref="alg1.l3.m1.1.1.3a.cmml">language_model.generate(prompts, do_sample=True)</mtext></mrow><annotation-xml encoding="MathML-Content" id="alg1.l3.m1.1b"><apply id="alg1.l3.m1.1.1.cmml" xref="alg1.l3.m1.1.1"><eq id="alg1.l3.m1.1.1.1.cmml" xref="alg1.l3.m1.1.1.1"></eq><ci id="alg1.l3.m1.1.1.2a.cmml" xref="alg1.l3.m1.1.1.2"><mtext class="ltx_mathvariant_monospace" id="alg1.l3.m1.1.1.2.cmml" xref="alg1.l3.m1.1.1.2">seqs</mtext></ci><ci id="alg1.l3.m1.1.1.3a.cmml" xref="alg1.l3.m1.1.1.3"><mtext class="ltx_mathvariant_monospace" id="alg1.l3.m1.1.1.3.cmml" xref="alg1.l3.m1.1.1.3">language_model.generate(prompts, do_sample=True)</mtext></ci></apply></annotation-xml><annotation encoding="application/x-tex" id="alg1.l3.m1.1c">\texttt{seqs}=\texttt{language\_model.generate(prompts, do\_sample=True)}</annotation></semantics></math>

</div>
<div id="alg1.l4" class="ltx_listingline">
<span class="ltx_tag ltx_tag_listingline"><span id="alg1.l4.1.1.1" class="ltx_text" style="font-size:80%;">4:</span></span>     <math id="alg1.l4.m1.1" class="ltx_Math" alttext="\texttt{seqs\_{max}}=\texttt{language\_model.generate(prompts, do\_sample=False)}" display="inline"><semantics id="alg1.l4.m1.1a"><mrow id="alg1.l4.m1.1.1" xref="alg1.l4.m1.1.1.cmml"><mtext class="ltx_mathvariant_monospace" id="alg1.l4.m1.1.1.2" xref="alg1.l4.m1.1.1.2a.cmml">seqs_max</mtext><mo id="alg1.l4.m1.1.1.1" xref="alg1.l4.m1.1.1.1.cmml">=</mo><mtext class="ltx_mathvariant_monospace" id="alg1.l4.m1.1.1.3" xref="alg1.l4.m1.1.1.3a.cmml">language_model.generate(prompts, do_sample=False)</mtext></mrow><annotation-xml encoding="MathML-Content" id="alg1.l4.m1.1b"><apply id="alg1.l4.m1.1.1.cmml" xref="alg1.l4.m1.1.1"><eq id="alg1.l4.m1.1.1.1.cmml" xref="alg1.l4.m1.1.1.1"></eq><ci id="alg1.l4.m1.1.1.2a.cmml" xref="alg1.l4.m1.1.1.2"><mtext class="ltx_mathvariant_monospace" id="alg1.l4.m1.1.1.2.cmml" xref="alg1.l4.m1.1.1.2">seqs_max</mtext></ci><ci id="alg1.l4.m1.1.1.3a.cmml" xref="alg1.l4.m1.1.1.3"><mtext class="ltx_mathvariant_monospace" id="alg1.l4.m1.1.1.3.cmml" xref="alg1.l4.m1.1.1.3">language_model.generate(prompts, do_sample=False)</mtext></ci></apply></annotation-xml><annotation encoding="application/x-tex" id="alg1.l4.m1.1c">\texttt{seqs\_{max}}=\texttt{language\_model.generate(prompts, do\_sample=False)}</annotation></semantics></math>

</div>
<div id="alg1.l5" class="ltx_listingline">
<span class="ltx_tag ltx_tag_listingline"><span id="alg1.l5.1.1.1" class="ltx_text" style="font-size:80%;">5:</span></span>     <math id="alg1.l5.m1.1" class="ltx_Math" alttext="\texttt{rews}=\texttt{reward\_model(prompts, seqs) - reward\_model(prompts, seqs\_{max})}" display="inline"><semantics id="alg1.l5.m1.1a"><mrow id="alg1.l5.m1.1.1" xref="alg1.l5.m1.1.1.cmml"><mtext class="ltx_mathvariant_monospace" id="alg1.l5.m1.1.1.2" xref="alg1.l5.m1.1.1.2a.cmml">rews</mtext><mo id="alg1.l5.m1.1.1.1" xref="alg1.l5.m1.1.1.1.cmml">=</mo><mtext class="ltx_mathvariant_monospace" id="alg1.l5.m1.1.1.3" xref="alg1.l5.m1.1.1.3a.cmml">reward_model(prompts, seqs) - reward_model(prompts, seqs_max)</mtext></mrow><annotation-xml encoding="MathML-Content" id="alg1.l5.m1.1b"><apply id="alg1.l5.m1.1.1.cmml" xref="alg1.l5.m1.1.1"><eq id="alg1.l5.m1.1.1.1.cmml" xref="alg1.l5.m1.1.1.1"></eq><ci id="alg1.l5.m1.1.1.2a.cmml" xref="alg1.l5.m1.1.1.2"><mtext class="ltx_mathvariant_monospace" id="alg1.l5.m1.1.1.2.cmml" xref="alg1.l5.m1.1.1.2">rews</mtext></ci><ci id="alg1.l5.m1.1.1.3a.cmml" xref="alg1.l5.m1.1.1.3"><mtext class="ltx_mathvariant_monospace" id="alg1.l5.m1.1.1.3.cmml" xref="alg1.l5.m1.1.1.3">reward_model(prompts, seqs) - reward_model(prompts, seqs_max)</mtext></ci></apply></annotation-xml><annotation encoding="application/x-tex" id="alg1.l5.m1.1c">\texttt{rews}=\texttt{reward\_model(prompts, seqs) - reward\_model(prompts, seqs\_{max})}</annotation></semantics></math>

</div>
<div id="alg1.l6" class="ltx_listingline">
<span class="ltx_tag ltx_tag_listingline"><span id="alg1.l6.1.1.1" class="ltx_text" style="font-size:80%;">6:</span></span>     <math id="alg1.l6.m1.1" class="ltx_Math" alttext="\texttt{log\_probs}=\texttt{language\_model(prompts, seqs)}" display="inline"><semantics id="alg1.l6.m1.1a"><mrow id="alg1.l6.m1.1.1" xref="alg1.l6.m1.1.1.cmml"><mtext class="ltx_mathvariant_monospace" id="alg1.l6.m1.1.1.2" xref="alg1.l6.m1.1.1.2a.cmml">log_probs</mtext><mo id="alg1.l6.m1.1.1.1" xref="alg1.l6.m1.1.1.1.cmml">=</mo><mtext class="ltx_mathvariant_monospace" id="alg1.l6.m1.1.1.3" xref="alg1.l6.m1.1.1.3a.cmml">language_model(prompts, seqs)</mtext></mrow><annotation-xml encoding="MathML-Content" id="alg1.l6.m1.1b"><apply id="alg1.l6.m1.1.1.cmml" xref="alg1.l6.m1.1.1"><eq id="alg1.l6.m1.1.1.1.cmml" xref="alg1.l6.m1.1.1.1"></eq><ci id="alg1.l6.m1.1.1.2a.cmml" xref="alg1.l6.m1.1.1.2"><mtext class="ltx_mathvariant_monospace" id="alg1.l6.m1.1.1.2.cmml" xref="alg1.l6.m1.1.1.2">log_probs</mtext></ci><ci id="alg1.l6.m1.1.1.3a.cmml" xref="alg1.l6.m1.1.1.3"><mtext class="ltx_mathvariant_monospace" id="alg1.l6.m1.1.1.3.cmml" xref="alg1.l6.m1.1.1.3">language_model(prompts, seqs)</mtext></ci></apply></annotation-xml><annotation encoding="application/x-tex" id="alg1.l6.m1.1c">\texttt{log\_probs}=\texttt{language\_model(prompts, seqs)}</annotation></semantics></math>

</div>
<div id="alg1.l7" class="ltx_listingline">
<span class="ltx_tag ltx_tag_listingline"><span id="alg1.l7.1.1.1" class="ltx_text" style="font-size:80%;">7:</span></span>     <math id="alg1.l7.m1.1" class="ltx_Math" alttext="\texttt{loss}=-\texttt{(log\_probs.sum(dim=-1) * rews).mean()}" display="inline"><semantics id="alg1.l7.m1.1a"><mrow id="alg1.l7.m1.1.1" xref="alg1.l7.m1.1.1.cmml"><mtext class="ltx_mathvariant_monospace" id="alg1.l7.m1.1.1.2" xref="alg1.l7.m1.1.1.2a.cmml">loss</mtext><mo id="alg1.l7.m1.1.1.1" xref="alg1.l7.m1.1.1.1.cmml">=</mo><mrow id="alg1.l7.m1.1.1.3" xref="alg1.l7.m1.1.1.3.cmml"><mo id="alg1.l7.m1.1.1.3a" xref="alg1.l7.m1.1.1.3.cmml">−</mo><mtext class="ltx_mathvariant_monospace" id="alg1.l7.m1.1.1.3.2" xref="alg1.l7.m1.1.1.3.2a.cmml">(log_probs.sum(dim=-1) * rews).mean()</mtext></mrow></mrow><annotation-xml encoding="MathML-Content" id="alg1.l7.m1.1b"><apply id="alg1.l7.m1.1.1.cmml" xref="alg1.l7.m1.1.1"><eq id="alg1.l7.m1.1.1.1.cmml" xref="alg1.l7.m1.1.1.1"></eq><ci id="alg1.l7.m1.1.1.2a.cmml" xref="alg1.l7.m1.1.1.2"><mtext class="ltx_mathvariant_monospace" id="alg1.l7.m1.1.1.2.cmml" xref="alg1.l7.m1.1.1.2">loss</mtext></ci><apply id="alg1.l7.m1.1.1.3.cmml" xref="alg1.l7.m1.1.1.3"><minus id="alg1.l7.m1.1.1.3.1.cmml" xref="alg1.l7.m1.1.1.3"></minus><ci id="alg1.l7.m1.1.1.3.2a.cmml" xref="alg1.l7.m1.1.1.3.2"><mtext class="ltx_mathvariant_monospace" id="alg1.l7.m1.1.1.3.2.cmml" xref="alg1.l7.m1.1.1.3.2">(log_probs.sum(dim=-1) * rews).mean()</mtext></ci></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="alg1.l7.m1.1c">\texttt{loss}=-\texttt{(log\_probs.sum(dim=-1) * rews).mean()}</annotation></semantics></math>

</div>
<div id="alg1.l8" class="ltx_listingline">
<span class="ltx_tag ltx_tag_listingline"><span id="alg1.l8.1.1.1" class="ltx_text" style="font-size:80%;">8:</span></span>     <span id="alg1.l8.2" class="ltx_text ltx_markedasmath ltx_font_typewriter">lanugage_model.minimize(loss)</span>

</div>
<div id="alg1.l9" class="ltx_listingline">
<span class="ltx_tag ltx_tag_listingline"><span id="alg1.l9.1.1.1" class="ltx_text" style="font-size:80%;">9:</span></span><span id="alg1.l9.2" class="ltx_text ltx_font_bold">end</span> <span id="alg1.l9.3" class="ltx_text ltx_font_bold">for</span>
</div>
<div id="alg1.l10" class="ltx_listingline">
<span class="ltx_tag ltx_tag_listingline"><span id="alg1.l10.1.1.1" class="ltx_text" style="font-size:80%;">10:</span></span><span id="alg1.l10.2" class="ltx_text ltx_font_typewriter">language_model</span>

</div>
</div>
</figure>
<div id="S1.SS1.p3" class="ltx_para">
<p id="S1.SS1.p3.1" class="ltx_p">In comparison to PPO for RLHF, ReMax has the following advantages:</p>
<ul id="S1.I2" class="ltx_itemize">
<li id="S1.I2.i1" class="ltx_item" style="list-style-type:none;">
<span class="ltx_tag ltx_tag_item">•</span> 
<div id="S1.I2.i1.p1" class="ltx_para">
<p id="S1.I2.i1.p1.1" class="ltx_p"><span id="S1.I2.i1.p1.1.1" class="ltx_text ltx_font_bold">(A1) Simplicity:</span> ReMax is very simple (with 6 lines of code to implement) and removes more than 4 hyper-parameters in PPO (e.g., importance sampling clipping, GAE coefficient, value model learning rate, and off-policy training epochs), which are laborious to tune <cite class="ltx_cite ltx_citemacro_citep">(Engstrom et al., <a href="#bib.bib11" title="" class="ltx_ref">2020</a>; Zheng et al., <a href="#bib.bib44" title="" class="ltx_ref">2023</a>)</cite>. This is significant as hyper-parameter tuning is expensive for LLMs.</p>
</div>
</li>
<li id="S1.I2.i2" class="ltx_item" style="list-style-type:none;">
<span class="ltx_tag ltx_tag_item">•</span> 
<div id="S1.I2.i2.p1" class="ltx_para">
<p id="S1.I2.i2.p1.1" class="ltx_p"><span id="S1.I2.i2.p1.1.1" class="ltx_text ltx_font_bold">(A2) Memory Efficiency:</span> ReMax can reduce GPU memory usage by about 50% in principle. This enhancement yields to two main benefits. First, ReMax is capable of conducting training within limited GPU resources whereas PPO might run out-of-memory. Second, the memory savings by ReMax can be allocated for larger batch sizes, thereby increasing throughput.</p>
</div>
</li>
<li id="S1.I2.i3" class="ltx_item" style="list-style-type:none;">
<span class="ltx_tag ltx_tag_item">•</span> 
<div id="S1.I2.i3.p1" class="ltx_para">
<p id="S1.I2.i3.p1.1" class="ltx_p"><span id="S1.I2.i3.p1.1.1" class="ltx_text ltx_font_bold">(A3) Computation Efficiency:</span> ReMax offers a reduction in wall-clock time per iteration by eliminating the need to train a value model. This can significantly speed up the entire training process of RLHF. According to our calculation, when the generation time is much smaller than the backpropagation time (a condition usually true for LLMs), PPO runs twice slower than ReMax.</p>
</div>
</li>
<li id="S1.I2.i4" class="ltx_item" style="list-style-type:none;">
<span class="ltx_tag ltx_tag_item">•</span> 
<div id="S1.I2.i4.p1" class="ltx_para">
<p id="S1.I2.i4.p1.1" class="ltx_p"><span id="S1.I2.i4.p1.1.1" class="ltx_text ltx_font_bold">(A4) Effectiveness:</span> Regarding task-specific performance, ReMax is on par with PPO, and at times, even outperforms it (possibly due to the ease of hyper-parameter tuning with ReMax).</p>
</div>
</li>
</ul>
</div>
<div id="S1.SS1.p4" class="ltx_para">
<p id="S1.SS1.p4.2" class="ltx_p">To demonstrate the practical impact of the above advantages, we conducted experiments aligning the famous Llama2-7B <cite class="ltx_cite ltx_citemacro_citep">(Touvron et al., <a href="#bib.bib38" title="" class="ltx_ref">2023</a>)</cite> model.
With regards to <span id="S1.SS1.p4.2.1" class="ltx_text ltx_font_bold">A2</span>, ReMax supports training on A100-80GB GPUs without memory-efficient techniques, whereas PPO runs out-of-memory in the same setting. Even when PPO manages training Llama2-7B by using techniques like ZeRO and offload, ReMax still outperforms by enabling the use of 1.3<math id="S1.SS1.p4.1.m1.1" class="ltx_Math" alttext="\times" display="inline"><semantics id="S1.SS1.p4.1.m1.1a"><mo id="S1.SS1.p4.1.m1.1.1" xref="S1.SS1.p4.1.m1.1.1.cmml">×</mo><annotation-xml encoding="MathML-Content" id="S1.SS1.p4.1.m1.1b"><times id="S1.SS1.p4.1.m1.1.1.cmml" xref="S1.SS1.p4.1.m1.1.1"></times></annotation-xml><annotation encoding="application/x-tex" id="S1.SS1.p4.1.m1.1c">\times</annotation></semantics></math> larger batch sizes. Regarding <span id="S1.SS1.p4.2.2" class="ltx_text ltx_font_bold">A3</span>, ReMax offers a 2.1<math id="S1.SS1.p4.2.m2.1" class="ltx_Math" alttext="\times" display="inline"><semantics id="S1.SS1.p4.2.m2.1a"><mo id="S1.SS1.p4.2.m2.1.1" xref="S1.SS1.p4.2.m2.1.1.cmml">×</mo><annotation-xml encoding="MathML-Content" id="S1.SS1.p4.2.m2.1b"><times id="S1.SS1.p4.2.m2.1.1.cmml" xref="S1.SS1.p4.2.m2.1.1"></times></annotation-xml><annotation encoding="application/x-tex" id="S1.SS1.p4.2.m2.1c">\times</annotation></semantics></math> training speed-up thanks to larger batch sizes and fewer computations. For <span id="S1.SS1.p4.2.3" class="ltx_text ltx_font_bold">A4</span>, in evaluating response quality using the AlpacaEval <cite class="ltx_cite ltx_citemacro_citep">(Li et al., <a href="#bib.bib16" title="" class="ltx_ref">2023</a>)</cite>, with judgments rendered by GPT-4, ReMax achieves a win rate of 63.60% over PPO.</p>
</div>
</section>
</section>
<section id="S2" class="ltx_section">
<h2 class="ltx_title ltx_title_section">
<span class="ltx_tag ltx_tag_section">2 </span>Related Work</h2>

<div id="S2.p1" class="ltx_para">
<p id="S2.p1.1" class="ltx_p">Due to the fast development in the realm of LLMs, we cannot offer a comprehensive review of previous works and defer interested readers to the survey of <cite class="ltx_cite ltx_citemacro_citep">(Bommasani et al., <a href="#bib.bib4" title="" class="ltx_ref">2021</a>; Zhao et al., <a href="#bib.bib43" title="" class="ltx_ref">2023</a>)</cite>. Below, we review relevant topics in terms of RLHF.</p>
</div>
<div id="S2.p2" class="ltx_para">
<p id="S2.p2.1" class="ltx_p">The domain of RLHF is meticulously explored in various studies to enhance the alignment of LLMs with human values <cite class="ltx_cite ltx_citemacro_citep">(Stiennon et al., <a href="#bib.bib35" title="" class="ltx_ref">2020</a>; Ouyang et al., <a href="#bib.bib19" title="" class="ltx_ref">2022</a>; Bai et al., <a href="#bib.bib2" title="" class="ltx_ref">2022b</a>, <a href="#bib.bib1" title="" class="ltx_ref">a</a>; Lee et al., <a href="#bib.bib15" title="" class="ltx_ref">2023</a>)</cite>. To name a few, <cite class="ltx_cite ltx_citemacro_citet">Casper et al. (<a href="#bib.bib7" title="" class="ltx_ref">2023</a>)</cite> emphasized the challenges inherent in RLHF, particularly in designing reward models aligned with human values. Exploring the foundation of RLHF, <cite class="ltx_cite ltx_citemacro_citet">Gao et al. (<a href="#bib.bib12" title="" class="ltx_ref">2023</a>)</cite> focused on the scaling laws of reward model overoptimization, while <cite class="ltx_cite ltx_citemacro_citet">Zhu et al. (<a href="#bib.bib45" title="" class="ltx_ref">2023a</a>)</cite> provided a theoretical framework for RLHF from an offline learning viewpoint.</p>
</div>
<div id="S2.p3" class="ltx_para">
<p id="S2.p3.1" class="ltx_p">Many recent studies have been trying to make PPO work better with RLHF. For example, one study by <cite class="ltx_cite ltx_citemacro_citet">Zhu et al. (<a href="#bib.bib46" title="" class="ltx_ref">2023b</a>)</cite> introduced a new advantage-induced algorithm to align policy. Another study by <cite class="ltx_cite ltx_citemacro_citet">Ramamurthy et al. (<a href="#bib.bib25" title="" class="ltx_ref">2023</a>)</cite> presented benchmarks and baselines for applying RL in NLP tasks. The recent work <cite class="ltx_cite ltx_citemacro_citep">(Santacroce et al., <a href="#bib.bib28" title="" class="ltx_ref">2023</a>)</cite> investigated how to efficiently use LoRA <cite class="ltx_cite ltx_citemacro_citep">(Hu et al., <a href="#bib.bib14" title="" class="ltx_ref">2022</a>)</cite> in PPO. Moreover, <cite class="ltx_cite ltx_citemacro_citet">Zheng et al. (<a href="#bib.bib44" title="" class="ltx_ref">2023</a>)</cite> introduced an advanced version, PPO-max, to improve training stability. <cite class="ltx_cite ltx_citemacro_citet">Dong et al. (<a href="#bib.bib9" title="" class="ltx_ref">2023</a>)</cite> studied the reward ranking for optimization. Our work differs from these studies in the sense that we leverage special properties of RLHF tasks.</p>
</div>
</section>
<section id="S3" class="ltx_section">
<h2 class="ltx_title ltx_title_section">
<span class="ltx_tag ltx_tag_section">3 </span>Problem Formulation</h2>

<div id="S3.p1" class="ltx_para">
<p id="S3.p1.7" class="ltx_p">A Large Language Model (LLM) is denoted as <math id="S3.p1.1.m1.1" class="ltx_Math" alttext="\pi_{\theta}" display="inline"><semantics id="S3.p1.1.m1.1a"><msub id="S3.p1.1.m1.1.1" xref="S3.p1.1.m1.1.1.cmml"><mi id="S3.p1.1.m1.1.1.2" xref="S3.p1.1.m1.1.1.2.cmml">π</mi><mi id="S3.p1.1.m1.1.1.3" xref="S3.p1.1.m1.1.1.3.cmml">θ</mi></msub><annotation-xml encoding="MathML-Content" id="S3.p1.1.m1.1b"><apply id="S3.p1.1.m1.1.1.cmml" xref="S3.p1.1.m1.1.1"><csymbol cd="ambiguous" id="S3.p1.1.m1.1.1.1.cmml" xref="S3.p1.1.m1.1.1">subscript</csymbol><ci id="S3.p1.1.m1.1.1.2.cmml" xref="S3.p1.1.m1.1.1.2">𝜋</ci><ci id="S3.p1.1.m1.1.1.3.cmml" xref="S3.p1.1.m1.1.1.3">𝜃</ci></apply></annotation-xml><annotation encoding="application/x-tex" id="S3.p1.1.m1.1c">\pi_{\theta}</annotation></semantics></math>, where <math id="S3.p1.2.m2.1" class="ltx_Math" alttext="\theta\in\mathbb{R}^{d}" display="inline"><semantics id="S3.p1.2.m2.1a"><mrow id="S3.p1.2.m2.1.1" xref="S3.p1.2.m2.1.1.cmml"><mi id="S3.p1.2.m2.1.1.2" xref="S3.p1.2.m2.1.1.2.cmml">θ</mi><mo id="S3.p1.2.m2.1.1.1" xref="S3.p1.2.m2.1.1.1.cmml">∈</mo><msup id="S3.p1.2.m2.1.1.3" xref="S3.p1.2.m2.1.1.3.cmml"><mi id="S3.p1.2.m2.1.1.3.2" xref="S3.p1.2.m2.1.1.3.2.cmml">ℝ</mi><mi id="S3.p1.2.m2.1.1.3.3" xref="S3.p1.2.m2.1.1.3.3.cmml">d</mi></msup></mrow><annotation-xml encoding="MathML-Content" id="S3.p1.2.m2.1b"><apply id="S3.p1.2.m2.1.1.cmml" xref="S3.p1.2.m2.1.1"><in id="S3.p1.2.m2.1.1.1.cmml" xref="S3.p1.2.m2.1.1.1"></in><ci id="S3.p1.2.m2.1.1.2.cmml" xref="S3.p1.2.m2.1.1.2">𝜃</ci><apply id="S3.p1.2.m2.1.1.3.cmml" xref="S3.p1.2.m2.1.1.3"><csymbol cd="ambiguous" id="S3.p1.2.m2.1.1.3.1.cmml" xref="S3.p1.2.m2.1.1.3">superscript</csymbol><ci id="S3.p1.2.m2.1.1.3.2.cmml" xref="S3.p1.2.m2.1.1.3.2">ℝ</ci><ci id="S3.p1.2.m2.1.1.3.3.cmml" xref="S3.p1.2.m2.1.1.3.3">𝑑</ci></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="S3.p1.2.m2.1c">\theta\in\mathbb{R}^{d}</annotation></semantics></math> represents the training parameters. It operates as an auto-regressive generator, selecting tokens from a finite vocabulary <math id="S3.p1.3.m3.4" class="ltx_Math" alttext="\mathcal{V}=\{1,\ldots,|\mathcal{V}|\}" display="inline"><semantics id="S3.p1.3.m3.4a"><mrow id="S3.p1.3.m3.4.4" xref="S3.p1.3.m3.4.4.cmml"><mi class="ltx_font_mathcaligraphic" id="S3.p1.3.m3.4.4.3" xref="S3.p1.3.m3.4.4.3.cmml">𝒱</mi><mo id="S3.p1.3.m3.4.4.2" xref="S3.p1.3.m3.4.4.2.cmml">=</mo><mrow id="S3.p1.3.m3.4.4.1.1" xref="S3.p1.3.m3.4.4.1.2.cmml"><mo stretchy="false" id="S3.p1.3.m3.4.4.1.1.2" xref="S3.p1.3.m3.4.4.1.2.cmml">{</mo><mn id="S3.p1.3.m3.1.1" xref="S3.p1.3.m3.1.1.cmml">1</mn><mo id="S3.p1.3.m3.4.4.1.1.3" xref="S3.p1.3.m3.4.4.1.2.cmml">,</mo><mi mathvariant="normal" id="S3.p1.3.m3.2.2" xref="S3.p1.3.m3.2.2.cmml">…</mi><mo id="S3.p1.3.m3.4.4.1.1.4" xref="S3.p1.3.m3.4.4.1.2.cmml">,</mo><mrow id="S3.p1.3.m3.4.4.1.1.1.2" xref="S3.p1.3.m3.4.4.1.1.1.1.cmml"><mo stretchy="false" id="S3.p1.3.m3.4.4.1.1.1.2.1" xref="S3.p1.3.m3.4.4.1.1.1.1.1.cmml">|</mo><mi class="ltx_font_mathcaligraphic" id="S3.p1.3.m3.3.3" xref="S3.p1.3.m3.3.3.cmml">𝒱</mi><mo stretchy="false" id="S3.p1.3.m3.4.4.1.1.1.2.2" xref="S3.p1.3.m3.4.4.1.1.1.1.1.cmml">|</mo></mrow><mo stretchy="false" id="S3.p1.3.m3.4.4.1.1.5" xref="S3.p1.3.m3.4.4.1.2.cmml">}</mo></mrow></mrow><annotation-xml encoding="MathML-Content" id="S3.p1.3.m3.4b"><apply id="S3.p1.3.m3.4.4.cmml" xref="S3.p1.3.m3.4.4"><eq id="S3.p1.3.m3.4.4.2.cmml" xref="S3.p1.3.m3.4.4.2"></eq><ci id="S3.p1.3.m3.4.4.3.cmml" xref="S3.p1.3.m3.4.4.3">𝒱</ci><set id="S3.p1.3.m3.4.4.1.2.cmml" xref="S3.p1.3.m3.4.4.1.1"><cn type="integer" id="S3.p1.3.m3.1.1.cmml" xref="S3.p1.3.m3.1.1">1</cn><ci id="S3.p1.3.m3.2.2.cmml" xref="S3.p1.3.m3.2.2">…</ci><apply id="S3.p1.3.m3.4.4.1.1.1.1.cmml" xref="S3.p1.3.m3.4.4.1.1.1.2"><abs id="S3.p1.3.m3.4.4.1.1.1.1.1.cmml" xref="S3.p1.3.m3.4.4.1.1.1.2.1"></abs><ci id="S3.p1.3.m3.3.3.cmml" xref="S3.p1.3.m3.3.3">𝒱</ci></apply></set></apply></annotation-xml><annotation encoding="application/x-tex" id="S3.p1.3.m3.4c">\mathcal{V}=\{1,\ldots,|\mathcal{V}|\}</annotation></semantics></math> in a probabilistic manner. Given a context of tokens <math id="S3.p1.4.m4.3" class="ltx_Math" alttext="(a_{1},\ldots,a_{t})" display="inline"><semantics id="S3.p1.4.m4.3a"><mrow id="S3.p1.4.m4.3.3.2" xref="S3.p1.4.m4.3.3.3.cmml"><mo stretchy="false" id="S3.p1.4.m4.3.3.2.3" xref="S3.p1.4.m4.3.3.3.cmml">(</mo><msub id="S3.p1.4.m4.2.2.1.1" xref="S3.p1.4.m4.2.2.1.1.cmml"><mi id="S3.p1.4.m4.2.2.1.1.2" xref="S3.p1.4.m4.2.2.1.1.2.cmml">a</mi><mn id="S3.p1.4.m4.2.2.1.1.3" xref="S3.p1.4.m4.2.2.1.1.3.cmml">1</mn></msub><mo id="S3.p1.4.m4.3.3.2.4" xref="S3.p1.4.m4.3.3.3.cmml">,</mo><mi mathvariant="normal" id="S3.p1.4.m4.1.1" xref="S3.p1.4.m4.1.1.cmml">…</mi><mo id="S3.p1.4.m4.3.3.2.5" xref="S3.p1.4.m4.3.3.3.cmml">,</mo><msub id="S3.p1.4.m4.3.3.2.2" xref="S3.p1.4.m4.3.3.2.2.cmml"><mi id="S3.p1.4.m4.3.3.2.2.2" xref="S3.p1.4.m4.3.3.2.2.2.cmml">a</mi><mi id="S3.p1.4.m4.3.3.2.2.3" xref="S3.p1.4.m4.3.3.2.2.3.cmml">t</mi></msub><mo stretchy="false" id="S3.p1.4.m4.3.3.2.6" xref="S3.p1.4.m4.3.3.3.cmml">)</mo></mrow><annotation-xml encoding="MathML-Content" id="S3.p1.4.m4.3b"><vector id="S3.p1.4.m4.3.3.3.cmml" xref="S3.p1.4.m4.3.3.2"><apply id="S3.p1.4.m4.2.2.1.1.cmml" xref="S3.p1.4.m4.2.2.1.1"><csymbol cd="ambiguous" id="S3.p1.4.m4.2.2.1.1.1.cmml" xref="S3.p1.4.m4.2.2.1.1">subscript</csymbol><ci id="S3.p1.4.m4.2.2.1.1.2.cmml" xref="S3.p1.4.m4.2.2.1.1.2">𝑎</ci><cn type="integer" id="S3.p1.4.m4.2.2.1.1.3.cmml" xref="S3.p1.4.m4.2.2.1.1.3">1</cn></apply><ci id="S3.p1.4.m4.1.1.cmml" xref="S3.p1.4.m4.1.1">…</ci><apply id="S3.p1.4.m4.3.3.2.2.cmml" xref="S3.p1.4.m4.3.3.2.2"><csymbol cd="ambiguous" id="S3.p1.4.m4.3.3.2.2.1.cmml" xref="S3.p1.4.m4.3.3.2.2">subscript</csymbol><ci id="S3.p1.4.m4.3.3.2.2.2.cmml" xref="S3.p1.4.m4.3.3.2.2.2">𝑎</ci><ci id="S3.p1.4.m4.3.3.2.2.3.cmml" xref="S3.p1.4.m4.3.3.2.2.3">𝑡</ci></apply></vector></annotation-xml><annotation encoding="application/x-tex" id="S3.p1.4.m4.3c">(a_{1},\ldots,a_{t})</annotation></semantics></math>, the LLM models the sampling process as <math id="S3.p1.5.m5.1" class="ltx_math_unparsed" alttext="a_{t+1}\sim\pi_{\theta}(\cdot|a_{1},\ldots,a_{t})" display="inline"><semantics id="S3.p1.5.m5.1a"><mrow id="S3.p1.5.m5.1b"><msub id="S3.p1.5.m5.1.1"><mi id="S3.p1.5.m5.1.1.2">a</mi><mrow id="S3.p1.5.m5.1.1.3"><mi id="S3.p1.5.m5.1.1.3.2">t</mi><mo id="S3.p1.5.m5.1.1.3.1">+</mo><mn id="S3.p1.5.m5.1.1.3.3">1</mn></mrow></msub><mo id="S3.p1.5.m5.1.2">∼</mo><msub id="S3.p1.5.m5.1.3"><mi id="S3.p1.5.m5.1.3.2">π</mi><mi id="S3.p1.5.m5.1.3.3">θ</mi></msub><mrow id="S3.p1.5.m5.1.4"><mo stretchy="false" id="S3.p1.5.m5.1.4.1">(</mo><mo lspace="0em" rspace="0em" id="S3.p1.5.m5.1.4.2">⋅</mo><mo fence="false" rspace="0.167em" stretchy="false" id="S3.p1.5.m5.1.4.3">|</mo><msub id="S3.p1.5.m5.1.4.4"><mi id="S3.p1.5.m5.1.4.4.2">a</mi><mn id="S3.p1.5.m5.1.4.4.3">1</mn></msub><mo id="S3.p1.5.m5.1.4.5">,</mo><mi mathvariant="normal" id="S3.p1.5.m5.1.4.6">…</mi><mo id="S3.p1.5.m5.1.4.7">,</mo><msub id="S3.p1.5.m5.1.4.8"><mi id="S3.p1.5.m5.1.4.8.2">a</mi><mi id="S3.p1.5.m5.1.4.8.3">t</mi></msub><mo stretchy="false" id="S3.p1.5.m5.1.4.9">)</mo></mrow></mrow><annotation encoding="application/x-tex" id="S3.p1.5.m5.1c">a_{t+1}\sim\pi_{\theta}(\cdot|a_{1},\ldots,a_{t})</annotation></semantics></math>. This process continues until an End-Of-Sentence (EOS) token is encountered or a maximum length <math id="S3.p1.6.m6.1" class="ltx_Math" alttext="T" display="inline"><semantics id="S3.p1.6.m6.1a"><mi id="S3.p1.6.m6.1.1" xref="S3.p1.6.m6.1.1.cmml">T</mi><annotation-xml encoding="MathML-Content" id="S3.p1.6.m6.1b"><ci id="S3.p1.6.m6.1.1.cmml" xref="S3.p1.6.m6.1.1">𝑇</ci></annotation-xml><annotation encoding="application/x-tex" id="S3.p1.6.m6.1c">T</annotation></semantics></math> is reached. For notational simplicity, we assume that the response length is exactly <math id="S3.p1.7.m7.1" class="ltx_Math" alttext="T" display="inline"><semantics id="S3.p1.7.m7.1a"><mi id="S3.p1.7.m7.1.1" xref="S3.p1.7.m7.1.1.cmml">T</mi><annotation-xml encoding="MathML-Content" id="S3.p1.7.m7.1b"><ci id="S3.p1.7.m7.1.1.cmml" xref="S3.p1.7.m7.1.1">𝑇</ci></annotation-xml><annotation encoding="application/x-tex" id="S3.p1.7.m7.1c">T</annotation></semantics></math>, with any necessary padding occurring after the EOS token is generated.</p>
</div>
<div id="S3.p2" class="ltx_para">
<p id="S3.p2.1" class="ltx_p">LLMs are typically pre-trained on extensive corpora, optimizing for next-token prediction <cite class="ltx_cite ltx_citemacro_citep">(Radford et al., <a href="#bib.bib22" title="" class="ltx_ref">2019</a>; Brown et al., <a href="#bib.bib5" title="" class="ltx_ref">2020</a>)</cite>. However, these models often fail to generate text that aligns closely with human-like expectations, such as following instructions or creating responses that feel genuinely human. To bridge this gap, fine-tuning LLMs through RLHF is a common practice.</p>
</div>
<div id="S3.p3" class="ltx_para">
<p id="S3.p3.5" class="ltx_p">In the RLHF setup, a reward model <math id="S3.p3.1.m1.1" class="ltx_Math" alttext="r" display="inline"><semantics id="S3.p3.1.m1.1a"><mi id="S3.p3.1.m1.1.1" xref="S3.p3.1.m1.1.1.cmml">r</mi><annotation-xml encoding="MathML-Content" id="S3.p3.1.m1.1b"><ci id="S3.p3.1.m1.1.1.cmml" xref="S3.p3.1.m1.1.1">𝑟</ci></annotation-xml><annotation encoding="application/x-tex" id="S3.p3.1.m1.1c">r</annotation></semantics></math> provides a scalar value <math id="S3.p3.2.m2.3" class="ltx_Math" alttext="r(a_{1},\ldots,a_{T})" display="inline"><semantics id="S3.p3.2.m2.3a"><mrow id="S3.p3.2.m2.3.3" xref="S3.p3.2.m2.3.3.cmml"><mi id="S3.p3.2.m2.3.3.4" xref="S3.p3.2.m2.3.3.4.cmml">r</mi><mo lspace="0em" rspace="0em" id="S3.p3.2.m2.3.3.3" xref="S3.p3.2.m2.3.3.3.cmml">​</mo><mrow id="S3.p3.2.m2.3.3.2.2" xref="S3.p3.2.m2.3.3.2.3.cmml"><mo stretchy="false" id="S3.p3.2.m2.3.3.2.2.3" xref="S3.p3.2.m2.3.3.2.3.cmml">(</mo><msub id="S3.p3.2.m2.2.2.1.1.1" xref="S3.p3.2.m2.2.2.1.1.1.cmml"><mi id="S3.p3.2.m2.2.2.1.1.1.2" xref="S3.p3.2.m2.2.2.1.1.1.2.cmml">a</mi><mn id="S3.p3.2.m2.2.2.1.1.1.3" xref="S3.p3.2.m2.2.2.1.1.1.3.cmml">1</mn></msub><mo id="S3.p3.2.m2.3.3.2.2.4" xref="S3.p3.2.m2.3.3.2.3.cmml">,</mo><mi mathvariant="normal" id="S3.p3.2.m2.1.1" xref="S3.p3.2.m2.1.1.cmml">…</mi><mo id="S3.p3.2.m2.3.3.2.2.5" xref="S3.p3.2.m2.3.3.2.3.cmml">,</mo><msub id="S3.p3.2.m2.3.3.2.2.2" xref="S3.p3.2.m2.3.3.2.2.2.cmml"><mi id="S3.p3.2.m2.3.3.2.2.2.2" xref="S3.p3.2.m2.3.3.2.2.2.2.cmml">a</mi><mi id="S3.p3.2.m2.3.3.2.2.2.3" xref="S3.p3.2.m2.3.3.2.2.2.3.cmml">T</mi></msub><mo stretchy="false" id="S3.p3.2.m2.3.3.2.2.6" xref="S3.p3.2.m2.3.3.2.3.cmml">)</mo></mrow></mrow><annotation-xml encoding="MathML-Content" id="S3.p3.2.m2.3b"><apply id="S3.p3.2.m2.3.3.cmml" xref="S3.p3.2.m2.3.3"><times id="S3.p3.2.m2.3.3.3.cmml" xref="S3.p3.2.m2.3.3.3"></times><ci id="S3.p3.2.m2.3.3.4.cmml" xref="S3.p3.2.m2.3.3.4">𝑟</ci><vector id="S3.p3.2.m2.3.3.2.3.cmml" xref="S3.p3.2.m2.3.3.2.2"><apply id="S3.p3.2.m2.2.2.1.1.1.cmml" xref="S3.p3.2.m2.2.2.1.1.1"><csymbol cd="ambiguous" id="S3.p3.2.m2.2.2.1.1.1.1.cmml" xref="S3.p3.2.m2.2.2.1.1.1">subscript</csymbol><ci id="S3.p3.2.m2.2.2.1.1.1.2.cmml" xref="S3.p3.2.m2.2.2.1.1.1.2">𝑎</ci><cn type="integer" id="S3.p3.2.m2.2.2.1.1.1.3.cmml" xref="S3.p3.2.m2.2.2.1.1.1.3">1</cn></apply><ci id="S3.p3.2.m2.1.1.cmml" xref="S3.p3.2.m2.1.1">…</ci><apply id="S3.p3.2.m2.3.3.2.2.2.cmml" xref="S3.p3.2.m2.3.3.2.2.2"><csymbol cd="ambiguous" id="S3.p3.2.m2.3.3.2.2.2.1.cmml" xref="S3.p3.2.m2.3.3.2.2.2">subscript</csymbol><ci id="S3.p3.2.m2.3.3.2.2.2.2.cmml" xref="S3.p3.2.m2.3.3.2.2.2.2">𝑎</ci><ci id="S3.p3.2.m2.3.3.2.2.2.3.cmml" xref="S3.p3.2.m2.3.3.2.2.2.3">𝑇</ci></apply></vector></apply></annotation-xml><annotation encoding="application/x-tex" id="S3.p3.2.m2.3c">r(a_{1},\ldots,a_{T})</annotation></semantics></math> to a complete response, with higher values generally being preferable. Recent studies focus on learning the reward model from human preference data <cite class="ltx_cite ltx_citemacro_citep">(Ouyang et al., <a href="#bib.bib19" title="" class="ltx_ref">2022</a>; Bai et al., <a href="#bib.bib2" title="" class="ltx_ref">2022b</a>, <a href="#bib.bib1" title="" class="ltx_ref">a</a>)</cite>. Specifically, given pairs of responses with positive preference data <math id="S3.p3.3.m3.3" class="ltx_Math" alttext="(a_{1},\ldots,a_{T})" display="inline"><semantics id="S3.p3.3.m3.3a"><mrow id="S3.p3.3.m3.3.3.2" xref="S3.p3.3.m3.3.3.3.cmml"><mo stretchy="false" id="S3.p3.3.m3.3.3.2.3" xref="S3.p3.3.m3.3.3.3.cmml">(</mo><msub id="S3.p3.3.m3.2.2.1.1" xref="S3.p3.3.m3.2.2.1.1.cmml"><mi id="S3.p3.3.m3.2.2.1.1.2" xref="S3.p3.3.m3.2.2.1.1.2.cmml">a</mi><mn id="S3.p3.3.m3.2.2.1.1.3" xref="S3.p3.3.m3.2.2.1.1.3.cmml">1</mn></msub><mo id="S3.p3.3.m3.3.3.2.4" xref="S3.p3.3.m3.3.3.3.cmml">,</mo><mi mathvariant="normal" id="S3.p3.3.m3.1.1" xref="S3.p3.3.m3.1.1.cmml">…</mi><mo id="S3.p3.3.m3.3.3.2.5" xref="S3.p3.3.m3.3.3.3.cmml">,</mo><msub id="S3.p3.3.m3.3.3.2.2" xref="S3.p3.3.m3.3.3.2.2.cmml"><mi id="S3.p3.3.m3.3.3.2.2.2" xref="S3.p3.3.m3.3.3.2.2.2.cmml">a</mi><mi id="S3.p3.3.m3.3.3.2.2.3" xref="S3.p3.3.m3.3.3.2.2.3.cmml">T</mi></msub><mo stretchy="false" id="S3.p3.3.m3.3.3.2.6" xref="S3.p3.3.m3.3.3.3.cmml">)</mo></mrow><annotation-xml encoding="MathML-Content" id="S3.p3.3.m3.3b"><vector id="S3.p3.3.m3.3.3.3.cmml" xref="S3.p3.3.m3.3.3.2"><apply id="S3.p3.3.m3.2.2.1.1.cmml" xref="S3.p3.3.m3.2.2.1.1"><csymbol cd="ambiguous" id="S3.p3.3.m3.2.2.1.1.1.cmml" xref="S3.p3.3.m3.2.2.1.1">subscript</csymbol><ci id="S3.p3.3.m3.2.2.1.1.2.cmml" xref="S3.p3.3.m3.2.2.1.1.2">𝑎</ci><cn type="integer" id="S3.p3.3.m3.2.2.1.1.3.cmml" xref="S3.p3.3.m3.2.2.1.1.3">1</cn></apply><ci id="S3.p3.3.m3.1.1.cmml" xref="S3.p3.3.m3.1.1">…</ci><apply id="S3.p3.3.m3.3.3.2.2.cmml" xref="S3.p3.3.m3.3.3.2.2"><csymbol cd="ambiguous" id="S3.p3.3.m3.3.3.2.2.1.cmml" xref="S3.p3.3.m3.3.3.2.2">subscript</csymbol><ci id="S3.p3.3.m3.3.3.2.2.2.cmml" xref="S3.p3.3.m3.3.3.2.2.2">𝑎</ci><ci id="S3.p3.3.m3.3.3.2.2.3.cmml" xref="S3.p3.3.m3.3.3.2.2.3">𝑇</ci></apply></vector></annotation-xml><annotation encoding="application/x-tex" id="S3.p3.3.m3.3c">(a_{1},\ldots,a_{T})</annotation></semantics></math> and negative preference data <math id="S3.p3.4.m4.3" class="ltx_Math" alttext="(a_{1}^{\prime},\ldots,a_{T}^{\prime})" display="inline"><semantics id="S3.p3.4.m4.3a"><mrow id="S3.p3.4.m4.3.3.2" xref="S3.p3.4.m4.3.3.3.cmml"><mo stretchy="false" id="S3.p3.4.m4.3.3.2.3" xref="S3.p3.4.m4.3.3.3.cmml">(</mo><msubsup id="S3.p3.4.m4.2.2.1.1" xref="S3.p3.4.m4.2.2.1.1.cmml"><mi id="S3.p3.4.m4.2.2.1.1.2.2" xref="S3.p3.4.m4.2.2.1.1.2.2.cmml">a</mi><mn id="S3.p3.4.m4.2.2.1.1.2.3" xref="S3.p3.4.m4.2.2.1.1.2.3.cmml">1</mn><mo id="S3.p3.4.m4.2.2.1.1.3" xref="S3.p3.4.m4.2.2.1.1.3.cmml">′</mo></msubsup><mo id="S3.p3.4.m4.3.3.2.4" xref="S3.p3.4.m4.3.3.3.cmml">,</mo><mi mathvariant="normal" id="S3.p3.4.m4.1.1" xref="S3.p3.4.m4.1.1.cmml">…</mi><mo id="S3.p3.4.m4.3.3.2.5" xref="S3.p3.4.m4.3.3.3.cmml">,</mo><msubsup id="S3.p3.4.m4.3.3.2.2" xref="S3.p3.4.m4.3.3.2.2.cmml"><mi id="S3.p3.4.m4.3.3.2.2.2.2" xref="S3.p3.4.m4.3.3.2.2.2.2.cmml">a</mi><mi id="S3.p3.4.m4.3.3.2.2.2.3" xref="S3.p3.4.m4.3.3.2.2.2.3.cmml">T</mi><mo id="S3.p3.4.m4.3.3.2.2.3" xref="S3.p3.4.m4.3.3.2.2.3.cmml">′</mo></msubsup><mo stretchy="false" id="S3.p3.4.m4.3.3.2.6" xref="S3.p3.4.m4.3.3.3.cmml">)</mo></mrow><annotation-xml encoding="MathML-Content" id="S3.p3.4.m4.3b"><vector id="S3.p3.4.m4.3.3.3.cmml" xref="S3.p3.4.m4.3.3.2"><apply id="S3.p3.4.m4.2.2.1.1.cmml" xref="S3.p3.4.m4.2.2.1.1"><csymbol cd="ambiguous" id="S3.p3.4.m4.2.2.1.1.1.cmml" xref="S3.p3.4.m4.2.2.1.1">superscript</csymbol><apply id="S3.p3.4.m4.2.2.1.1.2.cmml" xref="S3.p3.4.m4.2.2.1.1"><csymbol cd="ambiguous" id="S3.p3.4.m4.2.2.1.1.2.1.cmml" xref="S3.p3.4.m4.2.2.1.1">subscript</csymbol><ci id="S3.p3.4.m4.2.2.1.1.2.2.cmml" xref="S3.p3.4.m4.2.2.1.1.2.2">𝑎</ci><cn type="integer" id="S3.p3.4.m4.2.2.1.1.2.3.cmml" xref="S3.p3.4.m4.2.2.1.1.2.3">1</cn></apply><ci id="S3.p3.4.m4.2.2.1.1.3.cmml" xref="S3.p3.4.m4.2.2.1.1.3">′</ci></apply><ci id="S3.p3.4.m4.1.1.cmml" xref="S3.p3.4.m4.1.1">…</ci><apply id="S3.p3.4.m4.3.3.2.2.cmml" xref="S3.p3.4.m4.3.3.2.2"><csymbol cd="ambiguous" id="S3.p3.4.m4.3.3.2.2.1.cmml" xref="S3.p3.4.m4.3.3.2.2">superscript</csymbol><apply id="S3.p3.4.m4.3.3.2.2.2.cmml" xref="S3.p3.4.m4.3.3.2.2"><csymbol cd="ambiguous" id="S3.p3.4.m4.3.3.2.2.2.1.cmml" xref="S3.p3.4.m4.3.3.2.2">subscript</csymbol><ci id="S3.p3.4.m4.3.3.2.2.2.2.cmml" xref="S3.p3.4.m4.3.3.2.2.2.2">𝑎</ci><ci id="S3.p3.4.m4.3.3.2.2.2.3.cmml" xref="S3.p3.4.m4.3.3.2.2.2.3">𝑇</ci></apply><ci id="S3.p3.4.m4.3.3.2.2.3.cmml" xref="S3.p3.4.m4.3.3.2.2.3">′</ci></apply></vector></annotation-xml><annotation encoding="application/x-tex" id="S3.p3.4.m4.3c">(a_{1}^{\prime},\ldots,a_{T}^{\prime})</annotation></semantics></math>, a binary classification objective is optimized to train the reward model <math id="S3.p3.5.m5.1" class="ltx_Math" alttext="r" display="inline"><semantics id="S3.p3.5.m5.1a"><mi id="S3.p3.5.m5.1.1" xref="S3.p3.5.m5.1.1.cmml">r</mi><annotation-xml encoding="MathML-Content" id="S3.p3.5.m5.1b"><ci id="S3.p3.5.m5.1.1.cmml" xref="S3.p3.5.m5.1.1">𝑟</ci></annotation-xml><annotation encoding="application/x-tex" id="S3.p3.5.m5.1c">r</annotation></semantics></math> such that it assigns higher scores to positively preferred data:</p>
<table id="A5.EGx1" class="ltx_equationgroup ltx_eqn_align ltx_eqn_table">

<tbody id="S3.Ex1"><tr class="ltx_equation ltx_eqn_row ltx_align_baseline">
<td class="ltx_eqn_cell ltx_eqn_center_padleft"></td>
<td class="ltx_td ltx_align_right ltx_eqn_cell"><math id="S3.Ex1.m1.4" class="ltx_Math" alttext="\displaystyle\max_{r}\mathbb{E}_{(a_{1:T},a_{1:T}^{\prime})\sim D}\left[\log(\sigma(r(a_{1:T})-r(a_{1:T}^{\prime})))\right]." display="inline"><semantics id="S3.Ex1.m1.4a"><mrow id="S3.Ex1.m1.4.4.1" xref="S3.Ex1.m1.4.4.1.1.cmml"><mrow id="S3.Ex1.m1.4.4.1.1" xref="S3.Ex1.m1.4.4.1.1.cmml"><mrow id="S3.Ex1.m1.4.4.1.1.3" xref="S3.Ex1.m1.4.4.1.1.3.cmml"><munder id="S3.Ex1.m1.4.4.1.1.3.1" xref="S3.Ex1.m1.4.4.1.1.3.1.cmml"><mi id="S3.Ex1.m1.4.4.1.1.3.1.2" xref="S3.Ex1.m1.4.4.1.1.3.1.2.cmml">max</mi><mi id="S3.Ex1.m1.4.4.1.1.3.1.3" xref="S3.Ex1.m1.4.4.1.1.3.1.3.cmml">r</mi></munder><mo lspace="0.167em" id="S3.Ex1.m1.4.4.1.1.3a" xref="S3.Ex1.m1.4.4.1.1.3.cmml">⁡</mo><msub id="S3.Ex1.m1.4.4.1.1.3.2" xref="S3.Ex1.m1.4.4.1.1.3.2.cmml"><mi id="S3.Ex1.m1.4.4.1.1.3.2.2" xref="S3.Ex1.m1.4.4.1.1.3.2.2.cmml">𝔼</mi><mrow id="S3.Ex1.m1.2.2.2" xref="S3.Ex1.m1.2.2.2.cmml"><mrow id="S3.Ex1.m1.2.2.2.2.2" xref="S3.Ex1.m1.2.2.2.2.3.cmml"><mo stretchy="false" id="S3.Ex1.m1.2.2.2.2.2.3" xref="S3.Ex1.m1.2.2.2.2.3.cmml">(</mo><msub id="S3.Ex1.m1.1.1.1.1.1.1" xref="S3.Ex1.m1.1.1.1.1.1.1.cmml"><mi id="S3.Ex1.m1.1.1.1.1.1.1.2" xref="S3.Ex1.m1.1.1.1.1.1.1.2.cmml">a</mi><mrow id="S3.Ex1.m1.1.1.1.1.1.1.3" xref="S3.Ex1.m1.1.1.1.1.1.1.3.cmml"><mn id="S3.Ex1.m1.1.1.1.1.1.1.3.2" xref="S3.Ex1.m1.1.1.1.1.1.1.3.2.cmml">1</mn><mo lspace="0.278em" rspace="0.278em" id="S3.Ex1.m1.1.1.1.1.1.1.3.1" xref="S3.Ex1.m1.1.1.1.1.1.1.3.1.cmml">:</mo><mi id="S3.Ex1.m1.1.1.1.1.1.1.3.3" xref="S3.Ex1.m1.1.1.1.1.1.1.3.3.cmml">T</mi></mrow></msub><mo id="S3.Ex1.m1.2.2.2.2.2.4" xref="S3.Ex1.m1.2.2.2.2.3.cmml">,</mo><msubsup id="S3.Ex1.m1.2.2.2.2.2.2" xref="S3.Ex1.m1.2.2.2.2.2.2.cmml"><mi id="S3.Ex1.m1.2.2.2.2.2.2.2.2" xref="S3.Ex1.m1.2.2.2.2.2.2.2.2.cmml">a</mi><mrow id="S3.Ex1.m1.2.2.2.2.2.2.2.3" xref="S3.Ex1.m1.2.2.2.2.2.2.2.3.cmml"><mn id="S3.Ex1.m1.2.2.2.2.2.2.2.3.2" xref="S3.Ex1.m1.2.2.2.2.2.2.2.3.2.cmml">1</mn><mo lspace="0.278em" rspace="0.278em" id="S3.Ex1.m1.2.2.2.2.2.2.2.3.1" xref="S3.Ex1.m1.2.2.2.2.2.2.2.3.1.cmml">:</mo><mi id="S3.Ex1.m1.2.2.2.2.2.2.2.3.3" xref="S3.Ex1.m1.2.2.2.2.2.2.2.3.3.cmml">T</mi></mrow><mo id="S3.Ex1.m1.2.2.2.2.2.2.3" xref="S3.Ex1.m1.2.2.2.2.2.2.3.cmml">′</mo></msubsup><mo stretchy="false" id="S3.Ex1.m1.2.2.2.2.2.5" xref="S3.Ex1.m1.2.2.2.2.3.cmml">)</mo></mrow><mo id="S3.Ex1.m1.2.2.2.3" xref="S3.Ex1.m1.2.2.2.3.cmml">∼</mo><mi id="S3.Ex1.m1.2.2.2.4" xref="S3.Ex1.m1.2.2.2.4.cmml">D</mi></mrow></msub></mrow><mo lspace="0em" rspace="0em" id="S3.Ex1.m1.4.4.1.1.2" xref="S3.Ex1.m1.4.4.1.1.2.cmml">​</mo><mrow id="S3.Ex1.m1.4.4.1.1.1.1" xref="S3.Ex1.m1.4.4.1.1.1.2.cmml"><mo id="S3.Ex1.m1.4.4.1.1.1.1.2" xref="S3.Ex1.m1.4.4.1.1.1.2.1.cmml">[</mo><mrow id="S3.Ex1.m1.4.4.1.1.1.1.1.1" xref="S3.Ex1.m1.4.4.1.1.1.1.1.2.cmml"><mi id="S3.Ex1.m1.3.3" xref="S3.Ex1.m1.3.3.cmml">log</mi><mo id="S3.Ex1.m1.4.4.1.1.1.1.1.1a" xref="S3.Ex1.m1.4.4.1.1.1.1.1.2.cmml">⁡</mo><mrow id="S3.Ex1.m1.4.4.1.1.1.1.1.1.1" xref="S3.Ex1.m1.4.4.1.1.1.1.1.2.cmml"><mo stretchy="false" id="S3.Ex1.m1.4.4.1.1.1.1.1.1.1.2" xref="S3.Ex1.m1.4.4.1.1.1.1.1.2.cmml">(</mo><mrow id="S3.Ex1.m1.4.4.1.1.1.1.1.1.1.1" xref="S3.Ex1.m1.4.4.1.1.1.1.1.1.1.1.cmml"><mi id="S3.Ex1.m1.4.4.1.1.1.1.1.1.1.1.3" xref="S3.Ex1.m1.4.4.1.1.1.1.1.1.1.1.3.cmml">σ</mi><mo lspace="0em" rspace="0em" id="S3.Ex1.m1.4.4.1.1.1.1.1.1.1.1.2" xref="S3.Ex1.m1.4.4.1.1.1.1.1.1.1.1.2.cmml">​</mo><mrow id="S3.Ex1.m1.4.4.1.1.1.1.1.1.1.1.1.1" xref="S3.Ex1.m1.4.4.1.1.1.1.1.1.1.1.1.1.1.cmml"><mo stretchy="false" id="S3.Ex1.m1.4.4.1.1.1.1.1.1.1.1.1.1.2" xref="S3.Ex1.m1.4.4.1.1.1.1.1.1.1.1.1.1.1.cmml">(</mo><mrow id="S3.Ex1.m1.4.4.1.1.1.1.1.1.1.1.1.1.1" xref="S3.Ex1.m1.4.4.1.1.1.1.1.1.1.1.1.1.1.cmml"><mrow id="S3.Ex1.m1.4.4.1.1.1.1.1.1.1.1.1.1.1.1" xref="S3.Ex1.m1.4.4.1.1.1.1.1.1.1.1.1.1.1.1.cmml"><mi id="S3.Ex1.m1.4.4.1.1.1.1.1.1.1.1.1.1.1.1.3" xref="S3.Ex1.m1.4.4.1.1.1.1.1.1.1.1.1.1.1.1.3.cmml">r</mi><mo lspace="0em" rspace="0em" id="S3.Ex1.m1.4.4.1.1.1.1.1.1.1.1.1.1.1.1.2" xref="S3.Ex1.m1.4.4.1.1.1.1.1.1.1.1.1.1.1.1.2.cmml">​</mo><mrow id="S3.Ex1.m1.4.4.1.1.1.1.1.1.1.1.1.1.1.1.1.1" xref="S3.Ex1.m1.4.4.1.1.1.1.1.1.1.1.1.1.1.1.1.1.1.cmml"><mo stretchy="false" id="S3.Ex1.m1.4.4.1.1.1.1.1.1.1.1.1.1.1.1.1.1.2" xref="S3.Ex1.m1.4.4.1.1.1.1.1.1.1.1.1.1.1.1.1.1.1.cmml">(</mo><msub id="S3.Ex1.m1.4.4.1.1.1.1.1.1.1.1.1.1.1.1.1.1.1" xref="S3.Ex1.m1.4.4.1.1.1.1.1.1.1.1.1.1.1.1.1.1.1.cmml"><mi id="S3.Ex1.m1.4.4.1.1.1.1.1.1.1.1.1.1.1.1.1.1.1.2" xref="S3.Ex1.m1.4.4.1.1.1.1.1.1.1.1.1.1.1.1.1.1.1.2.cmml">a</mi><mrow id="S3.Ex1.m1.4.4.1.1.1.1.1.1.1.1.1.1.1.1.1.1.1.3" xref="S3.Ex1.m1.4.4.1.1.1.1.1.1.1.1.1.1.1.1.1.1.1.3.cmml"><mn id="S3.Ex1.m1.4.4.1.1.1.1.1.1.1.1.1.1.1.1.1.1.1.3.2" xref="S3.Ex1.m1.4.4.1.1.1.1.1.1.1.1.1.1.1.1.1.1.1.3.2.cmml">1</mn><mo lspace="0.278em" rspace="0.278em" id="S3.Ex1.m1.4.4.1.1.1.1.1.1.1.1.1.1.1.1.1.1.1.3.1" xref="S3.Ex1.m1.4.4.1.1.1.1.1.1.1.1.1.1.1.1.1.1.1.3.1.cmml">:</mo><mi id="S3.Ex1.m1.4.4.1.1.1.1.1.1.1.1.1.1.1.1.1.1.1.3.3" xref="S3.Ex1.m1.4.4.1.1.1.1.1.1.1.1.1.1.1.1.1.1.1.3.3.cmml">T</mi></mrow></msub><mo stretchy="false" id="S3.Ex1.m1.4.4.1.1.1.1.1.1.1.1.1.1.1.1.1.1.3" xref="S3.Ex1.m1.4.4.1.1.1.1.1.1.1.1.1.1.1.1.1.1.1.cmml">)</mo></mrow></mrow><mo id="S3.Ex1.m1.4.4.1.1.1.1.1.1.1.1.1.1.1.3" xref="S3.Ex1.m1.4.4.1.1.1.1.1.1.1.1.1.1.1.3.cmml">−</mo><mrow id="S3.Ex1.m1.4.4.1.1.1.1.1.1.1.1.1.1.1.2" xref="S3.Ex1.m1.4.4.1.1.1.1.1.1.1.1.1.1.1.2.cmml"><mi id="S3.Ex1.m1.4.4.1.1.1.1.1.1.1.1.1.1.1.2.3" xref="S3.Ex1.m1.4.4.1.1.1.1.1.1.1.1.1.1.1.2.3.cmml">r</mi><mo lspace="0em" rspace="0em" id="S3.Ex1.m1.4.4.1.1.1.1.1.1.1.1.1.1.1.2.2" xref="S3.Ex1.m1.4.4.1.1.1.1.1.1.1.1.1.1.1.2.2.cmml">​</mo><mrow id="S3.Ex1.m1.4.4.1.1.1.1.1.1.1.1.1.1.1.2.1.1" xref="S3.Ex1.m1.4.4.1.1.1.1.1.1.1.1.1.1.1.2.1.1.1.cmml"><mo stretchy="false" id="S3.Ex1.m1.4.4.1.1.1.1.1.1.1.1.1.1.1.2.1.1.2" xref="S3.Ex1.m1.4.4.1.1.1.1.1.1.1.1.1.1.1.2.1.1.1.cmml">(</mo><msubsup id="S3.Ex1.m1.4.4.1.1.1.1.1.1.1.1.1.1.1.2.1.1.1" xref="S3.Ex1.m1.4.4.1.1.1.1.1.1.1.1.1.1.1.2.1.1.1.cmml"><mi id="S3.Ex1.m1.4.4.1.1.1.1.1.1.1.1.1.1.1.2.1.1.1.2.2" xref="S3.Ex1.m1.4.4.1.1.1.1.1.1.1.1.1.1.1.2.1.1.1.2.2.cmml">a</mi><mrow id="S3.Ex1.m1.4.4.1.1.1.1.1.1.1.1.1.1.1.2.1.1.1.2.3" xref="S3.Ex1.m1.4.4.1.1.1.1.1.1.1.1.1.1.1.2.1.1.1.2.3.cmml"><mn id="S3.Ex1.m1.4.4.1.1.1.1.1.1.1.1.1.1.1.2.1.1.1.2.3.2" xref="S3.Ex1.m1.4.4.1.1.1.1.1.1.1.1.1.1.1.2.1.1.1.2.3.2.cmml">1</mn><mo lspace="0.278em" rspace="0.278em" id="S3.Ex1.m1.4.4.1.1.1.1.1.1.1.1.1.1.1.2.1.1.1.2.3.1" xref="S3.Ex1.m1.4.4.1.1.1.1.1.1.1.1.1.1.1.2.1.1.1.2.3.1.cmml">:</mo><mi id="S3.Ex1.m1.4.4.1.1.1.1.1.1.1.1.1.1.1.2.1.1.1.2.3.3" xref="S3.Ex1.m1.4.4.1.1.1.1.1.1.1.1.1.1.1.2.1.1.1.2.3.3.cmml">T</mi></mrow><mo id="S3.Ex1.m1.4.4.1.1.1.1.1.1.1.1.1.1.1.2.1.1.1.3" xref="S3.Ex1.m1.4.4.1.1.1.1.1.1.1.1.1.1.1.2.1.1.1.3.cmml">′</mo></msubsup><mo stretchy="false" id="S3.Ex1.m1.4.4.1.1.1.1.1.1.1.1.1.1.1.2.1.1.3" xref="S3.Ex1.m1.4.4.1.1.1.1.1.1.1.1.1.1.1.2.1.1.1.cmml">)</mo></mrow></mrow></mrow><mo stretchy="false" id="S3.Ex1.m1.4.4.1.1.1.1.1.1.1.1.1.1.3" xref="S3.Ex1.m1.4.4.1.1.1.1.1.1.1.1.1.1.1.cmml">)</mo></mrow></mrow><mo stretchy="false" id="S3.Ex1.m1.4.4.1.1.1.1.1.1.1.3" xref="S3.Ex1.m1.4.4.1.1.1.1.1.2.cmml">)</mo></mrow></mrow><mo id="S3.Ex1.m1.4.4.1.1.1.1.3" xref="S3.Ex1.m1.4.4.1.1.1.2.1.cmml">]</mo></mrow></mrow><mo lspace="0em" id="S3.Ex1.m1.4.4.1.2" xref="S3.Ex1.m1.4.4.1.1.cmml">.</mo></mrow><annotation-xml encoding="MathML-Content" id="S3.Ex1.m1.4b"><apply id="S3.Ex1.m1.4.4.1.1.cmml" xref="S3.Ex1.m1.4.4.1"><times id="S3.Ex1.m1.4.4.1.1.2.cmml" xref="S3.Ex1.m1.4.4.1.1.2"></times><apply id="S3.Ex1.m1.4.4.1.1.3.cmml" xref="S3.Ex1.m1.4.4.1.1.3"><apply id="S3.Ex1.m1.4.4.1.1.3.1.cmml" xref="S3.Ex1.m1.4.4.1.1.3.1"><csymbol cd="ambiguous" id="S3.Ex1.m1.4.4.1.1.3.1.1.cmml" xref="S3.Ex1.m1.4.4.1.1.3.1">subscript</csymbol><max id="S3.Ex1.m1.4.4.1.1.3.1.2.cmml" xref="S3.Ex1.m1.4.4.1.1.3.1.2"></max><ci id="S3.Ex1.m1.4.4.1.1.3.1.3.cmml" xref="S3.Ex1.m1.4.4.1.1.3.1.3">𝑟</ci></apply><apply id="S3.Ex1.m1.4.4.1.1.3.2.cmml" xref="S3.Ex1.m1.4.4.1.1.3.2"><csymbol cd="ambiguous" id="S3.Ex1.m1.4.4.1.1.3.2.1.cmml" xref="S3.Ex1.m1.4.4.1.1.3.2">subscript</csymbol><ci id="S3.Ex1.m1.4.4.1.1.3.2.2.cmml" xref="S3.Ex1.m1.4.4.1.1.3.2.2">𝔼</ci><apply id="S3.Ex1.m1.2.2.2.cmml" xref="S3.Ex1.m1.2.2.2"><csymbol cd="latexml" id="S3.Ex1.m1.2.2.2.3.cmml" xref="S3.Ex1.m1.2.2.2.3">similar-to</csymbol><interval closure="open" id="S3.Ex1.m1.2.2.2.2.3.cmml" xref="S3.Ex1.m1.2.2.2.2.2"><apply id="S3.Ex1.m1.1.1.1.1.1.1.cmml" xref="S3.Ex1.m1.1.1.1.1.1.1"><csymbol cd="ambiguous" id="S3.Ex1.m1.1.1.1.1.1.1.1.cmml" xref="S3.Ex1.m1.1.1.1.1.1.1">subscript</csymbol><ci id="S3.Ex1.m1.1.1.1.1.1.1.2.cmml" xref="S3.Ex1.m1.1.1.1.1.1.1.2">𝑎</ci><apply id="S3.Ex1.m1.1.1.1.1.1.1.3.cmml" xref="S3.Ex1.m1.1.1.1.1.1.1.3"><ci id="S3.Ex1.m1.1.1.1.1.1.1.3.1.cmml" xref="S3.Ex1.m1.1.1.1.1.1.1.3.1">:</ci><cn type="integer" id="S3.Ex1.m1.1.1.1.1.1.1.3.2.cmml" xref="S3.Ex1.m1.1.1.1.1.1.1.3.2">1</cn><ci id="S3.Ex1.m1.1.1.1.1.1.1.3.3.cmml" xref="S3.Ex1.m1.1.1.1.1.1.1.3.3">𝑇</ci></apply></apply><apply id="S3.Ex1.m1.2.2.2.2.2.2.cmml" xref="S3.Ex1.m1.2.2.2.2.2.2"><csymbol cd="ambiguous" id="S3.Ex1.m1.2.2.2.2.2.2.1.cmml" xref="S3.Ex1.m1.2.2.2.2.2.2">superscript</csymbol><apply id="S3.Ex1.m1.2.2.2.2.2.2.2.cmml" xref="S3.Ex1.m1.2.2.2.2.2.2"><csymbol cd="ambiguous" id="S3.Ex1.m1.2.2.2.2.2.2.2.1.cmml" xref="S3.Ex1.m1.2.2.2.2.2.2">subscript</csymbol><ci id="S3.Ex1.m1.2.2.2.2.2.2.2.2.cmml" xref="S3.Ex1.m1.2.2.2.2.2.2.2.2">𝑎</ci><apply id="S3.Ex1.m1.2.2.2.2.2.2.2.3.cmml" xref="S3.Ex1.m1.2.2.2.2.2.2.2.3"><ci id="S3.Ex1.m1.2.2.2.2.2.2.2.3.1.cmml" xref="S3.Ex1.m1.2.2.2.2.2.2.2.3.1">:</ci><cn type="integer" id="S3.Ex1.m1.2.2.2.2.2.2.2.3.2.cmml" xref="S3.Ex1.m1.2.2.2.2.2.2.2.3.2">1</cn><ci id="S3.Ex1.m1.2.2.2.2.2.2.2.3.3.cmml" xref="S3.Ex1.m1.2.2.2.2.2.2.2.3.3">𝑇</ci></apply></apply><ci id="S3.Ex1.m1.2.2.2.2.2.2.3.cmml" xref="S3.Ex1.m1.2.2.2.2.2.2.3">′</ci></apply></interval><ci id="S3.Ex1.m1.2.2.2.4.cmml" xref="S3.Ex1.m1.2.2.2.4">𝐷</ci></apply></apply></apply><apply id="S3.Ex1.m1.4.4.1.1.1.2.cmml" xref="S3.Ex1.m1.4.4.1.1.1.1"><csymbol cd="latexml" id="S3.Ex1.m1.4.4.1.1.1.2.1.cmml" xref="S3.Ex1.m1.4.4.1.1.1.1.2">delimited-[]</csymbol><apply id="S3.Ex1.m1.4.4.1.1.1.1.1.2.cmml" xref="S3.Ex1.m1.4.4.1.1.1.1.1.1"><log id="S3.Ex1.m1.3.3.cmml" xref="S3.Ex1.m1.3.3"></log><apply id="S3.Ex1.m1.4.4.1.1.1.1.1.1.1.1.cmml" xref="S3.Ex1.m1.4.4.1.1.1.1.1.1.1.1"><times id="S3.Ex1.m1.4.4.1.1.1.1.1.1.1.1.2.cmml" xref="S3.Ex1.m1.4.4.1.1.1.1.1.1.1.1.2"></times><ci id="S3.Ex1.m1.4.4.1.1.1.1.1.1.1.1.3.cmml" xref="S3.Ex1.m1.4.4.1.1.1.1.1.1.1.1.3">𝜎</ci><apply id="S3.Ex1.m1.4.4.1.1.1.1.1.1.1.1.1.1.1.cmml" xref="S3.Ex1.m1.4.4.1.1.1.1.1.1.1.1.1.1"><minus id="S3.Ex1.m1.4.4.1.1.1.1.1.1.1.1.1.1.1.3.cmml" xref="S3.Ex1.m1.4.4.1.1.1.1.1.1.1.1.1.1.1.3"></minus><apply id="S3.Ex1.m1.4.4.1.1.1.1.1.1.1.1.1.1.1.1.cmml" xref="S3.Ex1.m1.4.4.1.1.1.1.1.1.1.1.1.1.1.1"><times id="S3.Ex1.m1.4.4.1.1.1.1.1.1.1.1.1.1.1.1.2.cmml" xref="S3.Ex1.m1.4.4.1.1.1.1.1.1.1.1.1.1.1.1.2"></times><ci id="S3.Ex1.m1.4.4.1.1.1.1.1.1.1.1.1.1.1.1.3.cmml" xref="S3.Ex1.m1.4.4.1.1.1.1.1.1.1.1.1.1.1.1.3">𝑟</ci><apply id="S3.Ex1.m1.4.4.1.1.1.1.1.1.1.1.1.1.1.1.1.1.1.cmml" xref="S3.Ex1.m1.4.4.1.1.1.1.1.1.1.1.1.1.1.1.1.1"><csymbol cd="ambiguous" id="S3.Ex1.m1.4.4.1.1.1.1.1.1.1.1.1.1.1.1.1.1.1.1.cmml" xref="S3.Ex1.m1.4.4.1.1.1.1.1.1.1.1.1.1.1.1.1.1">subscript</csymbol><ci id="S3.Ex1.m1.4.4.1.1.1.1.1.1.1.1.1.1.1.1.1.1.1.2.cmml" xref="S3.Ex1.m1.4.4.1.1.1.1.1.1.1.1.1.1.1.1.1.1.1.2">𝑎</ci><apply id="S3.Ex1.m1.4.4.1.1.1.1.1.1.1.1.1.1.1.1.1.1.1.3.cmml" xref="S3.Ex1.m1.4.4.1.1.1.1.1.1.1.1.1.1.1.1.1.1.1.3"><ci id="S3.Ex1.m1.4.4.1.1.1.1.1.1.1.1.1.1.1.1.1.1.1.3.1.cmml" xref="S3.Ex1.m1.4.4.1.1.1.1.1.1.1.1.1.1.1.1.1.1.1.3.1">:</ci><cn type="integer" id="S3.Ex1.m1.4.4.1.1.1.1.1.1.1.1.1.1.1.1.1.1.1.3.2.cmml" xref="S3.Ex1.m1.4.4.1.1.1.1.1.1.1.1.1.1.1.1.1.1.1.3.2">1</cn><ci id="S3.Ex1.m1.4.4.1.1.1.1.1.1.1.1.1.1.1.1.1.1.1.3.3.cmml" xref="S3.Ex1.m1.4.4.1.1.1.1.1.1.1.1.1.1.1.1.1.1.1.3.3">𝑇</ci></apply></apply></apply><apply id="S3.Ex1.m1.4.4.1.1.1.1.1.1.1.1.1.1.1.2.cmml" xref="S3.Ex1.m1.4.4.1.1.1.1.1.1.1.1.1.1.1.2"><times id="S3.Ex1.m1.4.4.1.1.1.1.1.1.1.1.1.1.1.2.2.cmml" xref="S3.Ex1.m1.4.4.1.1.1.1.1.1.1.1.1.1.1.2.2"></times><ci id="S3.Ex1.m1.4.4.1.1.1.1.1.1.1.1.1.1.1.2.3.cmml" xref="S3.Ex1.m1.4.4.1.1.1.1.1.1.1.1.1.1.1.2.3">𝑟</ci><apply id="S3.Ex1.m1.4.4.1.1.1.1.1.1.1.1.1.1.1.2.1.1.1.cmml" xref="S3.Ex1.m1.4.4.1.1.1.1.1.1.1.1.1.1.1.2.1.1"><csymbol cd="ambiguous" id="S3.Ex1.m1.4.4.1.1.1.1.1.1.1.1.1.1.1.2.1.1.1.1.cmml" xref="S3.Ex1.m1.4.4.1.1.1.1.1.1.1.1.1.1.1.2.1.1">superscript</csymbol><apply id="S3.Ex1.m1.4.4.1.1.1.1.1.1.1.1.1.1.1.2.1.1.1.2.cmml" xref="S3.Ex1.m1.4.4.1.1.1.1.1.1.1.1.1.1.1.2.1.1"><csymbol cd="ambiguous" id="S3.Ex1.m1.4.4.1.1.1.1.1.1.1.1.1.1.1.2.1.1.1.2.1.cmml" xref="S3.Ex1.m1.4.4.1.1.1.1.1.1.1.1.1.1.1.2.1.1">subscript</csymbol><ci id="S3.Ex1.m1.4.4.1.1.1.1.1.1.1.1.1.1.1.2.1.1.1.2.2.cmml" xref="S3.Ex1.m1.4.4.1.1.1.1.1.1.1.1.1.1.1.2.1.1.1.2.2">𝑎</ci><apply id="S3.Ex1.m1.4.4.1.1.1.1.1.1.1.1.1.1.1.2.1.1.1.2.3.cmml" xref="S3.Ex1.m1.4.4.1.1.1.1.1.1.1.1.1.1.1.2.1.1.1.2.3"><ci id="S3.Ex1.m1.4.4.1.1.1.1.1.1.1.1.1.1.1.2.1.1.1.2.3.1.cmml" xref="S3.Ex1.m1.4.4.1.1.1.1.1.1.1.1.1.1.1.2.1.1.1.2.3.1">:</ci><cn type="integer" id="S3.Ex1.m1.4.4.1.1.1.1.1.1.1.1.1.1.1.2.1.1.1.2.3.2.cmml" xref="S3.Ex1.m1.4.4.1.1.1.1.1.1.1.1.1.1.1.2.1.1.1.2.3.2">1</cn><ci id="S3.Ex1.m1.4.4.1.1.1.1.1.1.1.1.1.1.1.2.1.1.1.2.3.3.cmml" xref="S3.Ex1.m1.4.4.1.1.1.1.1.1.1.1.1.1.1.2.1.1.1.2.3.3">𝑇</ci></apply></apply><ci id="S3.Ex1.m1.4.4.1.1.1.1.1.1.1.1.1.1.1.2.1.1.1.3.cmml" xref="S3.Ex1.m1.4.4.1.1.1.1.1.1.1.1.1.1.1.2.1.1.1.3">′</ci></apply></apply></apply></apply></apply></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="S3.Ex1.m1.4c">\displaystyle\max_{r}\mathbb{E}_{(a_{1:T},a_{1:T}^{\prime})\sim D}\left[\log(\sigma(r(a_{1:T})-r(a_{1:T}^{\prime})))\right].</annotation></semantics></math></td>
<td class="ltx_eqn_cell ltx_eqn_center_padright"></td>
</tr></tbody>
</table>
<p id="S3.p3.8" class="ltx_p">where <math id="S3.p3.6.m1.1" class="ltx_Math" alttext="\sigma" display="inline"><semantics id="S3.p3.6.m1.1a"><mi id="S3.p3.6.m1.1.1" xref="S3.p3.6.m1.1.1.cmml">σ</mi><annotation-xml encoding="MathML-Content" id="S3.p3.6.m1.1b"><ci id="S3.p3.6.m1.1.1.cmml" xref="S3.p3.6.m1.1.1">𝜎</ci></annotation-xml><annotation encoding="application/x-tex" id="S3.p3.6.m1.1c">\sigma</annotation></semantics></math> is the sigmoid function and <math id="S3.p3.7.m2.1" class="ltx_Math" alttext="a_{1:T}" display="inline"><semantics id="S3.p3.7.m2.1a"><msub id="S3.p3.7.m2.1.1" xref="S3.p3.7.m2.1.1.cmml"><mi id="S3.p3.7.m2.1.1.2" xref="S3.p3.7.m2.1.1.2.cmml">a</mi><mrow id="S3.p3.7.m2.1.1.3" xref="S3.p3.7.m2.1.1.3.cmml"><mn id="S3.p3.7.m2.1.1.3.2" xref="S3.p3.7.m2.1.1.3.2.cmml">1</mn><mo lspace="0.278em" rspace="0.278em" id="S3.p3.7.m2.1.1.3.1" xref="S3.p3.7.m2.1.1.3.1.cmml">:</mo><mi id="S3.p3.7.m2.1.1.3.3" xref="S3.p3.7.m2.1.1.3.3.cmml">T</mi></mrow></msub><annotation-xml encoding="MathML-Content" id="S3.p3.7.m2.1b"><apply id="S3.p3.7.m2.1.1.cmml" xref="S3.p3.7.m2.1.1"><csymbol cd="ambiguous" id="S3.p3.7.m2.1.1.1.cmml" xref="S3.p3.7.m2.1.1">subscript</csymbol><ci id="S3.p3.7.m2.1.1.2.cmml" xref="S3.p3.7.m2.1.1.2">𝑎</ci><apply id="S3.p3.7.m2.1.1.3.cmml" xref="S3.p3.7.m2.1.1.3"><ci id="S3.p3.7.m2.1.1.3.1.cmml" xref="S3.p3.7.m2.1.1.3.1">:</ci><cn type="integer" id="S3.p3.7.m2.1.1.3.2.cmml" xref="S3.p3.7.m2.1.1.3.2">1</cn><ci id="S3.p3.7.m2.1.1.3.3.cmml" xref="S3.p3.7.m2.1.1.3.3">𝑇</ci></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="S3.p3.7.m2.1c">a_{1:T}</annotation></semantics></math> stands for a complete response <math id="S3.p3.8.m3.3" class="ltx_Math" alttext="(a_{1},\ldots,a_{T})" display="inline"><semantics id="S3.p3.8.m3.3a"><mrow id="S3.p3.8.m3.3.3.2" xref="S3.p3.8.m3.3.3.3.cmml"><mo stretchy="false" id="S3.p3.8.m3.3.3.2.3" xref="S3.p3.8.m3.3.3.3.cmml">(</mo><msub id="S3.p3.8.m3.2.2.1.1" xref="S3.p3.8.m3.2.2.1.1.cmml"><mi id="S3.p3.8.m3.2.2.1.1.2" xref="S3.p3.8.m3.2.2.1.1.2.cmml">a</mi><mn id="S3.p3.8.m3.2.2.1.1.3" xref="S3.p3.8.m3.2.2.1.1.3.cmml">1</mn></msub><mo id="S3.p3.8.m3.3.3.2.4" xref="S3.p3.8.m3.3.3.3.cmml">,</mo><mi mathvariant="normal" id="S3.p3.8.m3.1.1" xref="S3.p3.8.m3.1.1.cmml">…</mi><mo id="S3.p3.8.m3.3.3.2.5" xref="S3.p3.8.m3.3.3.3.cmml">,</mo><msub id="S3.p3.8.m3.3.3.2.2" xref="S3.p3.8.m3.3.3.2.2.cmml"><mi id="S3.p3.8.m3.3.3.2.2.2" xref="S3.p3.8.m3.3.3.2.2.2.cmml">a</mi><mi id="S3.p3.8.m3.3.3.2.2.3" xref="S3.p3.8.m3.3.3.2.2.3.cmml">T</mi></msub><mo stretchy="false" id="S3.p3.8.m3.3.3.2.6" xref="S3.p3.8.m3.3.3.3.cmml">)</mo></mrow><annotation-xml encoding="MathML-Content" id="S3.p3.8.m3.3b"><vector id="S3.p3.8.m3.3.3.3.cmml" xref="S3.p3.8.m3.3.3.2"><apply id="S3.p3.8.m3.2.2.1.1.cmml" xref="S3.p3.8.m3.2.2.1.1"><csymbol cd="ambiguous" id="S3.p3.8.m3.2.2.1.1.1.cmml" xref="S3.p3.8.m3.2.2.1.1">subscript</csymbol><ci id="S3.p3.8.m3.2.2.1.1.2.cmml" xref="S3.p3.8.m3.2.2.1.1.2">𝑎</ci><cn type="integer" id="S3.p3.8.m3.2.2.1.1.3.cmml" xref="S3.p3.8.m3.2.2.1.1.3">1</cn></apply><ci id="S3.p3.8.m3.1.1.cmml" xref="S3.p3.8.m3.1.1">…</ci><apply id="S3.p3.8.m3.3.3.2.2.cmml" xref="S3.p3.8.m3.3.3.2.2"><csymbol cd="ambiguous" id="S3.p3.8.m3.3.3.2.2.1.cmml" xref="S3.p3.8.m3.3.3.2.2">subscript</csymbol><ci id="S3.p3.8.m3.3.3.2.2.2.cmml" xref="S3.p3.8.m3.3.3.2.2.2">𝑎</ci><ci id="S3.p3.8.m3.3.3.2.2.3.cmml" xref="S3.p3.8.m3.3.3.2.2.3">𝑇</ci></apply></vector></annotation-xml><annotation encoding="application/x-tex" id="S3.p3.8.m3.3c">(a_{1},\ldots,a_{T})</annotation></semantics></math>.</p>
</div>
<div id="S3.p4" class="ltx_para">
<p id="S3.p4.4" class="ltx_p">For specific tasks, we may introduce instructional prompts. Let <math id="S3.p4.1.m1.1" class="ltx_Math" alttext="x" display="inline"><semantics id="S3.p4.1.m1.1a"><mi id="S3.p4.1.m1.1.1" xref="S3.p4.1.m1.1.1.cmml">x</mi><annotation-xml encoding="MathML-Content" id="S3.p4.1.m1.1b"><ci id="S3.p4.1.m1.1.1.cmml" xref="S3.p4.1.m1.1.1">𝑥</ci></annotation-xml><annotation encoding="application/x-tex" id="S3.p4.1.m1.1c">x</annotation></semantics></math> denote such a prompt, incorporating the task instructions and inputs, with the LLM <math id="S3.p4.2.m2.1" class="ltx_Math" alttext="\pi_{\theta}" display="inline"><semantics id="S3.p4.2.m2.1a"><msub id="S3.p4.2.m2.1.1" xref="S3.p4.2.m2.1.1.cmml"><mi id="S3.p4.2.m2.1.1.2" xref="S3.p4.2.m2.1.1.2.cmml">π</mi><mi id="S3.p4.2.m2.1.1.3" xref="S3.p4.2.m2.1.1.3.cmml">θ</mi></msub><annotation-xml encoding="MathML-Content" id="S3.p4.2.m2.1b"><apply id="S3.p4.2.m2.1.1.cmml" xref="S3.p4.2.m2.1.1"><csymbol cd="ambiguous" id="S3.p4.2.m2.1.1.1.cmml" xref="S3.p4.2.m2.1.1">subscript</csymbol><ci id="S3.p4.2.m2.1.1.2.cmml" xref="S3.p4.2.m2.1.1.2">𝜋</ci><ci id="S3.p4.2.m2.1.1.3.cmml" xref="S3.p4.2.m2.1.1.3">𝜃</ci></apply></annotation-xml><annotation encoding="application/x-tex" id="S3.p4.2.m2.1c">\pi_{\theta}</annotation></semantics></math> generating a response <math id="S3.p4.3.m3.1" class="ltx_Math" alttext="a_{1:T}" display="inline"><semantics id="S3.p4.3.m3.1a"><msub id="S3.p4.3.m3.1.1" xref="S3.p4.3.m3.1.1.cmml"><mi id="S3.p4.3.m3.1.1.2" xref="S3.p4.3.m3.1.1.2.cmml">a</mi><mrow id="S3.p4.3.m3.1.1.3" xref="S3.p4.3.m3.1.1.3.cmml"><mn id="S3.p4.3.m3.1.1.3.2" xref="S3.p4.3.m3.1.1.3.2.cmml">1</mn><mo lspace="0.278em" rspace="0.278em" id="S3.p4.3.m3.1.1.3.1" xref="S3.p4.3.m3.1.1.3.1.cmml">:</mo><mi id="S3.p4.3.m3.1.1.3.3" xref="S3.p4.3.m3.1.1.3.3.cmml">T</mi></mrow></msub><annotation-xml encoding="MathML-Content" id="S3.p4.3.m3.1b"><apply id="S3.p4.3.m3.1.1.cmml" xref="S3.p4.3.m3.1.1"><csymbol cd="ambiguous" id="S3.p4.3.m3.1.1.1.cmml" xref="S3.p4.3.m3.1.1">subscript</csymbol><ci id="S3.p4.3.m3.1.1.2.cmml" xref="S3.p4.3.m3.1.1.2">𝑎</ci><apply id="S3.p4.3.m3.1.1.3.cmml" xref="S3.p4.3.m3.1.1.3"><ci id="S3.p4.3.m3.1.1.3.1.cmml" xref="S3.p4.3.m3.1.1.3.1">:</ci><cn type="integer" id="S3.p4.3.m3.1.1.3.2.cmml" xref="S3.p4.3.m3.1.1.3.2">1</cn><ci id="S3.p4.3.m3.1.1.3.3.cmml" xref="S3.p4.3.m3.1.1.3.3">𝑇</ci></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="S3.p4.3.m3.1c">a_{1:T}</annotation></semantics></math>. A reward model <math id="S3.p4.4.m4.1" class="ltx_Math" alttext="r" display="inline"><semantics id="S3.p4.4.m4.1a"><mi id="S3.p4.4.m4.1.1" xref="S3.p4.4.m4.1.1.cmml">r</mi><annotation-xml encoding="MathML-Content" id="S3.p4.4.m4.1b"><ci id="S3.p4.4.m4.1.1.cmml" xref="S3.p4.4.m4.1.1">𝑟</ci></annotation-xml><annotation encoding="application/x-tex" id="S3.p4.4.m4.1c">r</annotation></semantics></math> assesses the response’s relevance to the prompt. The goal is <em id="S3.p4.4.1" class="ltx_emph ltx_font_italic">reward maximization</em>:<span id="footnote3" class="ltx_note ltx_role_footnote"><sup class="ltx_note_mark">3</sup><span class="ltx_note_outer"><span class="ltx_note_content"><sup class="ltx_note_mark">3</sup><span class="ltx_tag ltx_tag_note">3</span>For ease of presentation, we do not present the KL regularization (with a reference language model) under the reward maximization framework. This issue can be addressed by introducing a KL-associated penalty to the reward. Please refer to <a href="#A1" title="Appendix A Handling KL Regularization ‣ ReMax: A Simple, Effective, and Efficient Reinforcement Learning Method for Aligning Large Language Models" class="ltx_ref"><span class="ltx_text ltx_ref_tag">Appendix</span> <span class="ltx_text ltx_ref_tag">A</span></a> for a detailed discussion.</span></span></span></p>
<table id="A5.EGx2" class="ltx_equationgroup ltx_eqn_align ltx_eqn_table">

<tbody id="S3.E1"><tr class="ltx_equation ltx_eqn_row ltx_align_baseline">
<td class="ltx_eqn_cell ltx_eqn_center_padleft"></td>
<td class="ltx_td ltx_align_right ltx_eqn_cell"><math id="S3.E1.m1.2" class="ltx_Math" alttext="\displaystyle\max_{\theta}\mathbb{E}_{x\sim\rho}\mathbb{E}_{a_{1:T}\sim\pi_{\theta}}[r(x,a_{1:T})]," display="inline"><semantics id="S3.E1.m1.2a"><mrow id="S3.E1.m1.2.2.1" xref="S3.E1.m1.2.2.1.1.cmml"><mrow id="S3.E1.m1.2.2.1.1" xref="S3.E1.m1.2.2.1.1.cmml"><mrow id="S3.E1.m1.2.2.1.1.3" xref="S3.E1.m1.2.2.1.1.3.cmml"><munder id="S3.E1.m1.2.2.1.1.3.1" xref="S3.E1.m1.2.2.1.1.3.1.cmml"><mi id="S3.E1.m1.2.2.1.1.3.1.2" xref="S3.E1.m1.2.2.1.1.3.1.2.cmml">max</mi><mi id="S3.E1.m1.2.2.1.1.3.1.3" xref="S3.E1.m1.2.2.1.1.3.1.3.cmml">θ</mi></munder><mo lspace="0.167em" id="S3.E1.m1.2.2.1.1.3a" xref="S3.E1.m1.2.2.1.1.3.cmml">⁡</mo><mrow id="S3.E1.m1.2.2.1.1.3.2" xref="S3.E1.m1.2.2.1.1.3.2.cmml"><msub id="S3.E1.m1.2.2.1.1.3.2.2" xref="S3.E1.m1.2.2.1.1.3.2.2.cmml"><mi id="S3.E1.m1.2.2.1.1.3.2.2.2" xref="S3.E1.m1.2.2.1.1.3.2.2.2.cmml">𝔼</mi><mrow id="S3.E1.m1.2.2.1.1.3.2.2.3" xref="S3.E1.m1.2.2.1.1.3.2.2.3.cmml"><mi id="S3.E1.m1.2.2.1.1.3.2.2.3.2" xref="S3.E1.m1.2.2.1.1.3.2.2.3.2.cmml">x</mi><mo id="S3.E1.m1.2.2.1.1.3.2.2.3.1" xref="S3.E1.m1.2.2.1.1.3.2.2.3.1.cmml">∼</mo><mi id="S3.E1.m1.2.2.1.1.3.2.2.3.3" xref="S3.E1.m1.2.2.1.1.3.2.2.3.3.cmml">ρ</mi></mrow></msub><mo lspace="0em" rspace="0em" id="S3.E1.m1.2.2.1.1.3.2.1" xref="S3.E1.m1.2.2.1.1.3.2.1.cmml">​</mo><msub id="S3.E1.m1.2.2.1.1.3.2.3" xref="S3.E1.m1.2.2.1.1.3.2.3.cmml"><mi id="S3.E1.m1.2.2.1.1.3.2.3.2" xref="S3.E1.m1.2.2.1.1.3.2.3.2.cmml">𝔼</mi><mrow id="S3.E1.m1.2.2.1.1.3.2.3.3" xref="S3.E1.m1.2.2.1.1.3.2.3.3.cmml"><msub id="S3.E1.m1.2.2.1.1.3.2.3.3.2" xref="S3.E1.m1.2.2.1.1.3.2.3.3.2.cmml"><mi id="S3.E1.m1.2.2.1.1.3.2.3.3.2.2" xref="S3.E1.m1.2.2.1.1.3.2.3.3.2.2.cmml">a</mi><mrow id="S3.E1.m1.2.2.1.1.3.2.3.3.2.3" xref="S3.E1.m1.2.2.1.1.3.2.3.3.2.3.cmml"><mn id="S3.E1.m1.2.2.1.1.3.2.3.3.2.3.2" xref="S3.E1.m1.2.2.1.1.3.2.3.3.2.3.2.cmml">1</mn><mo lspace="0.278em" rspace="0.278em" id="S3.E1.m1.2.2.1.1.3.2.3.3.2.3.1" xref="S3.E1.m1.2.2.1.1.3.2.3.3.2.3.1.cmml">:</mo><mi id="S3.E1.m1.2.2.1.1.3.2.3.3.2.3.3" xref="S3.E1.m1.2.2.1.1.3.2.3.3.2.3.3.cmml">T</mi></mrow></msub><mo id="S3.E1.m1.2.2.1.1.3.2.3.3.1" xref="S3.E1.m1.2.2.1.1.3.2.3.3.1.cmml">∼</mo><msub id="S3.E1.m1.2.2.1.1.3.2.3.3.3" xref="S3.E1.m1.2.2.1.1.3.2.3.3.3.cmml"><mi id="S3.E1.m1.2.2.1.1.3.2.3.3.3.2" xref="S3.E1.m1.2.2.1.1.3.2.3.3.3.2.cmml">π</mi><mi id="S3.E1.m1.2.2.1.1.3.2.3.3.3.3" xref="S3.E1.m1.2.2.1.1.3.2.3.3.3.3.cmml">θ</mi></msub></mrow></msub></mrow></mrow><mo lspace="0em" rspace="0em" id="S3.E1.m1.2.2.1.1.2" xref="S3.E1.m1.2.2.1.1.2.cmml">​</mo><mrow id="S3.E1.m1.2.2.1.1.1.1" xref="S3.E1.m1.2.2.1.1.1.2.cmml"><mo stretchy="false" id="S3.E1.m1.2.2.1.1.1.1.2" xref="S3.E1.m1.2.2.1.1.1.2.1.cmml">[</mo><mrow id="S3.E1.m1.2.2.1.1.1.1.1" xref="S3.E1.m1.2.2.1.1.1.1.1.cmml"><mi id="S3.E1.m1.2.2.1.1.1.1.1.3" xref="S3.E1.m1.2.2.1.1.1.1.1.3.cmml">r</mi><mo lspace="0em" rspace="0em" id="S3.E1.m1.2.2.1.1.1.1.1.2" xref="S3.E1.m1.2.2.1.1.1.1.1.2.cmml">​</mo><mrow id="S3.E1.m1.2.2.1.1.1.1.1.1.1" xref="S3.E1.m1.2.2.1.1.1.1.1.1.2.cmml"><mo stretchy="false" id="S3.E1.m1.2.2.1.1.1.1.1.1.1.2" xref="S3.E1.m1.2.2.1.1.1.1.1.1.2.cmml">(</mo><mi id="S3.E1.m1.1.1" xref="S3.E1.m1.1.1.cmml">x</mi><mo id="S3.E1.m1.2.2.1.1.1.1.1.1.1.3" xref="S3.E1.m1.2.2.1.1.1.1.1.1.2.cmml">,</mo><msub id="S3.E1.m1.2.2.1.1.1.1.1.1.1.1" xref="S3.E1.m1.2.2.1.1.1.1.1.1.1.1.cmml"><mi id="S3.E1.m1.2.2.1.1.1.1.1.1.1.1.2" xref="S3.E1.m1.2.2.1.1.1.1.1.1.1.1.2.cmml">a</mi><mrow id="S3.E1.m1.2.2.1.1.1.1.1.1.1.1.3" xref="S3.E1.m1.2.2.1.1.1.1.1.1.1.1.3.cmml"><mn id="S3.E1.m1.2.2.1.1.1.1.1.1.1.1.3.2" xref="S3.E1.m1.2.2.1.1.1.1.1.1.1.1.3.2.cmml">1</mn><mo lspace="0.278em" rspace="0.278em" id="S3.E1.m1.2.2.1.1.1.1.1.1.1.1.3.1" xref="S3.E1.m1.2.2.1.1.1.1.1.1.1.1.3.1.cmml">:</mo><mi id="S3.E1.m1.2.2.1.1.1.1.1.1.1.1.3.3" xref="S3.E1.m1.2.2.1.1.1.1.1.1.1.1.3.3.cmml">T</mi></mrow></msub><mo stretchy="false" id="S3.E1.m1.2.2.1.1.1.1.1.1.1.4" xref="S3.E1.m1.2.2.1.1.1.1.1.1.2.cmml">)</mo></mrow></mrow><mo stretchy="false" id="S3.E1.m1.2.2.1.1.1.1.3" xref="S3.E1.m1.2.2.1.1.1.2.1.cmml">]</mo></mrow></mrow><mo id="S3.E1.m1.2.2.1.2" xref="S3.E1.m1.2.2.1.1.cmml">,</mo></mrow><annotation-xml encoding="MathML-Content" id="S3.E1.m1.2b"><apply id="S3.E1.m1.2.2.1.1.cmml" xref="S3.E1.m1.2.2.1"><times id="S3.E1.m1.2.2.1.1.2.cmml" xref="S3.E1.m1.2.2.1.1.2"></times><apply id="S3.E1.m1.2.2.1.1.3.cmml" xref="S3.E1.m1.2.2.1.1.3"><apply id="S3.E1.m1.2.2.1.1.3.1.cmml" xref="S3.E1.m1.2.2.1.1.3.1"><csymbol cd="ambiguous" id="S3.E1.m1.2.2.1.1.3.1.1.cmml" xref="S3.E1.m1.2.2.1.1.3.1">subscript</csymbol><max id="S3.E1.m1.2.2.1.1.3.1.2.cmml" xref="S3.E1.m1.2.2.1.1.3.1.2"></max><ci id="S3.E1.m1.2.2.1.1.3.1.3.cmml" xref="S3.E1.m1.2.2.1.1.3.1.3">𝜃</ci></apply><apply id="S3.E1.m1.2.2.1.1.3.2.cmml" xref="S3.E1.m1.2.2.1.1.3.2"><times id="S3.E1.m1.2.2.1.1.3.2.1.cmml" xref="S3.E1.m1.2.2.1.1.3.2.1"></times><apply id="S3.E1.m1.2.2.1.1.3.2.2.cmml" xref="S3.E1.m1.2.2.1.1.3.2.2"><csymbol cd="ambiguous" id="S3.E1.m1.2.2.1.1.3.2.2.1.cmml" xref="S3.E1.m1.2.2.1.1.3.2.2">subscript</csymbol><ci id="S3.E1.m1.2.2.1.1.3.2.2.2.cmml" xref="S3.E1.m1.2.2.1.1.3.2.2.2">𝔼</ci><apply id="S3.E1.m1.2.2.1.1.3.2.2.3.cmml" xref="S3.E1.m1.2.2.1.1.3.2.2.3"><csymbol cd="latexml" id="S3.E1.m1.2.2.1.1.3.2.2.3.1.cmml" xref="S3.E1.m1.2.2.1.1.3.2.2.3.1">similar-to</csymbol><ci id="S3.E1.m1.2.2.1.1.3.2.2.3.2.cmml" xref="S3.E1.m1.2.2.1.1.3.2.2.3.2">𝑥</ci><ci id="S3.E1.m1.2.2.1.1.3.2.2.3.3.cmml" xref="S3.E1.m1.2.2.1.1.3.2.2.3.3">𝜌</ci></apply></apply><apply id="S3.E1.m1.2.2.1.1.3.2.3.cmml" xref="S3.E1.m1.2.2.1.1.3.2.3"><csymbol cd="ambiguous" id="S3.E1.m1.2.2.1.1.3.2.3.1.cmml" xref="S3.E1.m1.2.2.1.1.3.2.3">subscript</csymbol><ci id="S3.E1.m1.2.2.1.1.3.2.3.2.cmml" xref="S3.E1.m1.2.2.1.1.3.2.3.2">𝔼</ci><apply id="S3.E1.m1.2.2.1.1.3.2.3.3.cmml" xref="S3.E1.m1.2.2.1.1.3.2.3.3"><csymbol cd="latexml" id="S3.E1.m1.2.2.1.1.3.2.3.3.1.cmml" xref="S3.E1.m1.2.2.1.1.3.2.3.3.1">similar-to</csymbol><apply id="S3.E1.m1.2.2.1.1.3.2.3.3.2.cmml" xref="S3.E1.m1.2.2.1.1.3.2.3.3.2"><csymbol cd="ambiguous" id="S3.E1.m1.2.2.1.1.3.2.3.3.2.1.cmml" xref="S3.E1.m1.2.2.1.1.3.2.3.3.2">subscript</csymbol><ci id="S3.E1.m1.2.2.1.1.3.2.3.3.2.2.cmml" xref="S3.E1.m1.2.2.1.1.3.2.3.3.2.2">𝑎</ci><apply id="S3.E1.m1.2.2.1.1.3.2.3.3.2.3.cmml" xref="S3.E1.m1.2.2.1.1.3.2.3.3.2.3"><ci id="S3.E1.m1.2.2.1.1.3.2.3.3.2.3.1.cmml" xref="S3.E1.m1.2.2.1.1.3.2.3.3.2.3.1">:</ci><cn type="integer" id="S3.E1.m1.2.2.1.1.3.2.3.3.2.3.2.cmml" xref="S3.E1.m1.2.2.1.1.3.2.3.3.2.3.2">1</cn><ci id="S3.E1.m1.2.2.1.1.3.2.3.3.2.3.3.cmml" xref="S3.E1.m1.2.2.1.1.3.2.3.3.2.3.3">𝑇</ci></apply></apply><apply id="S3.E1.m1.2.2.1.1.3.2.3.3.3.cmml" xref="S3.E1.m1.2.2.1.1.3.2.3.3.3"><csymbol cd="ambiguous" id="S3.E1.m1.2.2.1.1.3.2.3.3.3.1.cmml" xref="S3.E1.m1.2.2.1.1.3.2.3.3.3">subscript</csymbol><ci id="S3.E1.m1.2.2.1.1.3.2.3.3.3.2.cmml" xref="S3.E1.m1.2.2.1.1.3.2.3.3.3.2">𝜋</ci><ci id="S3.E1.m1.2.2.1.1.3.2.3.3.3.3.cmml" xref="S3.E1.m1.2.2.1.1.3.2.3.3.3.3">𝜃</ci></apply></apply></apply></apply></apply><apply id="S3.E1.m1.2.2.1.1.1.2.cmml" xref="S3.E1.m1.2.2.1.1.1.1"><csymbol cd="latexml" id="S3.E1.m1.2.2.1.1.1.2.1.cmml" xref="S3.E1.m1.2.2.1.1.1.1.2">delimited-[]</csymbol><apply id="S3.E1.m1.2.2.1.1.1.1.1.cmml" xref="S3.E1.m1.2.2.1.1.1.1.1"><times id="S3.E1.m1.2.2.1.1.1.1.1.2.cmml" xref="S3.E1.m1.2.2.1.1.1.1.1.2"></times><ci id="S3.E1.m1.2.2.1.1.1.1.1.3.cmml" xref="S3.E1.m1.2.2.1.1.1.1.1.3">𝑟</ci><interval closure="open" id="S3.E1.m1.2.2.1.1.1.1.1.1.2.cmml" xref="S3.E1.m1.2.2.1.1.1.1.1.1.1"><ci id="S3.E1.m1.1.1.cmml" xref="S3.E1.m1.1.1">𝑥</ci><apply id="S3.E1.m1.2.2.1.1.1.1.1.1.1.1.cmml" xref="S3.E1.m1.2.2.1.1.1.1.1.1.1.1"><csymbol cd="ambiguous" id="S3.E1.m1.2.2.1.1.1.1.1.1.1.1.1.cmml" xref="S3.E1.m1.2.2.1.1.1.1.1.1.1.1">subscript</csymbol><ci id="S3.E1.m1.2.2.1.1.1.1.1.1.1.1.2.cmml" xref="S3.E1.m1.2.2.1.1.1.1.1.1.1.1.2">𝑎</ci><apply id="S3.E1.m1.2.2.1.1.1.1.1.1.1.1.3.cmml" xref="S3.E1.m1.2.2.1.1.1.1.1.1.1.1.3"><ci id="S3.E1.m1.2.2.1.1.1.1.1.1.1.1.3.1.cmml" xref="S3.E1.m1.2.2.1.1.1.1.1.1.1.1.3.1">:</ci><cn type="integer" id="S3.E1.m1.2.2.1.1.1.1.1.1.1.1.3.2.cmml" xref="S3.E1.m1.2.2.1.1.1.1.1.1.1.1.3.2">1</cn><ci id="S3.E1.m1.2.2.1.1.1.1.1.1.1.1.3.3.cmml" xref="S3.E1.m1.2.2.1.1.1.1.1.1.1.1.3.3">𝑇</ci></apply></apply></interval></apply></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="S3.E1.m1.2c">\displaystyle\max_{\theta}\mathbb{E}_{x\sim\rho}\mathbb{E}_{a_{1:T}\sim\pi_{\theta}}[r(x,a_{1:T})],</annotation></semantics></math></td>
<td class="ltx_eqn_cell ltx_eqn_center_padright"></td>
<td rowspan="1" class="ltx_eqn_cell ltx_eqn_eqno ltx_align_middle ltx_align_right"><span class="ltx_tag ltx_tag_equation ltx_align_right">(1)</span></td>
</tr></tbody>
</table>
<p id="S3.p4.5" class="ltx_p">with <math id="S3.p4.5.m1.1" class="ltx_Math" alttext="\rho" display="inline"><semantics id="S3.p4.5.m1.1a"><mi id="S3.p4.5.m1.1.1" xref="S3.p4.5.m1.1.1.cmml">ρ</mi><annotation-xml encoding="MathML-Content" id="S3.p4.5.m1.1b"><ci id="S3.p4.5.m1.1.1.cmml" xref="S3.p4.5.m1.1.1">𝜌</ci></annotation-xml><annotation encoding="application/x-tex" id="S3.p4.5.m1.1c">\rho</annotation></semantics></math> indicating the distribution of prompts. The following section will detail converting this into an RL sequential decision-making problem.</p>
</div>
<section id="S3.SS1" class="ltx_subsection">
<h3 class="ltx_title ltx_title_subsection">
<span class="ltx_tag ltx_tag_subsection">3.1 </span>Reward Maximization as Sequential Decision-making Task</h3>

<div id="S3.SS1.p1" class="ltx_para">
<p id="S3.SS1.p1.1" class="ltx_p">In this section, we delve into the mathematical aspects of training LLMs via RL, providing insights to guide algorithm design.</p>
</div>
<div id="S3.SS1.p2" class="ltx_para">
<p id="S3.SS1.p2.15" class="ltx_p">The reward-maximization problem, as highlighted in <a href="#S3.E1" title="In 3 Problem Formulation ‣ ReMax: A Simple, Effective, and Efficient Reinforcement Learning Method for Aligning Large Language Models" class="ltx_ref"><span class="ltx_text ltx_ref_tag">Equation</span> <span class="ltx_text ltx_ref_tag">1</span></a>, can be formulated to a Markov Decision Process (MDP) <cite class="ltx_cite ltx_citemacro_citep">(Puterman, <a href="#bib.bib21" title="" class="ltx_ref">2014</a>)</cite>, which can be solved using RL algorithms. An MDP can be depicted as a tuple <math id="S3.SS1.p2.1.m1.6" class="ltx_Math" alttext="{\mathcal{M}}=({\mathcal{S}},{\mathcal{A}},P,r,\rho,T)" display="inline"><semantics id="S3.SS1.p2.1.m1.6a"><mrow id="S3.SS1.p2.1.m1.6.7" xref="S3.SS1.p2.1.m1.6.7.cmml"><mi class="ltx_font_mathcaligraphic" id="S3.SS1.p2.1.m1.6.7.2" xref="S3.SS1.p2.1.m1.6.7.2.cmml">ℳ</mi><mo id="S3.SS1.p2.1.m1.6.7.1" xref="S3.SS1.p2.1.m1.6.7.1.cmml">=</mo><mrow id="S3.SS1.p2.1.m1.6.7.3.2" xref="S3.SS1.p2.1.m1.6.7.3.1.cmml"><mo stretchy="false" id="S3.SS1.p2.1.m1.6.7.3.2.1" xref="S3.SS1.p2.1.m1.6.7.3.1.cmml">(</mo><mi class="ltx_font_mathcaligraphic" id="S3.SS1.p2.1.m1.1.1" xref="S3.SS1.p2.1.m1.1.1.cmml">𝒮</mi><mo id="S3.SS1.p2.1.m1.6.7.3.2.2" xref="S3.SS1.p2.1.m1.6.7.3.1.cmml">,</mo><mi class="ltx_font_mathcaligraphic" id="S3.SS1.p2.1.m1.2.2" xref="S3.SS1.p2.1.m1.2.2.cmml">𝒜</mi><mo id="S3.SS1.p2.1.m1.6.7.3.2.3" xref="S3.SS1.p2.1.m1.6.7.3.1.cmml">,</mo><mi id="S3.SS1.p2.1.m1.3.3" xref="S3.SS1.p2.1.m1.3.3.cmml">P</mi><mo id="S3.SS1.p2.1.m1.6.7.3.2.4" xref="S3.SS1.p2.1.m1.6.7.3.1.cmml">,</mo><mi id="S3.SS1.p2.1.m1.4.4" xref="S3.SS1.p2.1.m1.4.4.cmml">r</mi><mo id="S3.SS1.p2.1.m1.6.7.3.2.5" xref="S3.SS1.p2.1.m1.6.7.3.1.cmml">,</mo><mi id="S3.SS1.p2.1.m1.5.5" xref="S3.SS1.p2.1.m1.5.5.cmml">ρ</mi><mo id="S3.SS1.p2.1.m1.6.7.3.2.6" xref="S3.SS1.p2.1.m1.6.7.3.1.cmml">,</mo><mi id="S3.SS1.p2.1.m1.6.6" xref="S3.SS1.p2.1.m1.6.6.cmml">T</mi><mo stretchy="false" id="S3.SS1.p2.1.m1.6.7.3.2.7" xref="S3.SS1.p2.1.m1.6.7.3.1.cmml">)</mo></mrow></mrow><annotation-xml encoding="MathML-Content" id="S3.SS1.p2.1.m1.6b"><apply id="S3.SS1.p2.1.m1.6.7.cmml" xref="S3.SS1.p2.1.m1.6.7"><eq id="S3.SS1.p2.1.m1.6.7.1.cmml" xref="S3.SS1.p2.1.m1.6.7.1"></eq><ci id="S3.SS1.p2.1.m1.6.7.2.cmml" xref="S3.SS1.p2.1.m1.6.7.2">ℳ</ci><vector id="S3.SS1.p2.1.m1.6.7.3.1.cmml" xref="S3.SS1.p2.1.m1.6.7.3.2"><ci id="S3.SS1.p2.1.m1.1.1.cmml" xref="S3.SS1.p2.1.m1.1.1">𝒮</ci><ci id="S3.SS1.p2.1.m1.2.2.cmml" xref="S3.SS1.p2.1.m1.2.2">𝒜</ci><ci id="S3.SS1.p2.1.m1.3.3.cmml" xref="S3.SS1.p2.1.m1.3.3">𝑃</ci><ci id="S3.SS1.p2.1.m1.4.4.cmml" xref="S3.SS1.p2.1.m1.4.4">𝑟</ci><ci id="S3.SS1.p2.1.m1.5.5.cmml" xref="S3.SS1.p2.1.m1.5.5">𝜌</ci><ci id="S3.SS1.p2.1.m1.6.6.cmml" xref="S3.SS1.p2.1.m1.6.6">𝑇</ci></vector></apply></annotation-xml><annotation encoding="application/x-tex" id="S3.SS1.p2.1.m1.6c">{\mathcal{M}}=({\mathcal{S}},{\mathcal{A}},P,r,\rho,T)</annotation></semantics></math>. Let us explain these terms within the MDP framework and subsequently relate them to the LLM paradigm.
The symbols <math id="S3.SS1.p2.2.m2.1" class="ltx_Math" alttext="{\mathcal{S}}" display="inline"><semantics id="S3.SS1.p2.2.m2.1a"><mi class="ltx_font_mathcaligraphic" id="S3.SS1.p2.2.m2.1.1" xref="S3.SS1.p2.2.m2.1.1.cmml">𝒮</mi><annotation-xml encoding="MathML-Content" id="S3.SS1.p2.2.m2.1b"><ci id="S3.SS1.p2.2.m2.1.1.cmml" xref="S3.SS1.p2.2.m2.1.1">𝒮</ci></annotation-xml><annotation encoding="application/x-tex" id="S3.SS1.p2.2.m2.1c">{\mathcal{S}}</annotation></semantics></math> and <math id="S3.SS1.p2.3.m3.1" class="ltx_Math" alttext="{\mathcal{A}}" display="inline"><semantics id="S3.SS1.p2.3.m3.1a"><mi class="ltx_font_mathcaligraphic" id="S3.SS1.p2.3.m3.1.1" xref="S3.SS1.p2.3.m3.1.1.cmml">𝒜</mi><annotation-xml encoding="MathML-Content" id="S3.SS1.p2.3.m3.1b"><ci id="S3.SS1.p2.3.m3.1.1.cmml" xref="S3.SS1.p2.3.m3.1.1">𝒜</ci></annotation-xml><annotation encoding="application/x-tex" id="S3.SS1.p2.3.m3.1c">{\mathcal{A}}</annotation></semantics></math> represent the state and action spaces of a system, respectively.
The symbol <math id="S3.SS1.p2.4.m4.1" class="ltx_Math" alttext="P" display="inline"><semantics id="S3.SS1.p2.4.m4.1a"><mi id="S3.SS1.p2.4.m4.1.1" xref="S3.SS1.p2.4.m4.1.1.cmml">P</mi><annotation-xml encoding="MathML-Content" id="S3.SS1.p2.4.m4.1b"><ci id="S3.SS1.p2.4.m4.1.1.cmml" xref="S3.SS1.p2.4.m4.1.1">𝑃</ci></annotation-xml><annotation encoding="application/x-tex" id="S3.SS1.p2.4.m4.1c">P</annotation></semantics></math> serves as the transition function, detailing the probabilistic transition to the next state <math id="S3.SS1.p2.5.m5.1" class="ltx_Math" alttext="s^{\prime}" display="inline"><semantics id="S3.SS1.p2.5.m5.1a"><msup id="S3.SS1.p2.5.m5.1.1" xref="S3.SS1.p2.5.m5.1.1.cmml"><mi id="S3.SS1.p2.5.m5.1.1.2" xref="S3.SS1.p2.5.m5.1.1.2.cmml">s</mi><mo id="S3.SS1.p2.5.m5.1.1.3" xref="S3.SS1.p2.5.m5.1.1.3.cmml">′</mo></msup><annotation-xml encoding="MathML-Content" id="S3.SS1.p2.5.m5.1b"><apply id="S3.SS1.p2.5.m5.1.1.cmml" xref="S3.SS1.p2.5.m5.1.1"><csymbol cd="ambiguous" id="S3.SS1.p2.5.m5.1.1.1.cmml" xref="S3.SS1.p2.5.m5.1.1">superscript</csymbol><ci id="S3.SS1.p2.5.m5.1.1.2.cmml" xref="S3.SS1.p2.5.m5.1.1.2">𝑠</ci><ci id="S3.SS1.p2.5.m5.1.1.3.cmml" xref="S3.SS1.p2.5.m5.1.1.3">′</ci></apply></annotation-xml><annotation encoding="application/x-tex" id="S3.SS1.p2.5.m5.1c">s^{\prime}</annotation></semantics></math> predicated on the current state <math id="S3.SS1.p2.6.m6.1" class="ltx_Math" alttext="s" display="inline"><semantics id="S3.SS1.p2.6.m6.1a"><mi id="S3.SS1.p2.6.m6.1.1" xref="S3.SS1.p2.6.m6.1.1.cmml">s</mi><annotation-xml encoding="MathML-Content" id="S3.SS1.p2.6.m6.1b"><ci id="S3.SS1.p2.6.m6.1.1.cmml" xref="S3.SS1.p2.6.m6.1.1">𝑠</ci></annotation-xml><annotation encoding="application/x-tex" id="S3.SS1.p2.6.m6.1c">s</annotation></semantics></math> and action <math id="S3.SS1.p2.7.m7.1" class="ltx_Math" alttext="a" display="inline"><semantics id="S3.SS1.p2.7.m7.1a"><mi id="S3.SS1.p2.7.m7.1.1" xref="S3.SS1.p2.7.m7.1.1.cmml">a</mi><annotation-xml encoding="MathML-Content" id="S3.SS1.p2.7.m7.1b"><ci id="S3.SS1.p2.7.m7.1.1.cmml" xref="S3.SS1.p2.7.m7.1.1">𝑎</ci></annotation-xml><annotation encoding="application/x-tex" id="S3.SS1.p2.7.m7.1c">a</annotation></semantics></math>; hence, <math id="S3.SS1.p2.8.m8.1" class="ltx_math_unparsed" alttext="s^{\prime}\sim P(\cdot|s,a)" display="inline"><semantics id="S3.SS1.p2.8.m8.1a"><mrow id="S3.SS1.p2.8.m8.1b"><msup id="S3.SS1.p2.8.m8.1.1"><mi id="S3.SS1.p2.8.m8.1.1.2">s</mi><mo id="S3.SS1.p2.8.m8.1.1.3">′</mo></msup><mo id="S3.SS1.p2.8.m8.1.2">∼</mo><mi id="S3.SS1.p2.8.m8.1.3">P</mi><mrow id="S3.SS1.p2.8.m8.1.4"><mo stretchy="false" id="S3.SS1.p2.8.m8.1.4.1">(</mo><mo lspace="0em" rspace="0em" id="S3.SS1.p2.8.m8.1.4.2">⋅</mo><mo fence="false" rspace="0.167em" stretchy="false" id="S3.SS1.p2.8.m8.1.4.3">|</mo><mi id="S3.SS1.p2.8.m8.1.4.4">s</mi><mo id="S3.SS1.p2.8.m8.1.4.5">,</mo><mi id="S3.SS1.p2.8.m8.1.4.6">a</mi><mo stretchy="false" id="S3.SS1.p2.8.m8.1.4.7">)</mo></mrow></mrow><annotation encoding="application/x-tex" id="S3.SS1.p2.8.m8.1c">s^{\prime}\sim P(\cdot|s,a)</annotation></semantics></math>.
The reward function, <math id="S3.SS1.p2.9.m9.1" class="ltx_Math" alttext="r:{\mathcal{S}}\times{\mathcal{A}}\rightarrow\real" display="inline"><semantics id="S3.SS1.p2.9.m9.1a"><mrow id="S3.SS1.p2.9.m9.1.1" xref="S3.SS1.p2.9.m9.1.1.cmml"><mi id="S3.SS1.p2.9.m9.1.1.2" xref="S3.SS1.p2.9.m9.1.1.2.cmml">r</mi><mo lspace="0.278em" rspace="0.278em" id="S3.SS1.p2.9.m9.1.1.1" xref="S3.SS1.p2.9.m9.1.1.1.cmml">:</mo><mrow id="S3.SS1.p2.9.m9.1.1.3" xref="S3.SS1.p2.9.m9.1.1.3.cmml"><mrow id="S3.SS1.p2.9.m9.1.1.3.2" xref="S3.SS1.p2.9.m9.1.1.3.2.cmml"><mi class="ltx_font_mathcaligraphic" id="S3.SS1.p2.9.m9.1.1.3.2.2" xref="S3.SS1.p2.9.m9.1.1.3.2.2.cmml">𝒮</mi><mo lspace="0.222em" rspace="0.222em" id="S3.SS1.p2.9.m9.1.1.3.2.1" xref="S3.SS1.p2.9.m9.1.1.3.2.1.cmml">×</mo><mi class="ltx_font_mathcaligraphic" id="S3.SS1.p2.9.m9.1.1.3.2.3" xref="S3.SS1.p2.9.m9.1.1.3.2.3.cmml">𝒜</mi></mrow><mo stretchy="false" id="S3.SS1.p2.9.m9.1.1.3.1" xref="S3.SS1.p2.9.m9.1.1.3.1.cmml">→</mo><mi id="S3.SS1.p2.9.m9.1.1.3.3" xref="S3.SS1.p2.9.m9.1.1.3.3.cmml"></mi></mrow></mrow><annotation-xml encoding="MathML-Content" id="S3.SS1.p2.9.m9.1b"><apply id="S3.SS1.p2.9.m9.1.1.cmml" xref="S3.SS1.p2.9.m9.1.1"><ci id="S3.SS1.p2.9.m9.1.1.1.cmml" xref="S3.SS1.p2.9.m9.1.1.1">:</ci><ci id="S3.SS1.p2.9.m9.1.1.2.cmml" xref="S3.SS1.p2.9.m9.1.1.2">𝑟</ci><apply id="S3.SS1.p2.9.m9.1.1.3.cmml" xref="S3.SS1.p2.9.m9.1.1.3"><ci id="S3.SS1.p2.9.m9.1.1.3.1.cmml" xref="S3.SS1.p2.9.m9.1.1.3.1">→</ci><apply id="S3.SS1.p2.9.m9.1.1.3.2.cmml" xref="S3.SS1.p2.9.m9.1.1.3.2"><times id="S3.SS1.p2.9.m9.1.1.3.2.1.cmml" xref="S3.SS1.p2.9.m9.1.1.3.2.1"></times><ci id="S3.SS1.p2.9.m9.1.1.3.2.2.cmml" xref="S3.SS1.p2.9.m9.1.1.3.2.2">𝒮</ci><ci id="S3.SS1.p2.9.m9.1.1.3.2.3.cmml" xref="S3.SS1.p2.9.m9.1.1.3.2.3">𝒜</ci></apply><csymbol cd="latexml" id="S3.SS1.p2.9.m9.1.1.3.3.cmml" xref="S3.SS1.p2.9.m9.1.1.3.3">absent</csymbol></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="S3.SS1.p2.9.m9.1c">r:{\mathcal{S}}\times{\mathcal{A}}\rightarrow\real</annotation></semantics></math>, assigns a scalar value, <math id="S3.SS1.p2.10.m10.2" class="ltx_Math" alttext="r(s,a)" display="inline"><semantics id="S3.SS1.p2.10.m10.2a"><mrow id="S3.SS1.p2.10.m10.2.3" xref="S3.SS1.p2.10.m10.2.3.cmml"><mi id="S3.SS1.p2.10.m10.2.3.2" xref="S3.SS1.p2.10.m10.2.3.2.cmml">r</mi><mo lspace="0em" rspace="0em" id="S3.SS1.p2.10.m10.2.3.1" xref="S3.SS1.p2.10.m10.2.3.1.cmml">​</mo><mrow id="S3.SS1.p2.10.m10.2.3.3.2" xref="S3.SS1.p2.10.m10.2.3.3.1.cmml"><mo stretchy="false" id="S3.SS1.p2.10.m10.2.3.3.2.1" xref="S3.SS1.p2.10.m10.2.3.3.1.cmml">(</mo><mi id="S3.SS1.p2.10.m10.1.1" xref="S3.SS1.p2.10.m10.1.1.cmml">s</mi><mo id="S3.SS1.p2.10.m10.2.3.3.2.2" xref="S3.SS1.p2.10.m10.2.3.3.1.cmml">,</mo><mi id="S3.SS1.p2.10.m10.2.2" xref="S3.SS1.p2.10.m10.2.2.cmml">a</mi><mo stretchy="false" id="S3.SS1.p2.10.m10.2.3.3.2.3" xref="S3.SS1.p2.10.m10.2.3.3.1.cmml">)</mo></mrow></mrow><annotation-xml encoding="MathML-Content" id="S3.SS1.p2.10.m10.2b"><apply id="S3.SS1.p2.10.m10.2.3.cmml" xref="S3.SS1.p2.10.m10.2.3"><times id="S3.SS1.p2.10.m10.2.3.1.cmml" xref="S3.SS1.p2.10.m10.2.3.1"></times><ci id="S3.SS1.p2.10.m10.2.3.2.cmml" xref="S3.SS1.p2.10.m10.2.3.2">𝑟</ci><interval closure="open" id="S3.SS1.p2.10.m10.2.3.3.1.cmml" xref="S3.SS1.p2.10.m10.2.3.3.2"><ci id="S3.SS1.p2.10.m10.1.1.cmml" xref="S3.SS1.p2.10.m10.1.1">𝑠</ci><ci id="S3.SS1.p2.10.m10.2.2.cmml" xref="S3.SS1.p2.10.m10.2.2">𝑎</ci></interval></apply></annotation-xml><annotation encoding="application/x-tex" id="S3.SS1.p2.10.m10.2c">r(s,a)</annotation></semantics></math>, to every state-action pairing <math id="S3.SS1.p2.11.m11.2" class="ltx_Math" alttext="(s,a)" display="inline"><semantics id="S3.SS1.p2.11.m11.2a"><mrow id="S3.SS1.p2.11.m11.2.3.2" xref="S3.SS1.p2.11.m11.2.3.1.cmml"><mo stretchy="false" id="S3.SS1.p2.11.m11.2.3.2.1" xref="S3.SS1.p2.11.m11.2.3.1.cmml">(</mo><mi id="S3.SS1.p2.11.m11.1.1" xref="S3.SS1.p2.11.m11.1.1.cmml">s</mi><mo id="S3.SS1.p2.11.m11.2.3.2.2" xref="S3.SS1.p2.11.m11.2.3.1.cmml">,</mo><mi id="S3.SS1.p2.11.m11.2.2" xref="S3.SS1.p2.11.m11.2.2.cmml">a</mi><mo stretchy="false" id="S3.SS1.p2.11.m11.2.3.2.3" xref="S3.SS1.p2.11.m11.2.3.1.cmml">)</mo></mrow><annotation-xml encoding="MathML-Content" id="S3.SS1.p2.11.m11.2b"><interval closure="open" id="S3.SS1.p2.11.m11.2.3.1.cmml" xref="S3.SS1.p2.11.m11.2.3.2"><ci id="S3.SS1.p2.11.m11.1.1.cmml" xref="S3.SS1.p2.11.m11.1.1">𝑠</ci><ci id="S3.SS1.p2.11.m11.2.2.cmml" xref="S3.SS1.p2.11.m11.2.2">𝑎</ci></interval></annotation-xml><annotation encoding="application/x-tex" id="S3.SS1.p2.11.m11.2c">(s,a)</annotation></semantics></math>.
The symbol <math id="S3.SS1.p2.12.m12.1" class="ltx_Math" alttext="\rho" display="inline"><semantics id="S3.SS1.p2.12.m12.1a"><mi id="S3.SS1.p2.12.m12.1.1" xref="S3.SS1.p2.12.m12.1.1.cmml">ρ</mi><annotation-xml encoding="MathML-Content" id="S3.SS1.p2.12.m12.1b"><ci id="S3.SS1.p2.12.m12.1.1.cmml" xref="S3.SS1.p2.12.m12.1.1">𝜌</ci></annotation-xml><annotation encoding="application/x-tex" id="S3.SS1.p2.12.m12.1c">\rho</annotation></semantics></math> means the initial state distribution. Using this, a trajectory spanning <math id="S3.SS1.p2.13.m13.1" class="ltx_Math" alttext="T" display="inline"><semantics id="S3.SS1.p2.13.m13.1a"><mi id="S3.SS1.p2.13.m13.1.1" xref="S3.SS1.p2.13.m13.1.1.cmml">T</mi><annotation-xml encoding="MathML-Content" id="S3.SS1.p2.13.m13.1b"><ci id="S3.SS1.p2.13.m13.1.1.cmml" xref="S3.SS1.p2.13.m13.1.1">𝑇</ci></annotation-xml><annotation encoding="application/x-tex" id="S3.SS1.p2.13.m13.1c">T</annotation></semantics></math> steps is created by choosing an action from policy <math id="S3.SS1.p2.14.m14.1" class="ltx_math_unparsed" alttext="\pi_{\theta}(\cdot|s)" display="inline"><semantics id="S3.SS1.p2.14.m14.1a"><mrow id="S3.SS1.p2.14.m14.1b"><msub id="S3.SS1.p2.14.m14.1.1"><mi id="S3.SS1.p2.14.m14.1.1.2">π</mi><mi id="S3.SS1.p2.14.m14.1.1.3">θ</mi></msub><mrow id="S3.SS1.p2.14.m14.1.2"><mo stretchy="false" id="S3.SS1.p2.14.m14.1.2.1">(</mo><mo lspace="0em" rspace="0em" id="S3.SS1.p2.14.m14.1.2.2">⋅</mo><mo fence="false" rspace="0.167em" stretchy="false" id="S3.SS1.p2.14.m14.1.2.3">|</mo><mi id="S3.SS1.p2.14.m14.1.2.4">s</mi><mo stretchy="false" id="S3.SS1.p2.14.m14.1.2.5">)</mo></mrow></mrow><annotation encoding="application/x-tex" id="S3.SS1.p2.14.m14.1c">\pi_{\theta}(\cdot|s)</annotation></semantics></math> and the ensuing state from transition function <math id="S3.SS1.p2.15.m15.1" class="ltx_Math" alttext="P" display="inline"><semantics id="S3.SS1.p2.15.m15.1a"><mi id="S3.SS1.p2.15.m15.1.1" xref="S3.SS1.p2.15.m15.1.1.cmml">P</mi><annotation-xml encoding="MathML-Content" id="S3.SS1.p2.15.m15.1b"><ci id="S3.SS1.p2.15.m15.1.1.cmml" xref="S3.SS1.p2.15.m15.1.1">𝑃</ci></annotation-xml><annotation encoding="application/x-tex" id="S3.SS1.p2.15.m15.1c">P</annotation></semantics></math>.
The primary objective in the MDP framework is to optimize the (expected) <em id="S3.SS1.p2.15.1" class="ltx_emph ltx_font_italic">long-term return</em>, which is the cumulative sum of one-step intermediate rewards:</p>
<table id="A5.EGx3" class="ltx_equationgroup ltx_eqn_align ltx_eqn_table">

<tbody id="S3.E2"><tr class="ltx_equation ltx_eqn_row ltx_align_baseline">
<td class="ltx_eqn_cell ltx_eqn_center_padleft"></td>
<td class="ltx_td ltx_align_right ltx_eqn_cell"><math id="S3.E2.m1.1" class="ltx_Math" alttext="\displaystyle\max_{\theta}\mathbb{E}_{x\sim\rho}\mathbb{E}_{a_{1:T}\sim\pi_{\theta}}\left[\sum_{t=1}^{T}r(s_{t},a_{t})\mid s_{0}=x\right]." display="inline"><semantics id="S3.E2.m1.1a"><mrow id="S3.E2.m1.1.1.1" xref="S3.E2.m1.1.1.1.1.cmml"><mrow id="S3.E2.m1.1.1.1.1" xref="S3.E2.m1.1.1.1.1.cmml"><mrow id="S3.E2.m1.1.1.1.1.3" xref="S3.E2.m1.1.1.1.1.3.cmml"><munder id="S3.E2.m1.1.1.1.1.3.1" xref="S3.E2.m1.1.1.1.1.3.1.cmml"><mi id="S3.E2.m1.1.1.1.1.3.1.2" xref="S3.E2.m1.1.1.1.1.3.1.2.cmml">max</mi><mi id="S3.E2.m1.1.1.1.1.3.1.3" xref="S3.E2.m1.1.1.1.1.3.1.3.cmml">θ</mi></munder><mo lspace="0.167em" id="S3.E2.m1.1.1.1.1.3a" xref="S3.E2.m1.1.1.1.1.3.cmml">⁡</mo><mrow id="S3.E2.m1.1.1.1.1.3.2" xref="S3.E2.m1.1.1.1.1.3.2.cmml"><msub id="S3.E2.m1.1.1.1.1.3.2.2" xref="S3.E2.m1.1.1.1.1.3.2.2.cmml"><mi id="S3.E2.m1.1.1.1.1.3.2.2.2" xref="S3.E2.m1.1.1.1.1.3.2.2.2.cmml">𝔼</mi><mrow id="S3.E2.m1.1.1.1.1.3.2.2.3" xref="S3.E2.m1.1.1.1.1.3.2.2.3.cmml"><mi id="S3.E2.m1.1.1.1.1.3.2.2.3.2" xref="S3.E2.m1.1.1.1.1.3.2.2.3.2.cmml">x</mi><mo id="S3.E2.m1.1.1.1.1.3.2.2.3.1" xref="S3.E2.m1.1.1.1.1.3.2.2.3.1.cmml">∼</mo><mi id="S3.E2.m1.1.1.1.1.3.2.2.3.3" xref="S3.E2.m1.1.1.1.1.3.2.2.3.3.cmml">ρ</mi></mrow></msub><mo lspace="0em" rspace="0em" id="S3.E2.m1.1.1.1.1.3.2.1" xref="S3.E2.m1.1.1.1.1.3.2.1.cmml">​</mo><msub id="S3.E2.m1.1.1.1.1.3.2.3" xref="S3.E2.m1.1.1.1.1.3.2.3.cmml"><mi id="S3.E2.m1.1.1.1.1.3.2.3.2" xref="S3.E2.m1.1.1.1.1.3.2.3.2.cmml">𝔼</mi><mrow id="S3.E2.m1.1.1.1.1.3.2.3.3" xref="S3.E2.m1.1.1.1.1.3.2.3.3.cmml"><msub id="S3.E2.m1.1.1.1.1.3.2.3.3.2" xref="S3.E2.m1.1.1.1.1.3.2.3.3.2.cmml"><mi id="S3.E2.m1.1.1.1.1.3.2.3.3.2.2" xref="S3.E2.m1.1.1.1.1.3.2.3.3.2.2.cmml">a</mi><mrow id="S3.E2.m1.1.1.1.1.3.2.3.3.2.3" xref="S3.E2.m1.1.1.1.1.3.2.3.3.2.3.cmml"><mn id="S3.E2.m1.1.1.1.1.3.2.3.3.2.3.2" xref="S3.E2.m1.1.1.1.1.3.2.3.3.2.3.2.cmml">1</mn><mo lspace="0.278em" rspace="0.278em" id="S3.E2.m1.1.1.1.1.3.2.3.3.2.3.1" xref="S3.E2.m1.1.1.1.1.3.2.3.3.2.3.1.cmml">:</mo><mi id="S3.E2.m1.1.1.1.1.3.2.3.3.2.3.3" xref="S3.E2.m1.1.1.1.1.3.2.3.3.2.3.3.cmml">T</mi></mrow></msub><mo id="S3.E2.m1.1.1.1.1.3.2.3.3.1" xref="S3.E2.m1.1.1.1.1.3.2.3.3.1.cmml">∼</mo><msub id="S3.E2.m1.1.1.1.1.3.2.3.3.3" xref="S3.E2.m1.1.1.1.1.3.2.3.3.3.cmml"><mi id="S3.E2.m1.1.1.1.1.3.2.3.3.3.2" xref="S3.E2.m1.1.1.1.1.3.2.3.3.3.2.cmml">π</mi><mi id="S3.E2.m1.1.1.1.1.3.2.3.3.3.3" xref="S3.E2.m1.1.1.1.1.3.2.3.3.3.3.cmml">θ</mi></msub></mrow></msub></mrow></mrow><mo lspace="0em" rspace="0em" id="S3.E2.m1.1.1.1.1.2" xref="S3.E2.m1.1.1.1.1.2.cmml">​</mo><mrow id="S3.E2.m1.1.1.1.1.1.1" xref="S3.E2.m1.1.1.1.1.1.2.cmml"><mo id="S3.E2.m1.1.1.1.1.1.1.2" xref="S3.E2.m1.1.1.1.1.1.2.1.cmml">[</mo><mrow id="S3.E2.m1.1.1.1.1.1.1.1" xref="S3.E2.m1.1.1.1.1.1.1.1.cmml"><mrow id="S3.E2.m1.1.1.1.1.1.1.1.2" xref="S3.E2.m1.1.1.1.1.1.1.1.2.cmml"><mrow id="S3.E2.m1.1.1.1.1.1.1.1.2.2" xref="S3.E2.m1.1.1.1.1.1.1.1.2.2.cmml"><mstyle displaystyle="true" id="S3.E2.m1.1.1.1.1.1.1.1.2.2.3" xref="S3.E2.m1.1.1.1.1.1.1.1.2.2.3.cmml"><munderover id="S3.E2.m1.1.1.1.1.1.1.1.2.2.3a" xref="S3.E2.m1.1.1.1.1.1.1.1.2.2.3.cmml"><mo movablelimits="false" id="S3.E2.m1.1.1.1.1.1.1.1.2.2.3.2.2" xref="S3.E2.m1.1.1.1.1.1.1.1.2.2.3.2.2.cmml">∑</mo><mrow id="S3.E2.m1.1.1.1.1.1.1.1.2.2.3.2.3" xref="S3.E2.m1.1.1.1.1.1.1.1.2.2.3.2.3.cmml"><mi id="S3.E2.m1.1.1.1.1.1.1.1.2.2.3.2.3.2" xref="S3.E2.m1.1.1.1.1.1.1.1.2.2.3.2.3.2.cmml">t</mi><mo id="S3.E2.m1.1.1.1.1.1.1.1.2.2.3.2.3.1" xref="S3.E2.m1.1.1.1.1.1.1.1.2.2.3.2.3.1.cmml">=</mo><mn id="S3.E2.m1.1.1.1.1.1.1.1.2.2.3.2.3.3" xref="S3.E2.m1.1.1.1.1.1.1.1.2.2.3.2.3.3.cmml">1</mn></mrow><mi id="S3.E2.m1.1.1.1.1.1.1.1.2.2.3.3" xref="S3.E2.m1.1.1.1.1.1.1.1.2.2.3.3.cmml">T</mi></munderover></mstyle><mrow id="S3.E2.m1.1.1.1.1.1.1.1.2.2.2" xref="S3.E2.m1.1.1.1.1.1.1.1.2.2.2.cmml"><mi id="S3.E2.m1.1.1.1.1.1.1.1.2.2.2.4" xref="S3.E2.m1.1.1.1.1.1.1.1.2.2.2.4.cmml">r</mi><mo lspace="0em" rspace="0em" id="S3.E2.m1.1.1.1.1.1.1.1.2.2.2.3" xref="S3.E2.m1.1.1.1.1.1.1.1.2.2.2.3.cmml">​</mo><mrow id="S3.E2.m1.1.1.1.1.1.1.1.2.2.2.2.2" xref="S3.E2.m1.1.1.1.1.1.1.1.2.2.2.2.3.cmml"><mo stretchy="false" id="S3.E2.m1.1.1.1.1.1.1.1.2.2.2.2.2.3" xref="S3.E2.m1.1.1.1.1.1.1.1.2.2.2.2.3.cmml">(</mo><msub id="S3.E2.m1.1.1.1.1.1.1.1.1.1.1.1.1.1" xref="S3.E2.m1.1.1.1.1.1.1.1.1.1.1.1.1.1.cmml"><mi id="S3.E2.m1.1.1.1.1.1.1.1.1.1.1.1.1.1.2" xref="S3.E2.m1.1.1.1.1.1.1.1.1.1.1.1.1.1.2.cmml">s</mi><mi id="S3.E2.m1.1.1.1.1.1.1.1.1.1.1.1.1.1.3" xref="S3.E2.m1.1.1.1.1.1.1.1.1.1.1.1.1.1.3.cmml">t</mi></msub><mo id="S3.E2.m1.1.1.1.1.1.1.1.2.2.2.2.2.4" xref="S3.E2.m1.1.1.1.1.1.1.1.2.2.2.2.3.cmml">,</mo><msub id="S3.E2.m1.1.1.1.1.1.1.1.2.2.2.2.2.2" xref="S3.E2.m1.1.1.1.1.1.1.1.2.2.2.2.2.2.cmml"><mi id="S3.E2.m1.1.1.1.1.1.1.1.2.2.2.2.2.2.2" xref="S3.E2.m1.1.1.1.1.1.1.1.2.2.2.2.2.2.2.cmml">a</mi><mi id="S3.E2.m1.1.1.1.1.1.1.1.2.2.2.2.2.2.3" xref="S3.E2.m1.1.1.1.1.1.1.1.2.2.2.2.2.2.3.cmml">t</mi></msub><mo stretchy="false" id="S3.E2.m1.1.1.1.1.1.1.1.2.2.2.2.2.5" xref="S3.E2.m1.1.1.1.1.1.1.1.2.2.2.2.3.cmml">)</mo></mrow></mrow></mrow><mo id="S3.E2.m1.1.1.1.1.1.1.1.2.3" xref="S3.E2.m1.1.1.1.1.1.1.1.2.3.cmml">∣</mo><msub id="S3.E2.m1.1.1.1.1.1.1.1.2.4" xref="S3.E2.m1.1.1.1.1.1.1.1.2.4.cmml"><mi id="S3.E2.m1.1.1.1.1.1.1.1.2.4.2" xref="S3.E2.m1.1.1.1.1.1.1.1.2.4.2.cmml">s</mi><mn id="S3.E2.m1.1.1.1.1.1.1.1.2.4.3" xref="S3.E2.m1.1.1.1.1.1.1.1.2.4.3.cmml">0</mn></msub></mrow><mo id="S3.E2.m1.1.1.1.1.1.1.1.3" xref="S3.E2.m1.1.1.1.1.1.1.1.3.cmml">=</mo><mi id="S3.E2.m1.1.1.1.1.1.1.1.4" xref="S3.E2.m1.1.1.1.1.1.1.1.4.cmml">x</mi></mrow><mo id="S3.E2.m1.1.1.1.1.1.1.3" xref="S3.E2.m1.1.1.1.1.1.2.1.cmml">]</mo></mrow></mrow><mo lspace="0em" id="S3.E2.m1.1.1.1.2" xref="S3.E2.m1.1.1.1.1.cmml">.</mo></mrow><annotation-xml encoding="MathML-Content" id="S3.E2.m1.1b"><apply id="S3.E2.m1.1.1.1.1.cmml" xref="S3.E2.m1.1.1.1"><times id="S3.E2.m1.1.1.1.1.2.cmml" xref="S3.E2.m1.1.1.1.1.2"></times><apply id="S3.E2.m1.1.1.1.1.3.cmml" xref="S3.E2.m1.1.1.1.1.3"><apply id="S3.E2.m1.1.1.1.1.3.1.cmml" xref="S3.E2.m1.1.1.1.1.3.1"><csymbol cd="ambiguous" id="S3.E2.m1.1.1.1.1.3.1.1.cmml" xref="S3.E2.m1.1.1.1.1.3.1">subscript</csymbol><max id="S3.E2.m1.1.1.1.1.3.1.2.cmml" xref="S3.E2.m1.1.1.1.1.3.1.2"></max><ci id="S3.E2.m1.1.1.1.1.3.1.3.cmml" xref="S3.E2.m1.1.1.1.1.3.1.3">𝜃</ci></apply><apply id="S3.E2.m1.1.1.1.1.3.2.cmml" xref="S3.E2.m1.1.1.1.1.3.2"><times id="S3.E2.m1.1.1.1.1.3.2.1.cmml" xref="S3.E2.m1.1.1.1.1.3.2.1"></times><apply id="S3.E2.m1.1.1.1.1.3.2.2.cmml" xref="S3.E2.m1.1.1.1.1.3.2.2"><csymbol cd="ambiguous" id="S3.E2.m1.1.1.1.1.3.2.2.1.cmml" xref="S3.E2.m1.1.1.1.1.3.2.2">subscript</csymbol><ci id="S3.E2.m1.1.1.1.1.3.2.2.2.cmml" xref="S3.E2.m1.1.1.1.1.3.2.2.2">𝔼</ci><apply id="S3.E2.m1.1.1.1.1.3.2.2.3.cmml" xref="S3.E2.m1.1.1.1.1.3.2.2.3"><csymbol cd="latexml" id="S3.E2.m1.1.1.1.1.3.2.2.3.1.cmml" xref="S3.E2.m1.1.1.1.1.3.2.2.3.1">similar-to</csymbol><ci id="S3.E2.m1.1.1.1.1.3.2.2.3.2.cmml" xref="S3.E2.m1.1.1.1.1.3.2.2.3.2">𝑥</ci><ci id="S3.E2.m1.1.1.1.1.3.2.2.3.3.cmml" xref="S3.E2.m1.1.1.1.1.3.2.2.3.3">𝜌</ci></apply></apply><apply id="S3.E2.m1.1.1.1.1.3.2.3.cmml" xref="S3.E2.m1.1.1.1.1.3.2.3"><csymbol cd="ambiguous" id="S3.E2.m1.1.1.1.1.3.2.3.1.cmml" xref="S3.E2.m1.1.1.1.1.3.2.3">subscript</csymbol><ci id="S3.E2.m1.1.1.1.1.3.2.3.2.cmml" xref="S3.E2.m1.1.1.1.1.3.2.3.2">𝔼</ci><apply id="S3.E2.m1.1.1.1.1.3.2.3.3.cmml" xref="S3.E2.m1.1.1.1.1.3.2.3.3"><csymbol cd="latexml" id="S3.E2.m1.1.1.1.1.3.2.3.3.1.cmml" xref="S3.E2.m1.1.1.1.1.3.2.3.3.1">similar-to</csymbol><apply id="S3.E2.m1.1.1.1.1.3.2.3.3.2.cmml" xref="S3.E2.m1.1.1.1.1.3.2.3.3.2"><csymbol cd="ambiguous" id="S3.E2.m1.1.1.1.1.3.2.3.3.2.1.cmml" xref="S3.E2.m1.1.1.1.1.3.2.3.3.2">subscript</csymbol><ci id="S3.E2.m1.1.1.1.1.3.2.3.3.2.2.cmml" xref="S3.E2.m1.1.1.1.1.3.2.3.3.2.2">𝑎</ci><apply id="S3.E2.m1.1.1.1.1.3.2.3.3.2.3.cmml" xref="S3.E2.m1.1.1.1.1.3.2.3.3.2.3"><ci id="S3.E2.m1.1.1.1.1.3.2.3.3.2.3.1.cmml" xref="S3.E2.m1.1.1.1.1.3.2.3.3.2.3.1">:</ci><cn type="integer" id="S3.E2.m1.1.1.1.1.3.2.3.3.2.3.2.cmml" xref="S3.E2.m1.1.1.1.1.3.2.3.3.2.3.2">1</cn><ci id="S3.E2.m1.1.1.1.1.3.2.3.3.2.3.3.cmml" xref="S3.E2.m1.1.1.1.1.3.2.3.3.2.3.3">𝑇</ci></apply></apply><apply id="S3.E2.m1.1.1.1.1.3.2.3.3.3.cmml" xref="S3.E2.m1.1.1.1.1.3.2.3.3.3"><csymbol cd="ambiguous" id="S3.E2.m1.1.1.1.1.3.2.3.3.3.1.cmml" xref="S3.E2.m1.1.1.1.1.3.2.3.3.3">subscript</csymbol><ci id="S3.E2.m1.1.1.1.1.3.2.3.3.3.2.cmml" xref="S3.E2.m1.1.1.1.1.3.2.3.3.3.2">𝜋</ci><ci id="S3.E2.m1.1.1.1.1.3.2.3.3.3.3.cmml" xref="S3.E2.m1.1.1.1.1.3.2.3.3.3.3">𝜃</ci></apply></apply></apply></apply></apply><apply id="S3.E2.m1.1.1.1.1.1.2.cmml" xref="S3.E2.m1.1.1.1.1.1.1"><csymbol cd="latexml" id="S3.E2.m1.1.1.1.1.1.2.1.cmml" xref="S3.E2.m1.1.1.1.1.1.1.2">delimited-[]</csymbol><apply id="S3.E2.m1.1.1.1.1.1.1.1.cmml" xref="S3.E2.m1.1.1.1.1.1.1.1"><eq id="S3.E2.m1.1.1.1.1.1.1.1.3.cmml" xref="S3.E2.m1.1.1.1.1.1.1.1.3"></eq><apply id="S3.E2.m1.1.1.1.1.1.1.1.2.cmml" xref="S3.E2.m1.1.1.1.1.1.1.1.2"><csymbol cd="latexml" id="S3.E2.m1.1.1.1.1.1.1.1.2.3.cmml" xref="S3.E2.m1.1.1.1.1.1.1.1.2.3">conditional</csymbol><apply id="S3.E2.m1.1.1.1.1.1.1.1.2.2.cmml" xref="S3.E2.m1.1.1.1.1.1.1.1.2.2"><apply id="S3.E2.m1.1.1.1.1.1.1.1.2.2.3.cmml" xref="S3.E2.m1.1.1.1.1.1.1.1.2.2.3"><csymbol cd="ambiguous" id="S3.E2.m1.1.1.1.1.1.1.1.2.2.3.1.cmml" xref="S3.E2.m1.1.1.1.1.1.1.1.2.2.3">superscript</csymbol><apply id="S3.E2.m1.1.1.1.1.1.1.1.2.2.3.2.cmml" xref="S3.E2.m1.1.1.1.1.1.1.1.2.2.3"><csymbol cd="ambiguous" id="S3.E2.m1.1.1.1.1.1.1.1.2.2.3.2.1.cmml" xref="S3.E2.m1.1.1.1.1.1.1.1.2.2.3">subscript</csymbol><sum id="S3.E2.m1.1.1.1.1.1.1.1.2.2.3.2.2.cmml" xref="S3.E2.m1.1.1.1.1.1.1.1.2.2.3.2.2"></sum><apply id="S3.E2.m1.1.1.1.1.1.1.1.2.2.3.2.3.cmml" xref="S3.E2.m1.1.1.1.1.1.1.1.2.2.3.2.3"><eq id="S3.E2.m1.1.1.1.1.1.1.1.2.2.3.2.3.1.cmml" xref="S3.E2.m1.1.1.1.1.1.1.1.2.2.3.2.3.1"></eq><ci id="S3.E2.m1.1.1.1.1.1.1.1.2.2.3.2.3.2.cmml" xref="S3.E2.m1.1.1.1.1.1.1.1.2.2.3.2.3.2">𝑡</ci><cn type="integer" id="S3.E2.m1.1.1.1.1.1.1.1.2.2.3.2.3.3.cmml" xref="S3.E2.m1.1.1.1.1.1.1.1.2.2.3.2.3.3">1</cn></apply></apply><ci id="S3.E2.m1.1.1.1.1.1.1.1.2.2.3.3.cmml" xref="S3.E2.m1.1.1.1.1.1.1.1.2.2.3.3">𝑇</ci></apply><apply id="S3.E2.m1.1.1.1.1.1.1.1.2.2.2.cmml" xref="S3.E2.m1.1.1.1.1.1.1.1.2.2.2"><times id="S3.E2.m1.1.1.1.1.1.1.1.2.2.2.3.cmml" xref="S3.E2.m1.1.1.1.1.1.1.1.2.2.2.3"></times><ci id="S3.E2.m1.1.1.1.1.1.1.1.2.2.2.4.cmml" xref="S3.E2.m1.1.1.1.1.1.1.1.2.2.2.4">𝑟</ci><interval closure="open" id="S3.E2.m1.1.1.1.1.1.1.1.2.2.2.2.3.cmml" xref="S3.E2.m1.1.1.1.1.1.1.1.2.2.2.2.2"><apply id="S3.E2.m1.1.1.1.1.1.1.1.1.1.1.1.1.1.cmml" xref="S3.E2.m1.1.1.1.1.1.1.1.1.1.1.1.1.1"><csymbol cd="ambiguous" id="S3.E2.m1.1.1.1.1.1.1.1.1.1.1.1.1.1.1.cmml" xref="S3.E2.m1.1.1.1.1.1.1.1.1.1.1.1.1.1">subscript</csymbol><ci id="S3.E2.m1.1.1.1.1.1.1.1.1.1.1.1.1.1.2.cmml" xref="S3.E2.m1.1.1.1.1.1.1.1.1.1.1.1.1.1.2">𝑠</ci><ci id="S3.E2.m1.1.1.1.1.1.1.1.1.1.1.1.1.1.3.cmml" xref="S3.E2.m1.1.1.1.1.1.1.1.1.1.1.1.1.1.3">𝑡</ci></apply><apply id="S3.E2.m1.1.1.1.1.1.1.1.2.2.2.2.2.2.cmml" xref="S3.E2.m1.1.1.1.1.1.1.1.2.2.2.2.2.2"><csymbol cd="ambiguous" id="S3.E2.m1.1.1.1.1.1.1.1.2.2.2.2.2.2.1.cmml" xref="S3.E2.m1.1.1.1.1.1.1.1.2.2.2.2.2.2">subscript</csymbol><ci id="S3.E2.m1.1.1.1.1.1.1.1.2.2.2.2.2.2.2.cmml" xref="S3.E2.m1.1.1.1.1.1.1.1.2.2.2.2.2.2.2">𝑎</ci><ci id="S3.E2.m1.1.1.1.1.1.1.1.2.2.2.2.2.2.3.cmml" xref="S3.E2.m1.1.1.1.1.1.1.1.2.2.2.2.2.2.3">𝑡</ci></apply></interval></apply></apply><apply id="S3.E2.m1.1.1.1.1.1.1.1.2.4.cmml" xref="S3.E2.m1.1.1.1.1.1.1.1.2.4"><csymbol cd="ambiguous" id="S3.E2.m1.1.1.1.1.1.1.1.2.4.1.cmml" xref="S3.E2.m1.1.1.1.1.1.1.1.2.4">subscript</csymbol><ci id="S3.E2.m1.1.1.1.1.1.1.1.2.4.2.cmml" xref="S3.E2.m1.1.1.1.1.1.1.1.2.4.2">𝑠</ci><cn type="integer" id="S3.E2.m1.1.1.1.1.1.1.1.2.4.3.cmml" xref="S3.E2.m1.1.1.1.1.1.1.1.2.4.3">0</cn></apply></apply><ci id="S3.E2.m1.1.1.1.1.1.1.1.4.cmml" xref="S3.E2.m1.1.1.1.1.1.1.1.4">𝑥</ci></apply></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="S3.E2.m1.1c">\displaystyle\max_{\theta}\mathbb{E}_{x\sim\rho}\mathbb{E}_{a_{1:T}\sim\pi_{\theta}}\left[\sum_{t=1}^{T}r(s_{t},a_{t})\mid s_{0}=x\right].</annotation></semantics></math></td>
<td class="ltx_eqn_cell ltx_eqn_center_padright"></td>
<td rowspan="1" class="ltx_eqn_cell ltx_eqn_eqno ltx_align_middle ltx_align_right"><span class="ltx_tag ltx_tag_equation ltx_align_right">(2)</span></td>
</tr></tbody>
</table>
</div>
<div id="S3.SS1.p3" class="ltx_para">
<p id="S3.SS1.p3.7" class="ltx_p">In the realm of LLMs, a state is represented by a sequence of previously generated tokens, denoted as <math id="S3.SS1.p3.1.m1.4" class="ltx_Math" alttext="s_{t}=(x,a_{1},\ldots,a_{t-1})" display="inline"><semantics id="S3.SS1.p3.1.m1.4a"><mrow id="S3.SS1.p3.1.m1.4.4" xref="S3.SS1.p3.1.m1.4.4.cmml"><msub id="S3.SS1.p3.1.m1.4.4.4" xref="S3.SS1.p3.1.m1.4.4.4.cmml"><mi id="S3.SS1.p3.1.m1.4.4.4.2" xref="S3.SS1.p3.1.m1.4.4.4.2.cmml">s</mi><mi id="S3.SS1.p3.1.m1.4.4.4.3" xref="S3.SS1.p3.1.m1.4.4.4.3.cmml">t</mi></msub><mo id="S3.SS1.p3.1.m1.4.4.3" xref="S3.SS1.p3.1.m1.4.4.3.cmml">=</mo><mrow id="S3.SS1.p3.1.m1.4.4.2.2" xref="S3.SS1.p3.1.m1.4.4.2.3.cmml"><mo stretchy="false" id="S3.SS1.p3.1.m1.4.4.2.2.3" xref="S3.SS1.p3.1.m1.4.4.2.3.cmml">(</mo><mi id="S3.SS1.p3.1.m1.1.1" xref="S3.SS1.p3.1.m1.1.1.cmml">x</mi><mo id="S3.SS1.p3.1.m1.4.4.2.2.4" xref="S3.SS1.p3.1.m1.4.4.2.3.cmml">,</mo><msub id="S3.SS1.p3.1.m1.3.3.1.1.1" xref="S3.SS1.p3.1.m1.3.3.1.1.1.cmml"><mi id="S3.SS1.p3.1.m1.3.3.1.1.1.2" xref="S3.SS1.p3.1.m1.3.3.1.1.1.2.cmml">a</mi><mn id="S3.SS1.p3.1.m1.3.3.1.1.1.3" xref="S3.SS1.p3.1.m1.3.3.1.1.1.3.cmml">1</mn></msub><mo id="S3.SS1.p3.1.m1.4.4.2.2.5" xref="S3.SS1.p3.1.m1.4.4.2.3.cmml">,</mo><mi mathvariant="normal" id="S3.SS1.p3.1.m1.2.2" xref="S3.SS1.p3.1.m1.2.2.cmml">…</mi><mo id="S3.SS1.p3.1.m1.4.4.2.2.6" xref="S3.SS1.p3.1.m1.4.4.2.3.cmml">,</mo><msub id="S3.SS1.p3.1.m1.4.4.2.2.2" xref="S3.SS1.p3.1.m1.4.4.2.2.2.cmml"><mi id="S3.SS1.p3.1.m1.4.4.2.2.2.2" xref="S3.SS1.p3.1.m1.4.4.2.2.2.2.cmml">a</mi><mrow id="S3.SS1.p3.1.m1.4.4.2.2.2.3" xref="S3.SS1.p3.1.m1.4.4.2.2.2.3.cmml"><mi id="S3.SS1.p3.1.m1.4.4.2.2.2.3.2" xref="S3.SS1.p3.1.m1.4.4.2.2.2.3.2.cmml">t</mi><mo id="S3.SS1.p3.1.m1.4.4.2.2.2.3.1" xref="S3.SS1.p3.1.m1.4.4.2.2.2.3.1.cmml">−</mo><mn id="S3.SS1.p3.1.m1.4.4.2.2.2.3.3" xref="S3.SS1.p3.1.m1.4.4.2.2.2.3.3.cmml">1</mn></mrow></msub><mo stretchy="false" id="S3.SS1.p3.1.m1.4.4.2.2.7" xref="S3.SS1.p3.1.m1.4.4.2.3.cmml">)</mo></mrow></mrow><annotation-xml encoding="MathML-Content" id="S3.SS1.p3.1.m1.4b"><apply id="S3.SS1.p3.1.m1.4.4.cmml" xref="S3.SS1.p3.1.m1.4.4"><eq id="S3.SS1.p3.1.m1.4.4.3.cmml" xref="S3.SS1.p3.1.m1.4.4.3"></eq><apply id="S3.SS1.p3.1.m1.4.4.4.cmml" xref="S3.SS1.p3.1.m1.4.4.4"><csymbol cd="ambiguous" id="S3.SS1.p3.1.m1.4.4.4.1.cmml" xref="S3.SS1.p3.1.m1.4.4.4">subscript</csymbol><ci id="S3.SS1.p3.1.m1.4.4.4.2.cmml" xref="S3.SS1.p3.1.m1.4.4.4.2">𝑠</ci><ci id="S3.SS1.p3.1.m1.4.4.4.3.cmml" xref="S3.SS1.p3.1.m1.4.4.4.3">𝑡</ci></apply><vector id="S3.SS1.p3.1.m1.4.4.2.3.cmml" xref="S3.SS1.p3.1.m1.4.4.2.2"><ci id="S3.SS1.p3.1.m1.1.1.cmml" xref="S3.SS1.p3.1.m1.1.1">𝑥</ci><apply id="S3.SS1.p3.1.m1.3.3.1.1.1.cmml" xref="S3.SS1.p3.1.m1.3.3.1.1.1"><csymbol cd="ambiguous" id="S3.SS1.p3.1.m1.3.3.1.1.1.1.cmml" xref="S3.SS1.p3.1.m1.3.3.1.1.1">subscript</csymbol><ci id="S3.SS1.p3.1.m1.3.3.1.1.1.2.cmml" xref="S3.SS1.p3.1.m1.3.3.1.1.1.2">𝑎</ci><cn type="integer" id="S3.SS1.p3.1.m1.3.3.1.1.1.3.cmml" xref="S3.SS1.p3.1.m1.3.3.1.1.1.3">1</cn></apply><ci id="S3.SS1.p3.1.m1.2.2.cmml" xref="S3.SS1.p3.1.m1.2.2">…</ci><apply id="S3.SS1.p3.1.m1.4.4.2.2.2.cmml" xref="S3.SS1.p3.1.m1.4.4.2.2.2"><csymbol cd="ambiguous" id="S3.SS1.p3.1.m1.4.4.2.2.2.1.cmml" xref="S3.SS1.p3.1.m1.4.4.2.2.2">subscript</csymbol><ci id="S3.SS1.p3.1.m1.4.4.2.2.2.2.cmml" xref="S3.SS1.p3.1.m1.4.4.2.2.2.2">𝑎</ci><apply id="S3.SS1.p3.1.m1.4.4.2.2.2.3.cmml" xref="S3.SS1.p3.1.m1.4.4.2.2.2.3"><minus id="S3.SS1.p3.1.m1.4.4.2.2.2.3.1.cmml" xref="S3.SS1.p3.1.m1.4.4.2.2.2.3.1"></minus><ci id="S3.SS1.p3.1.m1.4.4.2.2.2.3.2.cmml" xref="S3.SS1.p3.1.m1.4.4.2.2.2.3.2">𝑡</ci><cn type="integer" id="S3.SS1.p3.1.m1.4.4.2.2.2.3.3.cmml" xref="S3.SS1.p3.1.m1.4.4.2.2.2.3.3">1</cn></apply></apply></vector></apply></annotation-xml><annotation encoding="application/x-tex" id="S3.SS1.p3.1.m1.4c">s_{t}=(x,a_{1},\ldots,a_{t-1})</annotation></semantics></math>. An action, <math id="S3.SS1.p3.2.m2.1" class="ltx_Math" alttext="a_{t}" display="inline"><semantics id="S3.SS1.p3.2.m2.1a"><msub id="S3.SS1.p3.2.m2.1.1" xref="S3.SS1.p3.2.m2.1.1.cmml"><mi id="S3.SS1.p3.2.m2.1.1.2" xref="S3.SS1.p3.2.m2.1.1.2.cmml">a</mi><mi id="S3.SS1.p3.2.m2.1.1.3" xref="S3.SS1.p3.2.m2.1.1.3.cmml">t</mi></msub><annotation-xml encoding="MathML-Content" id="S3.SS1.p3.2.m2.1b"><apply id="S3.SS1.p3.2.m2.1.1.cmml" xref="S3.SS1.p3.2.m2.1.1"><csymbol cd="ambiguous" id="S3.SS1.p3.2.m2.1.1.1.cmml" xref="S3.SS1.p3.2.m2.1.1">subscript</csymbol><ci id="S3.SS1.p3.2.m2.1.1.2.cmml" xref="S3.SS1.p3.2.m2.1.1.2">𝑎</ci><ci id="S3.SS1.p3.2.m2.1.1.3.cmml" xref="S3.SS1.p3.2.m2.1.1.3">𝑡</ci></apply></annotation-xml><annotation encoding="application/x-tex" id="S3.SS1.p3.2.m2.1c">a_{t}</annotation></semantics></math>, pertains to selecting a token from the vocabulary set <math id="S3.SS1.p3.3.m3.1" class="ltx_Math" alttext="\mathcal{V}" display="inline"><semantics id="S3.SS1.p3.3.m3.1a"><mi class="ltx_font_mathcaligraphic" id="S3.SS1.p3.3.m3.1.1" xref="S3.SS1.p3.3.m3.1.1.cmml">𝒱</mi><annotation-xml encoding="MathML-Content" id="S3.SS1.p3.3.m3.1b"><ci id="S3.SS1.p3.3.m3.1.1.cmml" xref="S3.SS1.p3.3.m3.1.1">𝒱</ci></annotation-xml><annotation encoding="application/x-tex" id="S3.SS1.p3.3.m3.1c">\mathcal{V}</annotation></semantics></math>. The initial state, <math id="S3.SS1.p3.4.m4.1" class="ltx_Math" alttext="s_{1}" display="inline"><semantics id="S3.SS1.p3.4.m4.1a"><msub id="S3.SS1.p3.4.m4.1.1" xref="S3.SS1.p3.4.m4.1.1.cmml"><mi id="S3.SS1.p3.4.m4.1.1.2" xref="S3.SS1.p3.4.m4.1.1.2.cmml">s</mi><mn id="S3.SS1.p3.4.m4.1.1.3" xref="S3.SS1.p3.4.m4.1.1.3.cmml">1</mn></msub><annotation-xml encoding="MathML-Content" id="S3.SS1.p3.4.m4.1b"><apply id="S3.SS1.p3.4.m4.1.1.cmml" xref="S3.SS1.p3.4.m4.1.1"><csymbol cd="ambiguous" id="S3.SS1.p3.4.m4.1.1.1.cmml" xref="S3.SS1.p3.4.m4.1.1">subscript</csymbol><ci id="S3.SS1.p3.4.m4.1.1.2.cmml" xref="S3.SS1.p3.4.m4.1.1.2">𝑠</ci><cn type="integer" id="S3.SS1.p3.4.m4.1.1.3.cmml" xref="S3.SS1.p3.4.m4.1.1.3">1</cn></apply></annotation-xml><annotation encoding="application/x-tex" id="S3.SS1.p3.4.m4.1c">s_{1}</annotation></semantics></math>, corresponds to a prompt <math id="S3.SS1.p3.5.m5.1" class="ltx_Math" alttext="x" display="inline"><semantics id="S3.SS1.p3.5.m5.1a"><mi id="S3.SS1.p3.5.m5.1.1" xref="S3.SS1.p3.5.m5.1.1.cmml">x</mi><annotation-xml encoding="MathML-Content" id="S3.SS1.p3.5.m5.1b"><ci id="S3.SS1.p3.5.m5.1.1.cmml" xref="S3.SS1.p3.5.m5.1.1">𝑥</ci></annotation-xml><annotation encoding="application/x-tex" id="S3.SS1.p3.5.m5.1c">x</annotation></semantics></math>, aligning <math id="S3.SS1.p3.6.m6.1" class="ltx_Math" alttext="\rho" display="inline"><semantics id="S3.SS1.p3.6.m6.1a"><mi id="S3.SS1.p3.6.m6.1.1" xref="S3.SS1.p3.6.m6.1.1.cmml">ρ</mi><annotation-xml encoding="MathML-Content" id="S3.SS1.p3.6.m6.1b"><ci id="S3.SS1.p3.6.m6.1.1.cmml" xref="S3.SS1.p3.6.m6.1.1">𝜌</ci></annotation-xml><annotation encoding="application/x-tex" id="S3.SS1.p3.6.m6.1c">\rho</annotation></semantics></math> with the distribution of this prompt. While the reward <math id="S3.SS1.p3.7.m7.2" class="ltx_Math" alttext="r(x,a_{1:T})" display="inline"><semantics id="S3.SS1.p3.7.m7.2a"><mrow id="S3.SS1.p3.7.m7.2.2" xref="S3.SS1.p3.7.m7.2.2.cmml"><mi id="S3.SS1.p3.7.m7.2.2.3" xref="S3.SS1.p3.7.m7.2.2.3.cmml">r</mi><mo lspace="0em" rspace="0em" id="S3.SS1.p3.7.m7.2.2.2" xref="S3.SS1.p3.7.m7.2.2.2.cmml">​</mo><mrow id="S3.SS1.p3.7.m7.2.2.1.1" xref="S3.SS1.p3.7.m7.2.2.1.2.cmml"><mo stretchy="false" id="S3.SS1.p3.7.m7.2.2.1.1.2" xref="S3.SS1.p3.7.m7.2.2.1.2.cmml">(</mo><mi id="S3.SS1.p3.7.m7.1.1" xref="S3.SS1.p3.7.m7.1.1.cmml">x</mi><mo id="S3.SS1.p3.7.m7.2.2.1.1.3" xref="S3.SS1.p3.7.m7.2.2.1.2.cmml">,</mo><msub id="S3.SS1.p3.7.m7.2.2.1.1.1" xref="S3.SS1.p3.7.m7.2.2.1.1.1.cmml"><mi id="S3.SS1.p3.7.m7.2.2.1.1.1.2" xref="S3.SS1.p3.7.m7.2.2.1.1.1.2.cmml">a</mi><mrow id="S3.SS1.p3.7.m7.2.2.1.1.1.3" xref="S3.SS1.p3.7.m7.2.2.1.1.1.3.cmml"><mn id="S3.SS1.p3.7.m7.2.2.1.1.1.3.2" xref="S3.SS1.p3.7.m7.2.2.1.1.1.3.2.cmml">1</mn><mo lspace="0.278em" rspace="0.278em" id="S3.SS1.p3.7.m7.2.2.1.1.1.3.1" xref="S3.SS1.p3.7.m7.2.2.1.1.1.3.1.cmml">:</mo><mi id="S3.SS1.p3.7.m7.2.2.1.1.1.3.3" xref="S3.SS1.p3.7.m7.2.2.1.1.1.3.3.cmml">T</mi></mrow></msub><mo stretchy="false" id="S3.SS1.p3.7.m7.2.2.1.1.4" xref="S3.SS1.p3.7.m7.2.2.1.2.cmml">)</mo></mrow></mrow><annotation-xml encoding="MathML-Content" id="S3.SS1.p3.7.m7.2b"><apply id="S3.SS1.p3.7.m7.2.2.cmml" xref="S3.SS1.p3.7.m7.2.2"><times id="S3.SS1.p3.7.m7.2.2.2.cmml" xref="S3.SS1.p3.7.m7.2.2.2"></times><ci id="S3.SS1.p3.7.m7.2.2.3.cmml" xref="S3.SS1.p3.7.m7.2.2.3">𝑟</ci><interval closure="open" id="S3.SS1.p3.7.m7.2.2.1.2.cmml" xref="S3.SS1.p3.7.m7.2.2.1.1"><ci id="S3.SS1.p3.7.m7.1.1.cmml" xref="S3.SS1.p3.7.m7.1.1">𝑥</ci><apply id="S3.SS1.p3.7.m7.2.2.1.1.1.cmml" xref="S3.SS1.p3.7.m7.2.2.1.1.1"><csymbol cd="ambiguous" id="S3.SS1.p3.7.m7.2.2.1.1.1.1.cmml" xref="S3.SS1.p3.7.m7.2.2.1.1.1">subscript</csymbol><ci id="S3.SS1.p3.7.m7.2.2.1.1.1.2.cmml" xref="S3.SS1.p3.7.m7.2.2.1.1.1.2">𝑎</ci><apply id="S3.SS1.p3.7.m7.2.2.1.1.1.3.cmml" xref="S3.SS1.p3.7.m7.2.2.1.1.1.3"><ci id="S3.SS1.p3.7.m7.2.2.1.1.1.3.1.cmml" xref="S3.SS1.p3.7.m7.2.2.1.1.1.3.1">:</ci><cn type="integer" id="S3.SS1.p3.7.m7.2.2.1.1.1.3.2.cmml" xref="S3.SS1.p3.7.m7.2.2.1.1.1.3.2">1</cn><ci id="S3.SS1.p3.7.m7.2.2.1.1.1.3.3.cmml" xref="S3.SS1.p3.7.m7.2.2.1.1.1.3.3">𝑇</ci></apply></apply></interval></apply></annotation-xml><annotation encoding="application/x-tex" id="S3.SS1.p3.7.m7.2c">r(x,a_{1:T})</annotation></semantics></math> evaluates the quality of a complete response, not individual tokens, we can adapt this for the MDP framework. Specifically, we designate a reward of 0 for individual tokens:</p>
<table id="A5.EGx4" class="ltx_equationgroup ltx_eqn_align ltx_eqn_table">

<tbody id="S3.E3"><tr class="ltx_equation ltx_eqn_row ltx_align_baseline">
<td class="ltx_eqn_cell ltx_eqn_center_padleft"></td>
<td class="ltx_td ltx_align_right ltx_eqn_cell"><math id="S3.E3.m1.6" class="ltx_Math" alttext="\displaystyle r(s_{t},a_{t})=\begin{cases}0&amp;\text{if }t\neq T\\
r(x,a_{1:T})&amp;\text{otherwise}.\end{cases}" display="inline"><semantics id="S3.E3.m1.6a"><mrow id="S3.E3.m1.6.6" xref="S3.E3.m1.6.6.cmml"><mrow id="S3.E3.m1.6.6.2" xref="S3.E3.m1.6.6.2.cmml"><mi id="S3.E3.m1.6.6.2.4" xref="S3.E3.m1.6.6.2.4.cmml">r</mi><mo lspace="0em" rspace="0em" id="S3.E3.m1.6.6.2.3" xref="S3.E3.m1.6.6.2.3.cmml">​</mo><mrow id="S3.E3.m1.6.6.2.2.2" xref="S3.E3.m1.6.6.2.2.3.cmml"><mo stretchy="false" id="S3.E3.m1.6.6.2.2.2.3" xref="S3.E3.m1.6.6.2.2.3.cmml">(</mo><msub id="S3.E3.m1.5.5.1.1.1.1" xref="S3.E3.m1.5.5.1.1.1.1.cmml"><mi id="S3.E3.m1.5.5.1.1.1.1.2" xref="S3.E3.m1.5.5.1.1.1.1.2.cmml">s</mi><mi id="S3.E3.m1.5.5.1.1.1.1.3" xref="S3.E3.m1.5.5.1.1.1.1.3.cmml">t</mi></msub><mo id="S3.E3.m1.6.6.2.2.2.4" xref="S3.E3.m1.6.6.2.2.3.cmml">,</mo><msub id="S3.E3.m1.6.6.2.2.2.2" xref="S3.E3.m1.6.6.2.2.2.2.cmml"><mi id="S3.E3.m1.6.6.2.2.2.2.2" xref="S3.E3.m1.6.6.2.2.2.2.2.cmml">a</mi><mi id="S3.E3.m1.6.6.2.2.2.2.3" xref="S3.E3.m1.6.6.2.2.2.2.3.cmml">t</mi></msub><mo stretchy="false" id="S3.E3.m1.6.6.2.2.2.5" xref="S3.E3.m1.6.6.2.2.3.cmml">)</mo></mrow></mrow><mo id="S3.E3.m1.6.6.3" xref="S3.E3.m1.6.6.3.cmml">=</mo><mrow id="S3.E3.m1.4.4a" xref="S3.E3.m1.6.6.4.1.cmml"><mo id="S3.E3.m1.4.4a.5" xref="S3.E3.m1.6.6.4.1.1.cmml">{</mo><mtable columnspacing="5pt" rowspacing="0pt" id="S3.E3.m1.4.4.4a" xref="S3.E3.m1.6.6.4.1.cmml"><mtr id="S3.E3.m1.4.4.4aa" xref="S3.E3.m1.6.6.4.1.cmml"><mtd class="ltx_align_left" columnalign="left" id="S3.E3.m1.4.4.4ab" xref="S3.E3.m1.6.6.4.1.cmml"><mn id="S3.E3.m1.1.1.1.1.1.1" xref="S3.E3.m1.1.1.1.1.1.1.cmml">0</mn></mtd><mtd class="ltx_align_left" columnalign="left" id="S3.E3.m1.4.4.4ac" xref="S3.E3.m1.6.6.4.1.cmml"><mrow id="S3.E3.m1.2.2.2.2.2.1" xref="S3.E3.m1.2.2.2.2.2.1.cmml"><mrow id="S3.E3.m1.2.2.2.2.2.1.2" xref="S3.E3.m1.2.2.2.2.2.1.2.cmml"><mtext id="S3.E3.m1.2.2.2.2.2.1.2.2" xref="S3.E3.m1.2.2.2.2.2.1.2.2a.cmml">if </mtext><mo lspace="0em" rspace="0em" id="S3.E3.m1.2.2.2.2.2.1.2.1" xref="S3.E3.m1.2.2.2.2.2.1.2.1.cmml">​</mo><mi id="S3.E3.m1.2.2.2.2.2.1.2.3" xref="S3.E3.m1.2.2.2.2.2.1.2.3.cmml">t</mi></mrow><mo id="S3.E3.m1.2.2.2.2.2.1.1" xref="S3.E3.m1.2.2.2.2.2.1.1.cmml">≠</mo><mi id="S3.E3.m1.2.2.2.2.2.1.3" xref="S3.E3.m1.2.2.2.2.2.1.3.cmml">T</mi></mrow></mtd></mtr><mtr id="S3.E3.m1.4.4.4ad" xref="S3.E3.m1.6.6.4.1.cmml"><mtd class="ltx_align_left" columnalign="left" id="S3.E3.m1.4.4.4ae" xref="S3.E3.m1.6.6.4.1.cmml"><mrow id="S3.E3.m1.3.3.3.3.1.1" xref="S3.E3.m1.3.3.3.3.1.1.cmml"><mi id="S3.E3.m1.3.3.3.3.1.1.4" xref="S3.E3.m1.3.3.3.3.1.1.4.cmml">r</mi><mo lspace="0em" rspace="0em" id="S3.E3.m1.3.3.3.3.1.1.3" xref="S3.E3.m1.3.3.3.3.1.1.3.cmml">​</mo><mrow id="S3.E3.m1.3.3.3.3.1.1.2.1" xref="S3.E3.m1.3.3.3.3.1.1.2.2.cmml"><mo stretchy="false" id="S3.E3.m1.3.3.3.3.1.1.2.1.2" xref="S3.E3.m1.3.3.3.3.1.1.2.2.cmml">(</mo><mi id="S3.E3.m1.3.3.3.3.1.1.1" xref="S3.E3.m1.3.3.3.3.1.1.1.cmml">x</mi><mo id="S3.E3.m1.3.3.3.3.1.1.2.1.3" xref="S3.E3.m1.3.3.3.3.1.1.2.2.cmml">,</mo><msub id="S3.E3.m1.3.3.3.3.1.1.2.1.1" xref="S3.E3.m1.3.3.3.3.1.1.2.1.1.cmml"><mi id="S3.E3.m1.3.3.3.3.1.1.2.1.1.2" xref="S3.E3.m1.3.3.3.3.1.1.2.1.1.2.cmml">a</mi><mrow id="S3.E3.m1.3.3.3.3.1.1.2.1.1.3" xref="S3.E3.m1.3.3.3.3.1.1.2.1.1.3.cmml"><mn id="S3.E3.m1.3.3.3.3.1.1.2.1.1.3.2" xref="S3.E3.m1.3.3.3.3.1.1.2.1.1.3.2.cmml">1</mn><mo lspace="0.278em" rspace="0.278em" id="S3.E3.m1.3.3.3.3.1.1.2.1.1.3.1" xref="S3.E3.m1.3.3.3.3.1.1.2.1.1.3.1.cmml">:</mo><mi id="S3.E3.m1.3.3.3.3.1.1.2.1.1.3.3" xref="S3.E3.m1.3.3.3.3.1.1.2.1.1.3.3.cmml">T</mi></mrow></msub><mo stretchy="false" id="S3.E3.m1.3.3.3.3.1.1.2.1.4" xref="S3.E3.m1.3.3.3.3.1.1.2.2.cmml">)</mo></mrow></mrow></mtd><mtd class="ltx_align_left" columnalign="left" id="S3.E3.m1.4.4.4af" xref="S3.E3.m1.6.6.4.1.cmml"><mrow id="S3.E3.m1.4.4.4.4.2.1.3" xref="S3.E3.m1.4.4.4.4.2.1.1a.cmml"><mtext id="S3.E3.m1.4.4.4.4.2.1.1" xref="S3.E3.m1.4.4.4.4.2.1.1.cmml">otherwise</mtext><mo lspace="0em" id="S3.E3.m1.4.4.4.4.2.1.3.1" xref="S3.E3.m1.4.4.4.4.2.1.1a.cmml">.</mo></mrow></mtd></mtr></mtable></mrow></mrow><annotation-xml encoding="MathML-Content" id="S3.E3.m1.6b"><apply id="S3.E3.m1.6.6.cmml" xref="S3.E3.m1.6.6"><eq id="S3.E3.m1.6.6.3.cmml" xref="S3.E3.m1.6.6.3"></eq><apply id="S3.E3.m1.6.6.2.cmml" xref="S3.E3.m1.6.6.2"><times id="S3.E3.m1.6.6.2.3.cmml" xref="S3.E3.m1.6.6.2.3"></times><ci id="S3.E3.m1.6.6.2.4.cmml" xref="S3.E3.m1.6.6.2.4">𝑟</ci><interval closure="open" id="S3.E3.m1.6.6.2.2.3.cmml" xref="S3.E3.m1.6.6.2.2.2"><apply id="S3.E3.m1.5.5.1.1.1.1.cmml" xref="S3.E3.m1.5.5.1.1.1.1"><csymbol cd="ambiguous" id="S3.E3.m1.5.5.1.1.1.1.1.cmml" xref="S3.E3.m1.5.5.1.1.1.1">subscript</csymbol><ci id="S3.E3.m1.5.5.1.1.1.1.2.cmml" xref="S3.E3.m1.5.5.1.1.1.1.2">𝑠</ci><ci id="S3.E3.m1.5.5.1.1.1.1.3.cmml" xref="S3.E3.m1.5.5.1.1.1.1.3">𝑡</ci></apply><apply id="S3.E3.m1.6.6.2.2.2.2.cmml" xref="S3.E3.m1.6.6.2.2.2.2"><csymbol cd="ambiguous" id="S3.E3.m1.6.6.2.2.2.2.1.cmml" xref="S3.E3.m1.6.6.2.2.2.2">subscript</csymbol><ci id="S3.E3.m1.6.6.2.2.2.2.2.cmml" xref="S3.E3.m1.6.6.2.2.2.2.2">𝑎</ci><ci id="S3.E3.m1.6.6.2.2.2.2.3.cmml" xref="S3.E3.m1.6.6.2.2.2.2.3">𝑡</ci></apply></interval></apply><apply id="S3.E3.m1.6.6.4.1.cmml" xref="S3.E3.m1.4.4a"><csymbol cd="latexml" id="S3.E3.m1.6.6.4.1.1.cmml" xref="S3.E3.m1.4.4a.5">cases</csymbol><cn type="integer" id="S3.E3.m1.1.1.1.1.1.1.cmml" xref="S3.E3.m1.1.1.1.1.1.1">0</cn><apply id="S3.E3.m1.2.2.2.2.2.1.cmml" xref="S3.E3.m1.2.2.2.2.2.1"><neq id="S3.E3.m1.2.2.2.2.2.1.1.cmml" xref="S3.E3.m1.2.2.2.2.2.1.1"></neq><apply id="S3.E3.m1.2.2.2.2.2.1.2.cmml" xref="S3.E3.m1.2.2.2.2.2.1.2"><times id="S3.E3.m1.2.2.2.2.2.1.2.1.cmml" xref="S3.E3.m1.2.2.2.2.2.1.2.1"></times><ci id="S3.E3.m1.2.2.2.2.2.1.2.2a.cmml" xref="S3.E3.m1.2.2.2.2.2.1.2.2"><mtext id="S3.E3.m1.2.2.2.2.2.1.2.2.cmml" xref="S3.E3.m1.2.2.2.2.2.1.2.2">if </mtext></ci><ci id="S3.E3.m1.2.2.2.2.2.1.2.3.cmml" xref="S3.E3.m1.2.2.2.2.2.1.2.3">𝑡</ci></apply><ci id="S3.E3.m1.2.2.2.2.2.1.3.cmml" xref="S3.E3.m1.2.2.2.2.2.1.3">𝑇</ci></apply><apply id="S3.E3.m1.3.3.3.3.1.1.cmml" xref="S3.E3.m1.3.3.3.3.1.1"><times id="S3.E3.m1.3.3.3.3.1.1.3.cmml" xref="S3.E3.m1.3.3.3.3.1.1.3"></times><ci id="S3.E3.m1.3.3.3.3.1.1.4.cmml" xref="S3.E3.m1.3.3.3.3.1.1.4">𝑟</ci><interval closure="open" id="S3.E3.m1.3.3.3.3.1.1.2.2.cmml" xref="S3.E3.m1.3.3.3.3.1.1.2.1"><ci id="S3.E3.m1.3.3.3.3.1.1.1.cmml" xref="S3.E3.m1.3.3.3.3.1.1.1">𝑥</ci><apply id="S3.E3.m1.3.3.3.3.1.1.2.1.1.cmml" xref="S3.E3.m1.3.3.3.3.1.1.2.1.1"><csymbol cd="ambiguous" id="S3.E3.m1.3.3.3.3.1.1.2.1.1.1.cmml" xref="S3.E3.m1.3.3.3.3.1.1.2.1.1">subscript</csymbol><ci id="S3.E3.m1.3.3.3.3.1.1.2.1.1.2.cmml" xref="S3.E3.m1.3.3.3.3.1.1.2.1.1.2">𝑎</ci><apply id="S3.E3.m1.3.3.3.3.1.1.2.1.1.3.cmml" xref="S3.E3.m1.3.3.3.3.1.1.2.1.1.3"><ci id="S3.E3.m1.3.3.3.3.1.1.2.1.1.3.1.cmml" xref="S3.E3.m1.3.3.3.3.1.1.2.1.1.3.1">:</ci><cn type="integer" id="S3.E3.m1.3.3.3.3.1.1.2.1.1.3.2.cmml" xref="S3.E3.m1.3.3.3.3.1.1.2.1.1.3.2">1</cn><ci id="S3.E3.m1.3.3.3.3.1.1.2.1.1.3.3.cmml" xref="S3.E3.m1.3.3.3.3.1.1.2.1.1.3.3">𝑇</ci></apply></apply></interval></apply><ci id="S3.E3.m1.4.4.4.4.2.1.1a.cmml" xref="S3.E3.m1.4.4.4.4.2.1.3"><mtext id="S3.E3.m1.4.4.4.4.2.1.1.cmml" xref="S3.E3.m1.4.4.4.4.2.1.1">otherwise</mtext></ci></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="S3.E3.m1.6c">\displaystyle r(s_{t},a_{t})=\begin{cases}0&amp;\text{if }t\neq T\\
r(x,a_{1:T})&amp;\text{otherwise}.\end{cases}</annotation></semantics></math></td>
<td class="ltx_eqn_cell ltx_eqn_center_padright"></td>
<td rowspan="1" class="ltx_eqn_cell ltx_eqn_eqno ltx_align_middle ltx_align_right"><span class="ltx_tag ltx_tag_equation ltx_align_right">(3)</span></td>
</tr></tbody>
</table>
<p id="S3.SS1.p3.8" class="ltx_p">The transition function <math id="S3.SS1.p3.8.m1.1" class="ltx_Math" alttext="P" display="inline"><semantics id="S3.SS1.p3.8.m1.1a"><mi id="S3.SS1.p3.8.m1.1.1" xref="S3.SS1.p3.8.m1.1.1.cmml">P</mi><annotation-xml encoding="MathML-Content" id="S3.SS1.p3.8.m1.1b"><ci id="S3.SS1.p3.8.m1.1.1.cmml" xref="S3.SS1.p3.8.m1.1.1">𝑃</ci></annotation-xml><annotation encoding="application/x-tex" id="S3.SS1.p3.8.m1.1c">P</annotation></semantics></math> appends the current token to the history, shaping the subsequent state:</p>
<table id="A5.EGx5" class="ltx_equationgroup ltx_eqn_align ltx_eqn_table">

<tbody id="S3.E4"><tr class="ltx_equation ltx_eqn_row ltx_align_baseline">
<td class="ltx_eqn_cell ltx_eqn_center_padleft"></td>
<td class="ltx_td ltx_align_right ltx_eqn_cell"><math id="S3.E4.m1.5" class="ltx_math_unparsed" alttext="\displaystyle P(s_{t+1}|s_{t},a_{t})=\begin{cases}1&amp;\text{if }s_{t+1}=(*s_{t},a_{t})\\
0&amp;\text{otherwise}.\end{cases}" display="inline"><semantics id="S3.E4.m1.5a"><mrow id="S3.E4.m1.5.5"><mrow id="S3.E4.m1.5.5.1"><mi id="S3.E4.m1.5.5.1.3">P</mi><mo lspace="0em" rspace="0em" id="S3.E4.m1.5.5.1.2">​</mo><mrow id="S3.E4.m1.5.5.1.1.1"><mo stretchy="false" id="S3.E4.m1.5.5.1.1.1.2">(</mo><mrow id="S3.E4.m1.5.5.1.1.1.1"><msub id="S3.E4.m1.5.5.1.1.1.1.4"><mi id="S3.E4.m1.5.5.1.1.1.1.4.2">s</mi><mrow id="S3.E4.m1.5.5.1.1.1.1.4.3"><mi id="S3.E4.m1.5.5.1.1.1.1.4.3.2">t</mi><mo id="S3.E4.m1.5.5.1.1.1.1.4.3.1">+</mo><mn id="S3.E4.m1.5.5.1.1.1.1.4.3.3">1</mn></mrow></msub><mo fence="false" id="S3.E4.m1.5.5.1.1.1.1.3">|</mo><mrow id="S3.E4.m1.5.5.1.1.1.1.2.2"><msub id="S3.E4.m1.5.5.1.1.1.1.1.1.1"><mi id="S3.E4.m1.5.5.1.1.1.1.1.1.1.2">s</mi><mi id="S3.E4.m1.5.5.1.1.1.1.1.1.1.3">t</mi></msub><mo id="S3.E4.m1.5.5.1.1.1.1.2.2.3">,</mo><msub id="S3.E4.m1.5.5.1.1.1.1.2.2.2"><mi id="S3.E4.m1.5.5.1.1.1.1.2.2.2.2">a</mi><mi id="S3.E4.m1.5.5.1.1.1.1.2.2.2.3">t</mi></msub></mrow></mrow><mo stretchy="false" id="S3.E4.m1.5.5.1.1.1.3">)</mo></mrow></mrow><mo id="S3.E4.m1.5.5.2">=</mo><mrow id="S3.E4.m1.4.4a"><mo id="S3.E4.m1.4.4a.5">{</mo><mtable columnspacing="5pt" rowspacing="0pt" id="S3.E4.m1.4.4.4a"><mtr id="S3.E4.m1.4.4.4aa"><mtd class="ltx_align_left" columnalign="left" id="S3.E4.m1.4.4.4ab"><mn id="S3.E4.m1.1.1.1.1.1.1">1</mn></mtd><mtd class="ltx_align_left" columnalign="left" id="S3.E4.m1.4.4.4ac"><mrow id="S3.E4.m1.2.2.2.2.2.1"><mtext id="S3.E4.m1.2.2.2.2.2.1.1">if </mtext><msub id="S3.E4.m1.2.2.2.2.2.1.2"><mi id="S3.E4.m1.2.2.2.2.2.1.2.2">s</mi><mrow id="S3.E4.m1.2.2.2.2.2.1.2.3"><mi id="S3.E4.m1.2.2.2.2.2.1.2.3.2">t</mi><mo id="S3.E4.m1.2.2.2.2.2.1.2.3.1">+</mo><mn id="S3.E4.m1.2.2.2.2.2.1.2.3.3">1</mn></mrow></msub><mo id="S3.E4.m1.2.2.2.2.2.1.3">=</mo><mrow id="S3.E4.m1.2.2.2.2.2.1.4"><mo stretchy="false" id="S3.E4.m1.2.2.2.2.2.1.4.1">(</mo><mo lspace="0em" rspace="0.222em" id="S3.E4.m1.2.2.2.2.2.1.4.2">∗</mo><msub id="S3.E4.m1.2.2.2.2.2.1.4.3"><mi id="S3.E4.m1.2.2.2.2.2.1.4.3.2">s</mi><mi id="S3.E4.m1.2.2.2.2.2.1.4.3.3">t</mi></msub><mo id="S3.E4.m1.2.2.2.2.2.1.4.4">,</mo><msub id="S3.E4.m1.2.2.2.2.2.1.4.5"><mi id="S3.E4.m1.2.2.2.2.2.1.4.5.2">a</mi><mi id="S3.E4.m1.2.2.2.2.2.1.4.5.3">t</mi></msub><mo stretchy="false" id="S3.E4.m1.2.2.2.2.2.1.4.6">)</mo></mrow></mrow></mtd></mtr><mtr id="S3.E4.m1.4.4.4ad"><mtd class="ltx_align_left" columnalign="left" id="S3.E4.m1.4.4.4ae"><mn id="S3.E4.m1.3.3.3.3.1.1">0</mn></mtd><mtd class="ltx_align_left" columnalign="left" id="S3.E4.m1.4.4.4af"><mrow id="S3.E4.m1.4.4.4.4.2.1.3"><mtext id="S3.E4.m1.4.4.4.4.2.1.1">otherwise</mtext><mo lspace="0em" id="S3.E4.m1.4.4.4.4.2.1.3.1">.</mo></mrow></mtd></mtr></mtable></mrow></mrow><annotation encoding="application/x-tex" id="S3.E4.m1.5b">\displaystyle P(s_{t+1}|s_{t},a_{t})=\begin{cases}1&amp;\text{if }s_{t+1}=(*s_{t},a_{t})\\
0&amp;\text{otherwise}.\end{cases}</annotation></semantics></math></td>
<td class="ltx_eqn_cell ltx_eqn_center_padright"></td>
<td rowspan="1" class="ltx_eqn_cell ltx_eqn_eqno ltx_align_middle ltx_align_right"><span class="ltx_tag ltx_tag_equation ltx_align_right">(4)</span></td>
</tr></tbody>
</table>
<p id="S3.SS1.p3.10" class="ltx_p">Here, <math id="S3.SS1.p3.9.m1.1" class="ltx_Math" alttext="*s_{t}" display="inline"><semantics id="S3.SS1.p3.9.m1.1a"><mrow id="S3.SS1.p3.9.m1.1.1" xref="S3.SS1.p3.9.m1.1.1.cmml"><mi id="S3.SS1.p3.9.m1.1.1.2" xref="S3.SS1.p3.9.m1.1.1.2.cmml"></mi><mo lspace="0.222em" rspace="0.222em" id="S3.SS1.p3.9.m1.1.1.1" xref="S3.SS1.p3.9.m1.1.1.1.cmml">∗</mo><msub id="S3.SS1.p3.9.m1.1.1.3" xref="S3.SS1.p3.9.m1.1.1.3.cmml"><mi id="S3.SS1.p3.9.m1.1.1.3.2" xref="S3.SS1.p3.9.m1.1.1.3.2.cmml">s</mi><mi id="S3.SS1.p3.9.m1.1.1.3.3" xref="S3.SS1.p3.9.m1.1.1.3.3.cmml">t</mi></msub></mrow><annotation-xml encoding="MathML-Content" id="S3.SS1.p3.9.m1.1b"><apply id="S3.SS1.p3.9.m1.1.1.cmml" xref="S3.SS1.p3.9.m1.1.1"><times id="S3.SS1.p3.9.m1.1.1.1.cmml" xref="S3.SS1.p3.9.m1.1.1.1"></times><csymbol cd="latexml" id="S3.SS1.p3.9.m1.1.1.2.cmml" xref="S3.SS1.p3.9.m1.1.1.2">absent</csymbol><apply id="S3.SS1.p3.9.m1.1.1.3.cmml" xref="S3.SS1.p3.9.m1.1.1.3"><csymbol cd="ambiguous" id="S3.SS1.p3.9.m1.1.1.3.1.cmml" xref="S3.SS1.p3.9.m1.1.1.3">subscript</csymbol><ci id="S3.SS1.p3.9.m1.1.1.3.2.cmml" xref="S3.SS1.p3.9.m1.1.1.3.2">𝑠</ci><ci id="S3.SS1.p3.9.m1.1.1.3.3.cmml" xref="S3.SS1.p3.9.m1.1.1.3.3">𝑡</ci></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="S3.SS1.p3.9.m1.1c">*s_{t}</annotation></semantics></math> denotes the elements in tuple <math id="S3.SS1.p3.10.m2.1" class="ltx_Math" alttext="s_{t}" display="inline"><semantics id="S3.SS1.p3.10.m2.1a"><msub id="S3.SS1.p3.10.m2.1.1" xref="S3.SS1.p3.10.m2.1.1.cmml"><mi id="S3.SS1.p3.10.m2.1.1.2" xref="S3.SS1.p3.10.m2.1.1.2.cmml">s</mi><mi id="S3.SS1.p3.10.m2.1.1.3" xref="S3.SS1.p3.10.m2.1.1.3.cmml">t</mi></msub><annotation-xml encoding="MathML-Content" id="S3.SS1.p3.10.m2.1b"><apply id="S3.SS1.p3.10.m2.1.1.cmml" xref="S3.SS1.p3.10.m2.1.1"><csymbol cd="ambiguous" id="S3.SS1.p3.10.m2.1.1.1.cmml" xref="S3.SS1.p3.10.m2.1.1">subscript</csymbol><ci id="S3.SS1.p3.10.m2.1.1.2.cmml" xref="S3.SS1.p3.10.m2.1.1.2">𝑠</ci><ci id="S3.SS1.p3.10.m2.1.1.3.cmml" xref="S3.SS1.p3.10.m2.1.1.3">𝑡</ci></apply></annotation-xml><annotation encoding="application/x-tex" id="S3.SS1.p3.10.m2.1c">s_{t}</annotation></semantics></math>.
With the above formulation, any RL algorithm designed for problem (<a href="#S3.E2" title="Equation 2 ‣ 3.1 Reward Maximization as Sequential Decision-making Task ‣ 3 Problem Formulation ‣ ReMax: A Simple, Effective, and Efficient Reinforcement Learning Method for Aligning Large Language Models" class="ltx_ref"><span class="ltx_text ltx_ref_tag">2</span></a>) can equivalently solve problem (<a href="#S3.E1" title="Equation 1 ‣ 3 Problem Formulation ‣ ReMax: A Simple, Effective, and Efficient Reinforcement Learning Method for Aligning Large Language Models" class="ltx_ref"><span class="ltx_text ltx_ref_tag">1</span></a>).</p>
</div>
</section>
<section id="S3.SS2" class="ltx_subsection">
<h3 class="ltx_title ltx_title_subsection">
<span class="ltx_tag ltx_tag_subsection">3.2 </span>A Natural Solution to Problem (<a href="#S3.E2" title="Equation 2 ‣ 3.1 Reward Maximization as Sequential Decision-making Task ‣ 3 Problem Formulation ‣ ReMax: A Simple, Effective, and Efficient Reinforcement Learning Method for Aligning Large Language Models" class="ltx_ref"><span class="ltx_text ltx_ref_tag">2</span></a>): PPO</h3>

<div id="S3.SS2.p1" class="ltx_para">
<p id="S3.SS2.p1.9" class="ltx_p">Now we discuss how to solve problem (<a href="#S3.E2" title="Equation 2 ‣ 3.1 Reward Maximization as Sequential Decision-making Task ‣ 3 Problem Formulation ‣ ReMax: A Simple, Effective, and Efficient Reinforcement Learning Method for Aligning Large Language Models" class="ltx_ref"><span class="ltx_text ltx_ref_tag">2</span></a>). In the RL community, a natural choice of algorithm is Proximal Policy Optimization (PPO) <cite class="ltx_cite ltx_citemacro_citep">(Schulman et al., <a href="#bib.bib30" title="" class="ltx_ref">2017</a>)</cite>, which is designed to train agents in general environments with <em id="S3.SS2.p1.9.1" class="ltx_emph ltx_font_italic">stochastic</em> transitions and rewards. We will not get into all the details of PPO here. Instead, we will give a concise overview of PPO, which is enough for discussion. PPO uses a surrogate objective:</p>
<table id="A5.EGx6" class="ltx_equationgroup ltx_eqn_align ltx_eqn_table">

<tbody id="S3.E5"><tr class="ltx_equation ltx_eqn_row ltx_align_baseline">
<td class="ltx_eqn_cell ltx_eqn_center_padleft"></td>
<td class="ltx_td ltx_align_right ltx_eqn_cell"></td>
<td class="ltx_td ltx_align_left ltx_eqn_cell"><math id="S3.E5.m2.4" class="ltx_Math" alttext="\displaystyle L_{\operatorname{surr}}(\theta)=\mathbb{E}_{x\sim\rho}\mathbb{E}_{a_{1:T}\sim\pi_{\theta}^{\operatorname{old}}}\bigg{[}\sum_{t=1}^{T}A(s_{t},a_{t})\min\big{\{}\psi(s_{t},a_{t}),\operatorname{clip}\big{(}\psi(s_{t},a_{t}),1-\delta,1+\delta\big{)}\big{\}}\bigg{]}." display="inline"><semantics id="S3.E5.m2.4a"><mrow id="S3.E5.m2.4.4.1" xref="S3.E5.m2.4.4.1.1.cmml"><mrow id="S3.E5.m2.4.4.1.1" xref="S3.E5.m2.4.4.1.1.cmml"><mrow id="S3.E5.m2.4.4.1.1.3" xref="S3.E5.m2.4.4.1.1.3.cmml"><msub id="S3.E5.m2.4.4.1.1.3.2" xref="S3.E5.m2.4.4.1.1.3.2.cmml"><mi id="S3.E5.m2.4.4.1.1.3.2.2" xref="S3.E5.m2.4.4.1.1.3.2.2.cmml">L</mi><mi id="S3.E5.m2.4.4.1.1.3.2.3" xref="S3.E5.m2.4.4.1.1.3.2.3.cmml">surr</mi></msub><mo lspace="0em" rspace="0em" id="S3.E5.m2.4.4.1.1.3.1" xref="S3.E5.m2.4.4.1.1.3.1.cmml">​</mo><mrow id="S3.E5.m2.4.4.1.1.3.3.2" xref="S3.E5.m2.4.4.1.1.3.cmml"><mo stretchy="false" id="S3.E5.m2.4.4.1.1.3.3.2.1" xref="S3.E5.m2.4.4.1.1.3.cmml">(</mo><mi id="S3.E5.m2.1.1" xref="S3.E5.m2.1.1.cmml">θ</mi><mo stretchy="false" id="S3.E5.m2.4.4.1.1.3.3.2.2" xref="S3.E5.m2.4.4.1.1.3.cmml">)</mo></mrow></mrow><mo id="S3.E5.m2.4.4.1.1.2" xref="S3.E5.m2.4.4.1.1.2.cmml">=</mo><mrow id="S3.E5.m2.4.4.1.1.1" xref="S3.E5.m2.4.4.1.1.1.cmml"><msub id="S3.E5.m2.4.4.1.1.1.3" xref="S3.E5.m2.4.4.1.1.1.3.cmml"><mi id="S3.E5.m2.4.4.1.1.1.3.2" xref="S3.E5.m2.4.4.1.1.1.3.2.cmml">𝔼</mi><mrow id="S3.E5.m2.4.4.1.1.1.3.3" xref="S3.E5.m2.4.4.1.1.1.3.3.cmml"><mi id="S3.E5.m2.4.4.1.1.1.3.3.2" xref="S3.E5.m2.4.4.1.1.1.3.3.2.cmml">x</mi><mo id="S3.E5.m2.4.4.1.1.1.3.3.1" xref="S3.E5.m2.4.4.1.1.1.3.3.1.cmml">∼</mo><mi id="S3.E5.m2.4.4.1.1.1.3.3.3" xref="S3.E5.m2.4.4.1.1.1.3.3.3.cmml">ρ</mi></mrow></msub><mo lspace="0em" rspace="0em" id="S3.E5.m2.4.4.1.1.1.2" xref="S3.E5.m2.4.4.1.1.1.2.cmml">​</mo><msub id="S3.E5.m2.4.4.1.1.1.4" xref="S3.E5.m2.4.4.1.1.1.4.cmml"><mi id="S3.E5.m2.4.4.1.1.1.4.2" xref="S3.E5.m2.4.4.1.1.1.4.2.cmml">𝔼</mi><mrow id="S3.E5.m2.4.4.1.1.1.4.3" xref="S3.E5.m2.4.4.1.1.1.4.3.cmml"><msub id="S3.E5.m2.4.4.1.1.1.4.3.2" xref="S3.E5.m2.4.4.1.1.1.4.3.2.cmml"><mi id="S3.E5.m2.4.4.1.1.1.4.3.2.2" xref="S3.E5.m2.4.4.1.1.1.4.3.2.2.cmml">a</mi><mrow id="S3.E5.m2.4.4.1.1.1.4.3.2.3" xref="S3.E5.m2.4.4.1.1.1.4.3.2.3.cmml"><mn id="S3.E5.m2.4.4.1.1.1.4.3.2.3.2" xref="S3.E5.m2.4.4.1.1.1.4.3.2.3.2.cmml">1</mn><mo lspace="0.278em" rspace="0.278em" id="S3.E5.m2.4.4.1.1.1.4.3.2.3.1" xref="S3.E5.m2.4.4.1.1.1.4.3.2.3.1.cmml">:</mo><mi id="S3.E5.m2.4.4.1.1.1.4.3.2.3.3" xref="S3.E5.m2.4.4.1.1.1.4.3.2.3.3.cmml">T</mi></mrow></msub><mo id="S3.E5.m2.4.4.1.1.1.4.3.1" xref="S3.E5.m2.4.4.1.1.1.4.3.1.cmml">∼</mo><msubsup id="S3.E5.m2.4.4.1.1.1.4.3.3" xref="S3.E5.m2.4.4.1.1.1.4.3.3.cmml"><mi id="S3.E5.m2.4.4.1.1.1.4.3.3.2.2" xref="S3.E5.m2.4.4.1.1.1.4.3.3.2.2.cmml">π</mi><mi id="S3.E5.m2.4.4.1.1.1.4.3.3.2.3" xref="S3.E5.m2.4.4.1.1.1.4.3.3.2.3.cmml">θ</mi><mi id="S3.E5.m2.4.4.1.1.1.4.3.3.3" xref="S3.E5.m2.4.4.1.1.1.4.3.3.3.cmml">old</mi></msubsup></mrow></msub><mo lspace="0em" rspace="0em" id="S3.E5.m2.4.4.1.1.1.2a" xref="S3.E5.m2.4.4.1.1.1.2.cmml">​</mo><mrow id="S3.E5.m2.4.4.1.1.1.1.1" xref="S3.E5.m2.4.4.1.1.1.1.2.cmml"><mo maxsize="210%" minsize="210%" id="S3.E5.m2.4.4.1.1.1.1.1.2" xref="S3.E5.m2.4.4.1.1.1.1.2.1.cmml">[</mo><mrow id="S3.E5.m2.4.4.1.1.1.1.1.1" xref="S3.E5.m2.4.4.1.1.1.1.1.1.cmml"><mstyle displaystyle="true" id="S3.E5.m2.4.4.1.1.1.1.1.1.5" xref="S3.E5.m2.4.4.1.1.1.1.1.1.5.cmml"><munderover id="S3.E5.m2.4.4.1.1.1.1.1.1.5a" xref="S3.E5.m2.4.4.1.1.1.1.1.1.5.cmml"><mo movablelimits="false" id="S3.E5.m2.4.4.1.1.1.1.1.1.5.2.2" xref="S3.E5.m2.4.4.1.1.1.1.1.1.5.2.2.cmml">∑</mo><mrow id="S3.E5.m2.4.4.1.1.1.1.1.1.5.2.3" xref="S3.E5.m2.4.4.1.1.1.1.1.1.5.2.3.cmml"><mi id="S3.E5.m2.4.4.1.1.1.1.1.1.5.2.3.2" xref="S3.E5.m2.4.4.1.1.1.1.1.1.5.2.3.2.cmml">t</mi><mo id="S3.E5.m2.4.4.1.1.1.1.1.1.5.2.3.1" xref="S3.E5.m2.4.4.1.1.1.1.1.1.5.2.3.1.cmml">=</mo><mn id="S3.E5.m2.4.4.1.1.1.1.1.1.5.2.3.3" xref="S3.E5.m2.4.4.1.1.1.1.1.1.5.2.3.3.cmml">1</mn></mrow><mi id="S3.E5.m2.4.4.1.1.1.1.1.1.5.3" xref="S3.E5.m2.4.4.1.1.1.1.1.1.5.3.cmml">T</mi></munderover></mstyle><mrow id="S3.E5.m2.4.4.1.1.1.1.1.1.4" xref="S3.E5.m2.4.4.1.1.1.1.1.1.4.cmml"><mi id="S3.E5.m2.4.4.1.1.1.1.1.1.4.6" xref="S3.E5.m2.4.4.1.1.1.1.1.1.4.6.cmml">A</mi><mo lspace="0em" rspace="0em" id="S3.E5.m2.4.4.1.1.1.1.1.1.4.5" xref="S3.E5.m2.4.4.1.1.1.1.1.1.4.5.cmml">​</mo><mrow id="S3.E5.m2.4.4.1.1.1.1.1.1.2.2.2" xref="S3.E5.m2.4.4.1.1.1.1.1.1.2.2.3.cmml"><mo stretchy="false" id="S3.E5.m2.4.4.1.1.1.1.1.1.2.2.2.3" xref="S3.E5.m2.4.4.1.1.1.1.1.1.2.2.3.cmml">(</mo><msub id="S3.E5.m2.4.4.1.1.1.1.1.1.1.1.1.1" xref="S3.E5.m2.4.4.1.1.1.1.1.1.1.1.1.1.cmml"><mi id="S3.E5.m2.4.4.1.1.1.1.1.1.1.1.1.1.2" xref="S3.E5.m2.4.4.1.1.1.1.1.1.1.1.1.1.2.cmml">s</mi><mi id="S3.E5.m2.4.4.1.1.1.1.1.1.1.1.1.1.3" xref="S3.E5.m2.4.4.1.1.1.1.1.1.1.1.1.1.3.cmml">t</mi></msub><mo id="S3.E5.m2.4.4.1.1.1.1.1.1.2.2.2.4" xref="S3.E5.m2.4.4.1.1.1.1.1.1.2.2.3.cmml">,</mo><msub id="S3.E5.m2.4.4.1.1.1.1.1.1.2.2.2.2" xref="S3.E5.m2.4.4.1.1.1.1.1.1.2.2.2.2.cmml"><mi id="S3.E5.m2.4.4.1.1.1.1.1.1.2.2.2.2.2" xref="S3.E5.m2.4.4.1.1.1.1.1.1.2.2.2.2.2.cmml">a</mi><mi id="S3.E5.m2.4.4.1.1.1.1.1.1.2.2.2.2.3" xref="S3.E5.m2.4.4.1.1.1.1.1.1.2.2.2.2.3.cmml">t</mi></msub><mo stretchy="false" id="S3.E5.m2.4.4.1.1.1.1.1.1.2.2.2.5" xref="S3.E5.m2.4.4.1.1.1.1.1.1.2.2.3.cmml">)</mo></mrow><mo lspace="0.167em" rspace="0em" id="S3.E5.m2.4.4.1.1.1.1.1.1.4.5a" xref="S3.E5.m2.4.4.1.1.1.1.1.1.4.5.cmml">​</mo><mrow id="S3.E5.m2.4.4.1.1.1.1.1.1.4.4.2" xref="S3.E5.m2.4.4.1.1.1.1.1.1.4.4.3.cmml"><mi id="S3.E5.m2.3.3" xref="S3.E5.m2.3.3.cmml">min</mi><mo id="S3.E5.m2.4.4.1.1.1.1.1.1.4.4.2a" xref="S3.E5.m2.4.4.1.1.1.1.1.1.4.4.3.cmml">⁡</mo><mrow id="S3.E5.m2.4.4.1.1.1.1.1.1.4.4.2.2" xref="S3.E5.m2.4.4.1.1.1.1.1.1.4.4.3.cmml"><mo maxsize="120%" minsize="120%" id="S3.E5.m2.4.4.1.1.1.1.1.1.4.4.2.2.3" xref="S3.E5.m2.4.4.1.1.1.1.1.1.4.4.3.cmml">{</mo><mrow id="S3.E5.m2.4.4.1.1.1.1.1.1.3.3.1.1.1" xref="S3.E5.m2.4.4.1.1.1.1.1.1.3.3.1.1.1.cmml"><mi id="S3.E5.m2.4.4.1.1.1.1.1.1.3.3.1.1.1.4" xref="S3.E5.m2.4.4.1.1.1.1.1.1.3.3.1.1.1.4.cmml">ψ</mi><mo lspace="0em" rspace="0em" id="S3.E5.m2.4.4.1.1.1.1.1.1.3.3.1.1.1.3" xref="S3.E5.m2.4.4.1.1.1.1.1.1.3.3.1.1.1.3.cmml">​</mo><mrow id="S3.E5.m2.4.4.1.1.1.1.1.1.3.3.1.1.1.2.2" xref="S3.E5.m2.4.4.1.1.1.1.1.1.3.3.1.1.1.2.3.cmml"><mo stretchy="false" id="S3.E5.m2.4.4.1.1.1.1.1.1.3.3.1.1.1.2.2.3" xref="S3.E5.m2.4.4.1.1.1.1.1.1.3.3.1.1.1.2.3.cmml">(</mo><msub id="S3.E5.m2.4.4.1.1.1.1.1.1.3.3.1.1.1.1.1.1" xref="S3.E5.m2.4.4.1.1.1.1.1.1.3.3.1.1.1.1.1.1.cmml"><mi id="S3.E5.m2.4.4.1.1.1.1.1.1.3.3.1.1.1.1.1.1.2" xref="S3.E5.m2.4.4.1.1.1.1.1.1.3.3.1.1.1.1.1.1.2.cmml">s</mi><mi id="S3.E5.m2.4.4.1.1.1.1.1.1.3.3.1.1.1.1.1.1.3" xref="S3.E5.m2.4.4.1.1.1.1.1.1.3.3.1.1.1.1.1.1.3.cmml">t</mi></msub><mo id="S3.E5.m2.4.4.1.1.1.1.1.1.3.3.1.1.1.2.2.4" xref="S3.E5.m2.4.4.1.1.1.1.1.1.3.3.1.1.1.2.3.cmml">,</mo><msub id="S3.E5.m2.4.4.1.1.1.1.1.1.3.3.1.1.1.2.2.2" xref="S3.E5.m2.4.4.1.1.1.1.1.1.3.3.1.1.1.2.2.2.cmml"><mi id="S3.E5.m2.4.4.1.1.1.1.1.1.3.3.1.1.1.2.2.2.2" xref="S3.E5.m2.4.4.1.1.1.1.1.1.3.3.1.1.1.2.2.2.2.cmml">a</mi><mi id="S3.E5.m2.4.4.1.1.1.1.1.1.3.3.1.1.1.2.2.2.3" xref="S3.E5.m2.4.4.1.1.1.1.1.1.3.3.1.1.1.2.2.2.3.cmml">t</mi></msub><mo stretchy="false" id="S3.E5.m2.4.4.1.1.1.1.1.1.3.3.1.1.1.2.2.5" xref="S3.E5.m2.4.4.1.1.1.1.1.1.3.3.1.1.1.2.3.cmml">)</mo></mrow></mrow><mo id="S3.E5.m2.4.4.1.1.1.1.1.1.4.4.2.2.4" xref="S3.E5.m2.4.4.1.1.1.1.1.1.4.4.3.cmml">,</mo><mrow id="S3.E5.m2.4.4.1.1.1.1.1.1.4.4.2.2.2.3" xref="S3.E5.m2.4.4.1.1.1.1.1.1.4.4.2.2.2.4.cmml"><mi id="S3.E5.m2.2.2" xref="S3.E5.m2.2.2.cmml">clip</mi><mo id="S3.E5.m2.4.4.1.1.1.1.1.1.4.4.2.2.2.3a" xref="S3.E5.m2.4.4.1.1.1.1.1.1.4.4.2.2.2.4.cmml">⁡</mo><mrow id="S3.E5.m2.4.4.1.1.1.1.1.1.4.4.2.2.2.3.3" xref="S3.E5.m2.4.4.1.1.1.1.1.1.4.4.2.2.2.4.cmml"><mo maxsize="120%" minsize="120%" id="S3.E5.m2.4.4.1.1.1.1.1.1.4.4.2.2.2.3.3.4" xref="S3.E5.m2.4.4.1.1.1.1.1.1.4.4.2.2.2.4.cmml">(</mo><mrow id="S3.E5.m2.4.4.1.1.1.1.1.1.4.4.2.2.2.1.1.1" xref="S3.E5.m2.4.4.1.1.1.1.1.1.4.4.2.2.2.1.1.1.cmml"><mi id="S3.E5.m2.4.4.1.1.1.1.1.1.4.4.2.2.2.1.1.1.4" xref="S3.E5.m2.4.4.1.1.1.1.1.1.4.4.2.2.2.1.1.1.4.cmml">ψ</mi><mo lspace="0em" rspace="0em" id="S3.E5.m2.4.4.1.1.1.1.1.1.4.4.2.2.2.1.1.1.3" xref="S3.E5.m2.4.4.1.1.1.1.1.1.4.4.2.2.2.1.1.1.3.cmml">​</mo><mrow id="S3.E5.m2.4.4.1.1.1.1.1.1.4.4.2.2.2.1.1.1.2.2" xref="S3.E5.m2.4.4.1.1.1.1.1.1.4.4.2.2.2.1.1.1.2.3.cmml"><mo stretchy="false" id="S3.E5.m2.4.4.1.1.1.1.1.1.4.4.2.2.2.1.1.1.2.2.3" xref="S3.E5.m2.4.4.1.1.1.1.1.1.4.4.2.2.2.1.1.1.2.3.cmml">(</mo><msub id="S3.E5.m2.4.4.1.1.1.1.1.1.4.4.2.2.2.1.1.1.1.1.1" xref="S3.E5.m2.4.4.1.1.1.1.1.1.4.4.2.2.2.1.1.1.1.1.1.cmml"><mi id="S3.E5.m2.4.4.1.1.1.1.1.1.4.4.2.2.2.1.1.1.1.1.1.2" xref="S3.E5.m2.4.4.1.1.1.1.1.1.4.4.2.2.2.1.1.1.1.1.1.2.cmml">s</mi><mi id="S3.E5.m2.4.4.1.1.1.1.1.1.4.4.2.2.2.1.1.1.1.1.1.3" xref="S3.E5.m2.4.4.1.1.1.1.1.1.4.4.2.2.2.1.1.1.1.1.1.3.cmml">t</mi></msub><mo id="S3.E5.m2.4.4.1.1.1.1.1.1.4.4.2.2.2.1.1.1.2.2.4" xref="S3.E5.m2.4.4.1.1.1.1.1.1.4.4.2.2.2.1.1.1.2.3.cmml">,</mo><msub id="S3.E5.m2.4.4.1.1.1.1.1.1.4.4.2.2.2.1.1.1.2.2.2" xref="S3.E5.m2.4.4.1.1.1.1.1.1.4.4.2.2.2.1.1.1.2.2.2.cmml"><mi id="S3.E5.m2.4.4.1.1.1.1.1.1.4.4.2.2.2.1.1.1.2.2.2.2" xref="S3.E5.m2.4.4.1.1.1.1.1.1.4.4.2.2.2.1.1.1.2.2.2.2.cmml">a</mi><mi id="S3.E5.m2.4.4.1.1.1.1.1.1.4.4.2.2.2.1.1.1.2.2.2.3" xref="S3.E5.m2.4.4.1.1.1.1.1.1.4.4.2.2.2.1.1.1.2.2.2.3.cmml">t</mi></msub><mo stretchy="false" id="S3.E5.m2.4.4.1.1.1.1.1.1.4.4.2.2.2.1.1.1.2.2.5" xref="S3.E5.m2.4.4.1.1.1.1.1.1.4.4.2.2.2.1.1.1.2.3.cmml">)</mo></mrow></mrow><mo id="S3.E5.m2.4.4.1.1.1.1.1.1.4.4.2.2.2.3.3.5" xref="S3.E5.m2.4.4.1.1.1.1.1.1.4.4.2.2.2.4.cmml">,</mo><mrow id="S3.E5.m2.4.4.1.1.1.1.1.1.4.4.2.2.2.2.2.2" xref="S3.E5.m2.4.4.1.1.1.1.1.1.4.4.2.2.2.2.2.2.cmml"><mn id="S3.E5.m2.4.4.1.1.1.1.1.1.4.4.2.2.2.2.2.2.2" xref="S3.E5.m2.4.4.1.1.1.1.1.1.4.4.2.2.2.2.2.2.2.cmml">1</mn><mo id="S3.E5.m2.4.4.1.1.1.1.1.1.4.4.2.2.2.2.2.2.1" xref="S3.E5.m2.4.4.1.1.1.1.1.1.4.4.2.2.2.2.2.2.1.cmml">−</mo><mi id="S3.E5.m2.4.4.1.1.1.1.1.1.4.4.2.2.2.2.2.2.3" xref="S3.E5.m2.4.4.1.1.1.1.1.1.4.4.2.2.2.2.2.2.3.cmml">δ</mi></mrow><mo id="S3.E5.m2.4.4.1.1.1.1.1.1.4.4.2.2.2.3.3.6" xref="S3.E5.m2.4.4.1.1.1.1.1.1.4.4.2.2.2.4.cmml">,</mo><mrow id="S3.E5.m2.4.4.1.1.1.1.1.1.4.4.2.2.2.3.3.3" xref="S3.E5.m2.4.4.1.1.1.1.1.1.4.4.2.2.2.3.3.3.cmml"><mn id="S3.E5.m2.4.4.1.1.1.1.1.1.4.4.2.2.2.3.3.3.2" xref="S3.E5.m2.4.4.1.1.1.1.1.1.4.4.2.2.2.3.3.3.2.cmml">1</mn><mo id="S3.E5.m2.4.4.1.1.1.1.1.1.4.4.2.2.2.3.3.3.1" xref="S3.E5.m2.4.4.1.1.1.1.1.1.4.4.2.2.2.3.3.3.1.cmml">+</mo><mi id="S3.E5.m2.4.4.1.1.1.1.1.1.4.4.2.2.2.3.3.3.3" xref="S3.E5.m2.4.4.1.1.1.1.1.1.4.4.2.2.2.3.3.3.3.cmml">δ</mi></mrow><mo maxsize="120%" minsize="120%" id="S3.E5.m2.4.4.1.1.1.1.1.1.4.4.2.2.2.3.3.7" xref="S3.E5.m2.4.4.1.1.1.1.1.1.4.4.2.2.2.4.cmml">)</mo></mrow></mrow><mo maxsize="120%" minsize="120%" id="S3.E5.m2.4.4.1.1.1.1.1.1.4.4.2.2.5" xref="S3.E5.m2.4.4.1.1.1.1.1.1.4.4.3.cmml">}</mo></mrow></mrow></mrow></mrow><mo maxsize="210%" minsize="210%" id="S3.E5.m2.4.4.1.1.1.1.1.3" xref="S3.E5.m2.4.4.1.1.1.1.2.1.cmml">]</mo></mrow></mrow></mrow><mo lspace="0em" id="S3.E5.m2.4.4.1.2" xref="S3.E5.m2.4.4.1.1.cmml">.</mo></mrow><annotation-xml encoding="MathML-Content" id="S3.E5.m2.4b"><apply id="S3.E5.m2.4.4.1.1.cmml" xref="S3.E5.m2.4.4.1"><eq id="S3.E5.m2.4.4.1.1.2.cmml" xref="S3.E5.m2.4.4.1.1.2"></eq><apply id="S3.E5.m2.4.4.1.1.3.cmml" xref="S3.E5.m2.4.4.1.1.3"><times id="S3.E5.m2.4.4.1.1.3.1.cmml" xref="S3.E5.m2.4.4.1.1.3.1"></times><apply id="S3.E5.m2.4.4.1.1.3.2.cmml" xref="S3.E5.m2.4.4.1.1.3.2"><csymbol cd="ambiguous" id="S3.E5.m2.4.4.1.1.3.2.1.cmml" xref="S3.E5.m2.4.4.1.1.3.2">subscript</csymbol><ci id="S3.E5.m2.4.4.1.1.3.2.2.cmml" xref="S3.E5.m2.4.4.1.1.3.2.2">𝐿</ci><ci id="S3.E5.m2.4.4.1.1.3.2.3.cmml" xref="S3.E5.m2.4.4.1.1.3.2.3">surr</ci></apply><ci id="S3.E5.m2.1.1.cmml" xref="S3.E5.m2.1.1">𝜃</ci></apply><apply id="S3.E5.m2.4.4.1.1.1.cmml" xref="S3.E5.m2.4.4.1.1.1"><times id="S3.E5.m2.4.4.1.1.1.2.cmml" xref="S3.E5.m2.4.4.1.1.1.2"></times><apply id="S3.E5.m2.4.4.1.1.1.3.cmml" xref="S3.E5.m2.4.4.1.1.1.3"><csymbol cd="ambiguous" id="S3.E5.m2.4.4.1.1.1.3.1.cmml" xref="S3.E5.m2.4.4.1.1.1.3">subscript</csymbol><ci id="S3.E5.m2.4.4.1.1.1.3.2.cmml" xref="S3.E5.m2.4.4.1.1.1.3.2">𝔼</ci><apply id="S3.E5.m2.4.4.1.1.1.3.3.cmml" xref="S3.E5.m2.4.4.1.1.1.3.3"><csymbol cd="latexml" id="S3.E5.m2.4.4.1.1.1.3.3.1.cmml" xref="S3.E5.m2.4.4.1.1.1.3.3.1">similar-to</csymbol><ci id="S3.E5.m2.4.4.1.1.1.3.3.2.cmml" xref="S3.E5.m2.4.4.1.1.1.3.3.2">𝑥</ci><ci id="S3.E5.m2.4.4.1.1.1.3.3.3.cmml" xref="S3.E5.m2.4.4.1.1.1.3.3.3">𝜌</ci></apply></apply><apply id="S3.E5.m2.4.4.1.1.1.4.cmml" xref="S3.E5.m2.4.4.1.1.1.4"><csymbol cd="ambiguous" id="S3.E5.m2.4.4.1.1.1.4.1.cmml" xref="S3.E5.m2.4.4.1.1.1.4">subscript</csymbol><ci id="S3.E5.m2.4.4.1.1.1.4.2.cmml" xref="S3.E5.m2.4.4.1.1.1.4.2">𝔼</ci><apply id="S3.E5.m2.4.4.1.1.1.4.3.cmml" xref="S3.E5.m2.4.4.1.1.1.4.3"><csymbol cd="latexml" id="S3.E5.m2.4.4.1.1.1.4.3.1.cmml" xref="S3.E5.m2.4.4.1.1.1.4.3.1">similar-to</csymbol><apply id="S3.E5.m2.4.4.1.1.1.4.3.2.cmml" xref="S3.E5.m2.4.4.1.1.1.4.3.2"><csymbol cd="ambiguous" id="S3.E5.m2.4.4.1.1.1.4.3.2.1.cmml" xref="S3.E5.m2.4.4.1.1.1.4.3.2">subscript</csymbol><ci id="S3.E5.m2.4.4.1.1.1.4.3.2.2.cmml" xref="S3.E5.m2.4.4.1.1.1.4.3.2.2">𝑎</ci><apply id="S3.E5.m2.4.4.1.1.1.4.3.2.3.cmml" xref="S3.E5.m2.4.4.1.1.1.4.3.2.3"><ci id="S3.E5.m2.4.4.1.1.1.4.3.2.3.1.cmml" xref="S3.E5.m2.4.4.1.1.1.4.3.2.3.1">:</ci><cn type="integer" id="S3.E5.m2.4.4.1.1.1.4.3.2.3.2.cmml" xref="S3.E5.m2.4.4.1.1.1.4.3.2.3.2">1</cn><ci id="S3.E5.m2.4.4.1.1.1.4.3.2.3.3.cmml" xref="S3.E5.m2.4.4.1.1.1.4.3.2.3.3">𝑇</ci></apply></apply><apply id="S3.E5.m2.4.4.1.1.1.4.3.3.cmml" xref="S3.E5.m2.4.4.1.1.1.4.3.3"><csymbol cd="ambiguous" id="S3.E5.m2.4.4.1.1.1.4.3.3.1.cmml" xref="S3.E5.m2.4.4.1.1.1.4.3.3">superscript</csymbol><apply id="S3.E5.m2.4.4.1.1.1.4.3.3.2.cmml" xref="S3.E5.m2.4.4.1.1.1.4.3.3"><csymbol cd="ambiguous" id="S3.E5.m2.4.4.1.1.1.4.3.3.2.1.cmml" xref="S3.E5.m2.4.4.1.1.1.4.3.3">subscript</csymbol><ci id="S3.E5.m2.4.4.1.1.1.4.3.3.2.2.cmml" xref="S3.E5.m2.4.4.1.1.1.4.3.3.2.2">𝜋</ci><ci id="S3.E5.m2.4.4.1.1.1.4.3.3.2.3.cmml" xref="S3.E5.m2.4.4.1.1.1.4.3.3.2.3">𝜃</ci></apply><ci id="S3.E5.m2.4.4.1.1.1.4.3.3.3.cmml" xref="S3.E5.m2.4.4.1.1.1.4.3.3.3">old</ci></apply></apply></apply><apply id="S3.E5.m2.4.4.1.1.1.1.2.cmml" xref="S3.E5.m2.4.4.1.1.1.1.1"><csymbol cd="latexml" id="S3.E5.m2.4.4.1.1.1.1.2.1.cmml" xref="S3.E5.m2.4.4.1.1.1.1.1.2">delimited-[]</csymbol><apply id="S3.E5.m2.4.4.1.1.1.1.1.1.cmml" xref="S3.E5.m2.4.4.1.1.1.1.1.1"><apply id="S3.E5.m2.4.4.1.1.1.1.1.1.5.cmml" xref="S3.E5.m2.4.4.1.1.1.1.1.1.5"><csymbol cd="ambiguous" id="S3.E5.m2.4.4.1.1.1.1.1.1.5.1.cmml" xref="S3.E5.m2.4.4.1.1.1.1.1.1.5">superscript</csymbol><apply id="S3.E5.m2.4.4.1.1.1.1.1.1.5.2.cmml" xref="S3.E5.m2.4.4.1.1.1.1.1.1.5"><csymbol cd="ambiguous" id="S3.E5.m2.4.4.1.1.1.1.1.1.5.2.1.cmml" xref="S3.E5.m2.4.4.1.1.1.1.1.1.5">subscript</csymbol><sum id="S3.E5.m2.4.4.1.1.1.1.1.1.5.2.2.cmml" xref="S3.E5.m2.4.4.1.1.1.1.1.1.5.2.2"></sum><apply id="S3.E5.m2.4.4.1.1.1.1.1.1.5.2.3.cmml" xref="S3.E5.m2.4.4.1.1.1.1.1.1.5.2.3"><eq id="S3.E5.m2.4.4.1.1.1.1.1.1.5.2.3.1.cmml" xref="S3.E5.m2.4.4.1.1.1.1.1.1.5.2.3.1"></eq><ci id="S3.E5.m2.4.4.1.1.1.1.1.1.5.2.3.2.cmml" xref="S3.E5.m2.4.4.1.1.1.1.1.1.5.2.3.2">𝑡</ci><cn type="integer" id="S3.E5.m2.4.4.1.1.1.1.1.1.5.2.3.3.cmml" xref="S3.E5.m2.4.4.1.1.1.1.1.1.5.2.3.3">1</cn></apply></apply><ci id="S3.E5.m2.4.4.1.1.1.1.1.1.5.3.cmml" xref="S3.E5.m2.4.4.1.1.1.1.1.1.5.3">𝑇</ci></apply><apply id="S3.E5.m2.4.4.1.1.1.1.1.1.4.cmml" xref="S3.E5.m2.4.4.1.1.1.1.1.1.4"><times id="S3.E5.m2.4.4.1.1.1.1.1.1.4.5.cmml" xref="S3.E5.m2.4.4.1.1.1.1.1.1.4.5"></times><ci id="S3.E5.m2.4.4.1.1.1.1.1.1.4.6.cmml" xref="S3.E5.m2.4.4.1.1.1.1.1.1.4.6">𝐴</ci><interval closure="open" id="S3.E5.m2.4.4.1.1.1.1.1.1.2.2.3.cmml" xref="S3.E5.m2.4.4.1.1.1.1.1.1.2.2.2"><apply id="S3.E5.m2.4.4.1.1.1.1.1.1.1.1.1.1.cmml" xref="S3.E5.m2.4.4.1.1.1.1.1.1.1.1.1.1"><csymbol cd="ambiguous" id="S3.E5.m2.4.4.1.1.1.1.1.1.1.1.1.1.1.cmml" xref="S3.E5.m2.4.4.1.1.1.1.1.1.1.1.1.1">subscript</csymbol><ci id="S3.E5.m2.4.4.1.1.1.1.1.1.1.1.1.1.2.cmml" xref="S3.E5.m2.4.4.1.1.1.1.1.1.1.1.1.1.2">𝑠</ci><ci id="S3.E5.m2.4.4.1.1.1.1.1.1.1.1.1.1.3.cmml" xref="S3.E5.m2.4.4.1.1.1.1.1.1.1.1.1.1.3">𝑡</ci></apply><apply id="S3.E5.m2.4.4.1.1.1.1.1.1.2.2.2.2.cmml" xref="S3.E5.m2.4.4.1.1.1.1.1.1.2.2.2.2"><csymbol cd="ambiguous" id="S3.E5.m2.4.4.1.1.1.1.1.1.2.2.2.2.1.cmml" xref="S3.E5.m2.4.4.1.1.1.1.1.1.2.2.2.2">subscript</csymbol><ci id="S3.E5.m2.4.4.1.1.1.1.1.1.2.2.2.2.2.cmml" xref="S3.E5.m2.4.4.1.1.1.1.1.1.2.2.2.2.2">𝑎</ci><ci id="S3.E5.m2.4.4.1.1.1.1.1.1.2.2.2.2.3.cmml" xref="S3.E5.m2.4.4.1.1.1.1.1.1.2.2.2.2.3">𝑡</ci></apply></interval><apply id="S3.E5.m2.4.4.1.1.1.1.1.1.4.4.3.cmml" xref="S3.E5.m2.4.4.1.1.1.1.1.1.4.4.2"><min id="S3.E5.m2.3.3.cmml" xref="S3.E5.m2.3.3"></min><apply id="S3.E5.m2.4.4.1.1.1.1.1.1.3.3.1.1.1.cmml" xref="S3.E5.m2.4.4.1.1.1.1.1.1.3.3.1.1.1"><times id="S3.E5.m2.4.4.1.1.1.1.1.1.3.3.1.1.1.3.cmml" xref="S3.E5.m2.4.4.1.1.1.1.1.1.3.3.1.1.1.3"></times><ci id="S3.E5.m2.4.4.1.1.1.1.1.1.3.3.1.1.1.4.cmml" xref="S3.E5.m2.4.4.1.1.1.1.1.1.3.3.1.1.1.4">𝜓</ci><interval closure="open" id="S3.E5.m2.4.4.1.1.1.1.1.1.3.3.1.1.1.2.3.cmml" xref="S3.E5.m2.4.4.1.1.1.1.1.1.3.3.1.1.1.2.2"><apply id="S3.E5.m2.4.4.1.1.1.1.1.1.3.3.1.1.1.1.1.1.cmml" xref="S3.E5.m2.4.4.1.1.1.1.1.1.3.3.1.1.1.1.1.1"><csymbol cd="ambiguous" id="S3.E5.m2.4.4.1.1.1.1.1.1.3.3.1.1.1.1.1.1.1.cmml" xref="S3.E5.m2.4.4.1.1.1.1.1.1.3.3.1.1.1.1.1.1">subscript</csymbol><ci id="S3.E5.m2.4.4.1.1.1.1.1.1.3.3.1.1.1.1.1.1.2.cmml" xref="S3.E5.m2.4.4.1.1.1.1.1.1.3.3.1.1.1.1.1.1.2">𝑠</ci><ci id="S3.E5.m2.4.4.1.1.1.1.1.1.3.3.1.1.1.1.1.1.3.cmml" xref="S3.E5.m2.4.4.1.1.1.1.1.1.3.3.1.1.1.1.1.1.3">𝑡</ci></apply><apply id="S3.E5.m2.4.4.1.1.1.1.1.1.3.3.1.1.1.2.2.2.cmml" xref="S3.E5.m2.4.4.1.1.1.1.1.1.3.3.1.1.1.2.2.2"><csymbol cd="ambiguous" id="S3.E5.m2.4.4.1.1.1.1.1.1.3.3.1.1.1.2.2.2.1.cmml" xref="S3.E5.m2.4.4.1.1.1.1.1.1.3.3.1.1.1.2.2.2">subscript</csymbol><ci id="S3.E5.m2.4.4.1.1.1.1.1.1.3.3.1.1.1.2.2.2.2.cmml" xref="S3.E5.m2.4.4.1.1.1.1.1.1.3.3.1.1.1.2.2.2.2">𝑎</ci><ci id="S3.E5.m2.4.4.1.1.1.1.1.1.3.3.1.1.1.2.2.2.3.cmml" xref="S3.E5.m2.4.4.1.1.1.1.1.1.3.3.1.1.1.2.2.2.3">𝑡</ci></apply></interval></apply><apply id="S3.E5.m2.4.4.1.1.1.1.1.1.4.4.2.2.2.4.cmml" xref="S3.E5.m2.4.4.1.1.1.1.1.1.4.4.2.2.2.3"><ci id="S3.E5.m2.2.2.cmml" xref="S3.E5.m2.2.2">clip</ci><apply id="S3.E5.m2.4.4.1.1.1.1.1.1.4.4.2.2.2.1.1.1.cmml" xref="S3.E5.m2.4.4.1.1.1.1.1.1.4.4.2.2.2.1.1.1"><times id="S3.E5.m2.4.4.1.1.1.1.1.1.4.4.2.2.2.1.1.1.3.cmml" xref="S3.E5.m2.4.4.1.1.1.1.1.1.4.4.2.2.2.1.1.1.3"></times><ci id="S3.E5.m2.4.4.1.1.1.1.1.1.4.4.2.2.2.1.1.1.4.cmml" xref="S3.E5.m2.4.4.1.1.1.1.1.1.4.4.2.2.2.1.1.1.4">𝜓</ci><interval closure="open" id="S3.E5.m2.4.4.1.1.1.1.1.1.4.4.2.2.2.1.1.1.2.3.cmml" xref="S3.E5.m2.4.4.1.1.1.1.1.1.4.4.2.2.2.1.1.1.2.2"><apply id="S3.E5.m2.4.4.1.1.1.1.1.1.4.4.2.2.2.1.1.1.1.1.1.cmml" xref="S3.E5.m2.4.4.1.1.1.1.1.1.4.4.2.2.2.1.1.1.1.1.1"><csymbol cd="ambiguous" id="S3.E5.m2.4.4.1.1.1.1.1.1.4.4.2.2.2.1.1.1.1.1.1.1.cmml" xref="S3.E5.m2.4.4.1.1.1.1.1.1.4.4.2.2.2.1.1.1.1.1.1">subscript</csymbol><ci id="S3.E5.m2.4.4.1.1.1.1.1.1.4.4.2.2.2.1.1.1.1.1.1.2.cmml" xref="S3.E5.m2.4.4.1.1.1.1.1.1.4.4.2.2.2.1.1.1.1.1.1.2">𝑠</ci><ci id="S3.E5.m2.4.4.1.1.1.1.1.1.4.4.2.2.2.1.1.1.1.1.1.3.cmml" xref="S3.E5.m2.4.4.1.1.1.1.1.1.4.4.2.2.2.1.1.1.1.1.1.3">𝑡</ci></apply><apply id="S3.E5.m2.4.4.1.1.1.1.1.1.4.4.2.2.2.1.1.1.2.2.2.cmml" xref="S3.E5.m2.4.4.1.1.1.1.1.1.4.4.2.2.2.1.1.1.2.2.2"><csymbol cd="ambiguous" id="S3.E5.m2.4.4.1.1.1.1.1.1.4.4.2.2.2.1.1.1.2.2.2.1.cmml" xref="S3.E5.m2.4.4.1.1.1.1.1.1.4.4.2.2.2.1.1.1.2.2.2">subscript</csymbol><ci id="S3.E5.m2.4.4.1.1.1.1.1.1.4.4.2.2.2.1.1.1.2.2.2.2.cmml" xref="S3.E5.m2.4.4.1.1.1.1.1.1.4.4.2.2.2.1.1.1.2.2.2.2">𝑎</ci><ci id="S3.E5.m2.4.4.1.1.1.1.1.1.4.4.2.2.2.1.1.1.2.2.2.3.cmml" xref="S3.E5.m2.4.4.1.1.1.1.1.1.4.4.2.2.2.1.1.1.2.2.2.3">𝑡</ci></apply></interval></apply><apply id="S3.E5.m2.4.4.1.1.1.1.1.1.4.4.2.2.2.2.2.2.cmml" xref="S3.E5.m2.4.4.1.1.1.1.1.1.4.4.2.2.2.2.2.2"><minus id="S3.E5.m2.4.4.1.1.1.1.1.1.4.4.2.2.2.2.2.2.1.cmml" xref="S3.E5.m2.4.4.1.1.1.1.1.1.4.4.2.2.2.2.2.2.1"></minus><cn type="integer" id="S3.E5.m2.4.4.1.1.1.1.1.1.4.4.2.2.2.2.2.2.2.cmml" xref="S3.E5.m2.4.4.1.1.1.1.1.1.4.4.2.2.2.2.2.2.2">1</cn><ci id="S3.E5.m2.4.4.1.1.1.1.1.1.4.4.2.2.2.2.2.2.3.cmml" xref="S3.E5.m2.4.4.1.1.1.1.1.1.4.4.2.2.2.2.2.2.3">𝛿</ci></apply><apply id="S3.E5.m2.4.4.1.1.1.1.1.1.4.4.2.2.2.3.3.3.cmml" xref="S3.E5.m2.4.4.1.1.1.1.1.1.4.4.2.2.2.3.3.3"><plus id="S3.E5.m2.4.4.1.1.1.1.1.1.4.4.2.2.2.3.3.3.1.cmml" xref="S3.E5.m2.4.4.1.1.1.1.1.1.4.4.2.2.2.3.3.3.1"></plus><cn type="integer" id="S3.E5.m2.4.4.1.1.1.1.1.1.4.4.2.2.2.3.3.3.2.cmml" xref="S3.E5.m2.4.4.1.1.1.1.1.1.4.4.2.2.2.3.3.3.2">1</cn><ci id="S3.E5.m2.4.4.1.1.1.1.1.1.4.4.2.2.2.3.3.3.3.cmml" xref="S3.E5.m2.4.4.1.1.1.1.1.1.4.4.2.2.2.3.3.3.3">𝛿</ci></apply></apply></apply></apply></apply></apply></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="S3.E5.m2.4c">\displaystyle L_{\operatorname{surr}}(\theta)=\mathbb{E}_{x\sim\rho}\mathbb{E}_{a_{1:T}\sim\pi_{\theta}^{\operatorname{old}}}\bigg{[}\sum_{t=1}^{T}A(s_{t},a_{t})\min\big{\{}\psi(s_{t},a_{t}),\operatorname{clip}\big{(}\psi(s_{t},a_{t}),1-\delta,1+\delta\big{)}\big{\}}\bigg{]}.</annotation></semantics></math></td>
<td class="ltx_eqn_cell ltx_eqn_center_padright"></td>
<td rowspan="1" class="ltx_eqn_cell ltx_eqn_eqno ltx_align_middle ltx_align_right"><span class="ltx_tag ltx_tag_equation ltx_align_right">(5)</span></td>
</tr></tbody>
</table>
<p id="S3.SS2.p1.8" class="ltx_p">In the above objective, trajectories are sampled from an old policy <math id="S3.SS2.p1.1.m1.1" class="ltx_Math" alttext="\pi_{\theta}^{\text{old}}" display="inline"><semantics id="S3.SS2.p1.1.m1.1a"><msubsup id="S3.SS2.p1.1.m1.1.1" xref="S3.SS2.p1.1.m1.1.1.cmml"><mi id="S3.SS2.p1.1.m1.1.1.2.2" xref="S3.SS2.p1.1.m1.1.1.2.2.cmml">π</mi><mi id="S3.SS2.p1.1.m1.1.1.2.3" xref="S3.SS2.p1.1.m1.1.1.2.3.cmml">θ</mi><mtext id="S3.SS2.p1.1.m1.1.1.3" xref="S3.SS2.p1.1.m1.1.1.3a.cmml">old</mtext></msubsup><annotation-xml encoding="MathML-Content" id="S3.SS2.p1.1.m1.1b"><apply id="S3.SS2.p1.1.m1.1.1.cmml" xref="S3.SS2.p1.1.m1.1.1"><csymbol cd="ambiguous" id="S3.SS2.p1.1.m1.1.1.1.cmml" xref="S3.SS2.p1.1.m1.1.1">superscript</csymbol><apply id="S3.SS2.p1.1.m1.1.1.2.cmml" xref="S3.SS2.p1.1.m1.1.1"><csymbol cd="ambiguous" id="S3.SS2.p1.1.m1.1.1.2.1.cmml" xref="S3.SS2.p1.1.m1.1.1">subscript</csymbol><ci id="S3.SS2.p1.1.m1.1.1.2.2.cmml" xref="S3.SS2.p1.1.m1.1.1.2.2">𝜋</ci><ci id="S3.SS2.p1.1.m1.1.1.2.3.cmml" xref="S3.SS2.p1.1.m1.1.1.2.3">𝜃</ci></apply><ci id="S3.SS2.p1.1.m1.1.1.3a.cmml" xref="S3.SS2.p1.1.m1.1.1.3"><mtext mathsize="70%" id="S3.SS2.p1.1.m1.1.1.3.cmml" xref="S3.SS2.p1.1.m1.1.1.3">old</mtext></ci></apply></annotation-xml><annotation encoding="application/x-tex" id="S3.SS2.p1.1.m1.1c">\pi_{\theta}^{\text{old}}</annotation></semantics></math> and importance sampling is utilized to mitigate the bias, reflected in the ratio <math id="S3.SS2.p1.2.m2.4" class="ltx_Math" alttext="\psi(s_{t},a_{t})\triangleq{\pi_{\theta}(a_{t}|s_{t})}/{\pi_{\theta}^{\text{old}}(a_{t}|s_{t})}" display="inline"><semantics id="S3.SS2.p1.2.m2.4a"><mrow id="S3.SS2.p1.2.m2.4.4" xref="S3.SS2.p1.2.m2.4.4.cmml"><mrow id="S3.SS2.p1.2.m2.2.2.2" xref="S3.SS2.p1.2.m2.2.2.2.cmml"><mi id="S3.SS2.p1.2.m2.2.2.2.4" xref="S3.SS2.p1.2.m2.2.2.2.4.cmml">ψ</mi><mo lspace="0em" rspace="0em" id="S3.SS2.p1.2.m2.2.2.2.3" xref="S3.SS2.p1.2.m2.2.2.2.3.cmml">​</mo><mrow id="S3.SS2.p1.2.m2.2.2.2.2.2" xref="S3.SS2.p1.2.m2.2.2.2.2.3.cmml"><mo stretchy="false" id="S3.SS2.p1.2.m2.2.2.2.2.2.3" xref="S3.SS2.p1.2.m2.2.2.2.2.3.cmml">(</mo><msub id="S3.SS2.p1.2.m2.1.1.1.1.1.1" xref="S3.SS2.p1.2.m2.1.1.1.1.1.1.cmml"><mi id="S3.SS2.p1.2.m2.1.1.1.1.1.1.2" xref="S3.SS2.p1.2.m2.1.1.1.1.1.1.2.cmml">s</mi><mi id="S3.SS2.p1.2.m2.1.1.1.1.1.1.3" xref="S3.SS2.p1.2.m2.1.1.1.1.1.1.3.cmml">t</mi></msub><mo id="S3.SS2.p1.2.m2.2.2.2.2.2.4" xref="S3.SS2.p1.2.m2.2.2.2.2.3.cmml">,</mo><msub id="S3.SS2.p1.2.m2.2.2.2.2.2.2" xref="S3.SS2.p1.2.m2.2.2.2.2.2.2.cmml"><mi id="S3.SS2.p1.2.m2.2.2.2.2.2.2.2" xref="S3.SS2.p1.2.m2.2.2.2.2.2.2.2.cmml">a</mi><mi id="S3.SS2.p1.2.m2.2.2.2.2.2.2.3" xref="S3.SS2.p1.2.m2.2.2.2.2.2.2.3.cmml">t</mi></msub><mo stretchy="false" id="S3.SS2.p1.2.m2.2.2.2.2.2.5" xref="S3.SS2.p1.2.m2.2.2.2.2.3.cmml">)</mo></mrow></mrow><mo id="S3.SS2.p1.2.m2.4.4.5" xref="S3.SS2.p1.2.m2.4.4.5.cmml">≜</mo><mrow id="S3.SS2.p1.2.m2.4.4.4" xref="S3.SS2.p1.2.m2.4.4.4.cmml"><mrow id="S3.SS2.p1.2.m2.3.3.3.1" xref="S3.SS2.p1.2.m2.3.3.3.1.cmml"><mrow id="S3.SS2.p1.2.m2.3.3.3.1.1" xref="S3.SS2.p1.2.m2.3.3.3.1.1.cmml"><msub id="S3.SS2.p1.2.m2.3.3.3.1.1.3" xref="S3.SS2.p1.2.m2.3.3.3.1.1.3.cmml"><mi id="S3.SS2.p1.2.m2.3.3.3.1.1.3.2" xref="S3.SS2.p1.2.m2.3.3.3.1.1.3.2.cmml">π</mi><mi id="S3.SS2.p1.2.m2.3.3.3.1.1.3.3" xref="S3.SS2.p1.2.m2.3.3.3.1.1.3.3.cmml">θ</mi></msub><mo lspace="0em" rspace="0em" id="S3.SS2.p1.2.m2.3.3.3.1.1.2" xref="S3.SS2.p1.2.m2.3.3.3.1.1.2.cmml">​</mo><mrow id="S3.SS2.p1.2.m2.3.3.3.1.1.1.1" xref="S3.SS2.p1.2.m2.3.3.3.1.1.1.1.1.cmml"><mo stretchy="false" id="S3.SS2.p1.2.m2.3.3.3.1.1.1.1.2" xref="S3.SS2.p1.2.m2.3.3.3.1.1.1.1.1.cmml">(</mo><mrow id="S3.SS2.p1.2.m2.3.3.3.1.1.1.1.1" xref="S3.SS2.p1.2.m2.3.3.3.1.1.1.1.1.cmml"><msub id="S3.SS2.p1.2.m2.3.3.3.1.1.1.1.1.2" xref="S3.SS2.p1.2.m2.3.3.3.1.1.1.1.1.2.cmml"><mi id="S3.SS2.p1.2.m2.3.3.3.1.1.1.1.1.2.2" xref="S3.SS2.p1.2.m2.3.3.3.1.1.1.1.1.2.2.cmml">a</mi><mi id="S3.SS2.p1.2.m2.3.3.3.1.1.1.1.1.2.3" xref="S3.SS2.p1.2.m2.3.3.3.1.1.1.1.1.2.3.cmml">t</mi></msub><mo fence="false" id="S3.SS2.p1.2.m2.3.3.3.1.1.1.1.1.1" xref="S3.SS2.p1.2.m2.3.3.3.1.1.1.1.1.1.cmml">|</mo><msub id="S3.SS2.p1.2.m2.3.3.3.1.1.1.1.1.3" xref="S3.SS2.p1.2.m2.3.3.3.1.1.1.1.1.3.cmml"><mi id="S3.SS2.p1.2.m2.3.3.3.1.1.1.1.1.3.2" xref="S3.SS2.p1.2.m2.3.3.3.1.1.1.1.1.3.2.cmml">s</mi><mi id="S3.SS2.p1.2.m2.3.3.3.1.1.1.1.1.3.3" xref="S3.SS2.p1.2.m2.3.3.3.1.1.1.1.1.3.3.cmml">t</mi></msub></mrow><mo stretchy="false" id="S3.SS2.p1.2.m2.3.3.3.1.1.1.1.3" xref="S3.SS2.p1.2.m2.3.3.3.1.1.1.1.1.cmml">)</mo></mrow></mrow><mo id="S3.SS2.p1.2.m2.3.3.3.1.2" xref="S3.SS2.p1.2.m2.3.3.3.1.2.cmml">/</mo><msubsup id="S3.SS2.p1.2.m2.3.3.3.1.3" xref="S3.SS2.p1.2.m2.3.3.3.1.3.cmml"><mi id="S3.SS2.p1.2.m2.3.3.3.1.3.2.2" xref="S3.SS2.p1.2.m2.3.3.3.1.3.2.2.cmml">π</mi><mi id="S3.SS2.p1.2.m2.3.3.3.1.3.2.3" xref="S3.SS2.p1.2.m2.3.3.3.1.3.2.3.cmml">θ</mi><mtext id="S3.SS2.p1.2.m2.3.3.3.1.3.3" xref="S3.SS2.p1.2.m2.3.3.3.1.3.3a.cmml">old</mtext></msubsup></mrow><mo lspace="0em" rspace="0em" id="S3.SS2.p1.2.m2.4.4.4.3" xref="S3.SS2.p1.2.m2.4.4.4.3.cmml">​</mo><mrow id="S3.SS2.p1.2.m2.4.4.4.2.1" xref="S3.SS2.p1.2.m2.4.4.4.2.1.1.cmml"><mo stretchy="false" id="S3.SS2.p1.2.m2.4.4.4.2.1.2" xref="S3.SS2.p1.2.m2.4.4.4.2.1.1.cmml">(</mo><mrow id="S3.SS2.p1.2.m2.4.4.4.2.1.1" xref="S3.SS2.p1.2.m2.4.4.4.2.1.1.cmml"><msub id="S3.SS2.p1.2.m2.4.4.4.2.1.1.2" xref="S3.SS2.p1.2.m2.4.4.4.2.1.1.2.cmml"><mi id="S3.SS2.p1.2.m2.4.4.4.2.1.1.2.2" xref="S3.SS2.p1.2.m2.4.4.4.2.1.1.2.2.cmml">a</mi><mi id="S3.SS2.p1.2.m2.4.4.4.2.1.1.2.3" xref="S3.SS2.p1.2.m2.4.4.4.2.1.1.2.3.cmml">t</mi></msub><mo fence="false" id="S3.SS2.p1.2.m2.4.4.4.2.1.1.1" xref="S3.SS2.p1.2.m2.4.4.4.2.1.1.1.cmml">|</mo><msub id="S3.SS2.p1.2.m2.4.4.4.2.1.1.3" xref="S3.SS2.p1.2.m2.4.4.4.2.1.1.3.cmml"><mi id="S3.SS2.p1.2.m2.4.4.4.2.1.1.3.2" xref="S3.SS2.p1.2.m2.4.4.4.2.1.1.3.2.cmml">s</mi><mi id="S3.SS2.p1.2.m2.4.4.4.2.1.1.3.3" xref="S3.SS2.p1.2.m2.4.4.4.2.1.1.3.3.cmml">t</mi></msub></mrow><mo stretchy="false" id="S3.SS2.p1.2.m2.4.4.4.2.1.3" xref="S3.SS2.p1.2.m2.4.4.4.2.1.1.cmml">)</mo></mrow></mrow></mrow><annotation-xml encoding="MathML-Content" id="S3.SS2.p1.2.m2.4b"><apply id="S3.SS2.p1.2.m2.4.4.cmml" xref="S3.SS2.p1.2.m2.4.4"><ci id="S3.SS2.p1.2.m2.4.4.5.cmml" xref="S3.SS2.p1.2.m2.4.4.5">≜</ci><apply id="S3.SS2.p1.2.m2.2.2.2.cmml" xref="S3.SS2.p1.2.m2.2.2.2"><times id="S3.SS2.p1.2.m2.2.2.2.3.cmml" xref="S3.SS2.p1.2.m2.2.2.2.3"></times><ci id="S3.SS2.p1.2.m2.2.2.2.4.cmml" xref="S3.SS2.p1.2.m2.2.2.2.4">𝜓</ci><interval closure="open" id="S3.SS2.p1.2.m2.2.2.2.2.3.cmml" xref="S3.SS2.p1.2.m2.2.2.2.2.2"><apply id="S3.SS2.p1.2.m2.1.1.1.1.1.1.cmml" xref="S3.SS2.p1.2.m2.1.1.1.1.1.1"><csymbol cd="ambiguous" id="S3.SS2.p1.2.m2.1.1.1.1.1.1.1.cmml" xref="S3.SS2.p1.2.m2.1.1.1.1.1.1">subscript</csymbol><ci id="S3.SS2.p1.2.m2.1.1.1.1.1.1.2.cmml" xref="S3.SS2.p1.2.m2.1.1.1.1.1.1.2">𝑠</ci><ci id="S3.SS2.p1.2.m2.1.1.1.1.1.1.3.cmml" xref="S3.SS2.p1.2.m2.1.1.1.1.1.1.3">𝑡</ci></apply><apply id="S3.SS2.p1.2.m2.2.2.2.2.2.2.cmml" xref="S3.SS2.p1.2.m2.2.2.2.2.2.2"><csymbol cd="ambiguous" id="S3.SS2.p1.2.m2.2.2.2.2.2.2.1.cmml" xref="S3.SS2.p1.2.m2.2.2.2.2.2.2">subscript</csymbol><ci id="S3.SS2.p1.2.m2.2.2.2.2.2.2.2.cmml" xref="S3.SS2.p1.2.m2.2.2.2.2.2.2.2">𝑎</ci><ci id="S3.SS2.p1.2.m2.2.2.2.2.2.2.3.cmml" xref="S3.SS2.p1.2.m2.2.2.2.2.2.2.3">𝑡</ci></apply></interval></apply><apply id="S3.SS2.p1.2.m2.4.4.4.cmml" xref="S3.SS2.p1.2.m2.4.4.4"><times id="S3.SS2.p1.2.m2.4.4.4.3.cmml" xref="S3.SS2.p1.2.m2.4.4.4.3"></times><apply id="S3.SS2.p1.2.m2.3.3.3.1.cmml" xref="S3.SS2.p1.2.m2.3.3.3.1"><divide id="S3.SS2.p1.2.m2.3.3.3.1.2.cmml" xref="S3.SS2.p1.2.m2.3.3.3.1.2"></divide><apply id="S3.SS2.p1.2.m2.3.3.3.1.1.cmml" xref="S3.SS2.p1.2.m2.3.3.3.1.1"><times id="S3.SS2.p1.2.m2.3.3.3.1.1.2.cmml" xref="S3.SS2.p1.2.m2.3.3.3.1.1.2"></times><apply id="S3.SS2.p1.2.m2.3.3.3.1.1.3.cmml" xref="S3.SS2.p1.2.m2.3.3.3.1.1.3"><csymbol cd="ambiguous" id="S3.SS2.p1.2.m2.3.3.3.1.1.3.1.cmml" xref="S3.SS2.p1.2.m2.3.3.3.1.1.3">subscript</csymbol><ci id="S3.SS2.p1.2.m2.3.3.3.1.1.3.2.cmml" xref="S3.SS2.p1.2.m2.3.3.3.1.1.3.2">𝜋</ci><ci id="S3.SS2.p1.2.m2.3.3.3.1.1.3.3.cmml" xref="S3.SS2.p1.2.m2.3.3.3.1.1.3.3">𝜃</ci></apply><apply id="S3.SS2.p1.2.m2.3.3.3.1.1.1.1.1.cmml" xref="S3.SS2.p1.2.m2.3.3.3.1.1.1.1"><csymbol cd="latexml" id="S3.SS2.p1.2.m2.3.3.3.1.1.1.1.1.1.cmml" xref="S3.SS2.p1.2.m2.3.3.3.1.1.1.1.1.1">conditional</csymbol><apply id="S3.SS2.p1.2.m2.3.3.3.1.1.1.1.1.2.cmml" xref="S3.SS2.p1.2.m2.3.3.3.1.1.1.1.1.2"><csymbol cd="ambiguous" id="S3.SS2.p1.2.m2.3.3.3.1.1.1.1.1.2.1.cmml" xref="S3.SS2.p1.2.m2.3.3.3.1.1.1.1.1.2">subscript</csymbol><ci id="S3.SS2.p1.2.m2.3.3.3.1.1.1.1.1.2.2.cmml" xref="S3.SS2.p1.2.m2.3.3.3.1.1.1.1.1.2.2">𝑎</ci><ci id="S3.SS2.p1.2.m2.3.3.3.1.1.1.1.1.2.3.cmml" xref="S3.SS2.p1.2.m2.3.3.3.1.1.1.1.1.2.3">𝑡</ci></apply><apply id="S3.SS2.p1.2.m2.3.3.3.1.1.1.1.1.3.cmml" xref="S3.SS2.p1.2.m2.3.3.3.1.1.1.1.1.3"><csymbol cd="ambiguous" id="S3.SS2.p1.2.m2.3.3.3.1.1.1.1.1.3.1.cmml" xref="S3.SS2.p1.2.m2.3.3.3.1.1.1.1.1.3">subscript</csymbol><ci id="S3.SS2.p1.2.m2.3.3.3.1.1.1.1.1.3.2.cmml" xref="S3.SS2.p1.2.m2.3.3.3.1.1.1.1.1.3.2">𝑠</ci><ci id="S3.SS2.p1.2.m2.3.3.3.1.1.1.1.1.3.3.cmml" xref="S3.SS2.p1.2.m2.3.3.3.1.1.1.1.1.3.3">𝑡</ci></apply></apply></apply><apply id="S3.SS2.p1.2.m2.3.3.3.1.3.cmml" xref="S3.SS2.p1.2.m2.3.3.3.1.3"><csymbol cd="ambiguous" id="S3.SS2.p1.2.m2.3.3.3.1.3.1.cmml" xref="S3.SS2.p1.2.m2.3.3.3.1.3">superscript</csymbol><apply id="S3.SS2.p1.2.m2.3.3.3.1.3.2.cmml" xref="S3.SS2.p1.2.m2.3.3.3.1.3"><csymbol cd="ambiguous" id="S3.SS2.p1.2.m2.3.3.3.1.3.2.1.cmml" xref="S3.SS2.p1.2.m2.3.3.3.1.3">subscript</csymbol><ci id="S3.SS2.p1.2.m2.3.3.3.1.3.2.2.cmml" xref="S3.SS2.p1.2.m2.3.3.3.1.3.2.2">𝜋</ci><ci id="S3.SS2.p1.2.m2.3.3.3.1.3.2.3.cmml" xref="S3.SS2.p1.2.m2.3.3.3.1.3.2.3">𝜃</ci></apply><ci id="S3.SS2.p1.2.m2.3.3.3.1.3.3a.cmml" xref="S3.SS2.p1.2.m2.3.3.3.1.3.3"><mtext mathsize="70%" id="S3.SS2.p1.2.m2.3.3.3.1.3.3.cmml" xref="S3.SS2.p1.2.m2.3.3.3.1.3.3">old</mtext></ci></apply></apply><apply id="S3.SS2.p1.2.m2.4.4.4.2.1.1.cmml" xref="S3.SS2.p1.2.m2.4.4.4.2.1"><csymbol cd="latexml" id="S3.SS2.p1.2.m2.4.4.4.2.1.1.1.cmml" xref="S3.SS2.p1.2.m2.4.4.4.2.1.1.1">conditional</csymbol><apply id="S3.SS2.p1.2.m2.4.4.4.2.1.1.2.cmml" xref="S3.SS2.p1.2.m2.4.4.4.2.1.1.2"><csymbol cd="ambiguous" id="S3.SS2.p1.2.m2.4.4.4.2.1.1.2.1.cmml" xref="S3.SS2.p1.2.m2.4.4.4.2.1.1.2">subscript</csymbol><ci id="S3.SS2.p1.2.m2.4.4.4.2.1.1.2.2.cmml" xref="S3.SS2.p1.2.m2.4.4.4.2.1.1.2.2">𝑎</ci><ci id="S3.SS2.p1.2.m2.4.4.4.2.1.1.2.3.cmml" xref="S3.SS2.p1.2.m2.4.4.4.2.1.1.2.3">𝑡</ci></apply><apply id="S3.SS2.p1.2.m2.4.4.4.2.1.1.3.cmml" xref="S3.SS2.p1.2.m2.4.4.4.2.1.1.3"><csymbol cd="ambiguous" id="S3.SS2.p1.2.m2.4.4.4.2.1.1.3.1.cmml" xref="S3.SS2.p1.2.m2.4.4.4.2.1.1.3">subscript</csymbol><ci id="S3.SS2.p1.2.m2.4.4.4.2.1.1.3.2.cmml" xref="S3.SS2.p1.2.m2.4.4.4.2.1.1.3.2">𝑠</ci><ci id="S3.SS2.p1.2.m2.4.4.4.2.1.1.3.3.cmml" xref="S3.SS2.p1.2.m2.4.4.4.2.1.1.3.3">𝑡</ci></apply></apply></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="S3.SS2.p1.2.m2.4c">\psi(s_{t},a_{t})\triangleq{\pi_{\theta}(a_{t}|s_{t})}/{\pi_{\theta}^{\text{old}}(a_{t}|s_{t})}</annotation></semantics></math>. Furthermore, a clipping-related hyper-parameter <math id="S3.SS2.p1.3.m3.1" class="ltx_Math" alttext="\delta&gt;0" display="inline"><semantics id="S3.SS2.p1.3.m3.1a"><mrow id="S3.SS2.p1.3.m3.1.1" xref="S3.SS2.p1.3.m3.1.1.cmml"><mi id="S3.SS2.p1.3.m3.1.1.2" xref="S3.SS2.p1.3.m3.1.1.2.cmml">δ</mi><mo id="S3.SS2.p1.3.m3.1.1.1" xref="S3.SS2.p1.3.m3.1.1.1.cmml">&gt;</mo><mn id="S3.SS2.p1.3.m3.1.1.3" xref="S3.SS2.p1.3.m3.1.1.3.cmml">0</mn></mrow><annotation-xml encoding="MathML-Content" id="S3.SS2.p1.3.m3.1b"><apply id="S3.SS2.p1.3.m3.1.1.cmml" xref="S3.SS2.p1.3.m3.1.1"><gt id="S3.SS2.p1.3.m3.1.1.1.cmml" xref="S3.SS2.p1.3.m3.1.1.1"></gt><ci id="S3.SS2.p1.3.m3.1.1.2.cmml" xref="S3.SS2.p1.3.m3.1.1.2">𝛿</ci><cn type="integer" id="S3.SS2.p1.3.m3.1.1.3.cmml" xref="S3.SS2.p1.3.m3.1.1.3">0</cn></apply></annotation-xml><annotation encoding="application/x-tex" id="S3.SS2.p1.3.m3.1c">\delta&gt;0</annotation></semantics></math> is introduced to stabilize training. The advantage function <math id="S3.SS2.p1.4.m4.2" class="ltx_Math" alttext="A(s_{t},a_{t})" display="inline"><semantics id="S3.SS2.p1.4.m4.2a"><mrow id="S3.SS2.p1.4.m4.2.2" xref="S3.SS2.p1.4.m4.2.2.cmml"><mi id="S3.SS2.p1.4.m4.2.2.4" xref="S3.SS2.p1.4.m4.2.2.4.cmml">A</mi><mo lspace="0em" rspace="0em" id="S3.SS2.p1.4.m4.2.2.3" xref="S3.SS2.p1.4.m4.2.2.3.cmml">​</mo><mrow id="S3.SS2.p1.4.m4.2.2.2.2" xref="S3.SS2.p1.4.m4.2.2.2.3.cmml"><mo stretchy="false" id="S3.SS2.p1.4.m4.2.2.2.2.3" xref="S3.SS2.p1.4.m4.2.2.2.3.cmml">(</mo><msub id="S3.SS2.p1.4.m4.1.1.1.1.1" xref="S3.SS2.p1.4.m4.1.1.1.1.1.cmml"><mi id="S3.SS2.p1.4.m4.1.1.1.1.1.2" xref="S3.SS2.p1.4.m4.1.1.1.1.1.2.cmml">s</mi><mi id="S3.SS2.p1.4.m4.1.1.1.1.1.3" xref="S3.SS2.p1.4.m4.1.1.1.1.1.3.cmml">t</mi></msub><mo id="S3.SS2.p1.4.m4.2.2.2.2.4" xref="S3.SS2.p1.4.m4.2.2.2.3.cmml">,</mo><msub id="S3.SS2.p1.4.m4.2.2.2.2.2" xref="S3.SS2.p1.4.m4.2.2.2.2.2.cmml"><mi id="S3.SS2.p1.4.m4.2.2.2.2.2.2" xref="S3.SS2.p1.4.m4.2.2.2.2.2.2.cmml">a</mi><mi id="S3.SS2.p1.4.m4.2.2.2.2.2.3" xref="S3.SS2.p1.4.m4.2.2.2.2.2.3.cmml">t</mi></msub><mo stretchy="false" id="S3.SS2.p1.4.m4.2.2.2.2.5" xref="S3.SS2.p1.4.m4.2.2.2.3.cmml">)</mo></mrow></mrow><annotation-xml encoding="MathML-Content" id="S3.SS2.p1.4.m4.2b"><apply id="S3.SS2.p1.4.m4.2.2.cmml" xref="S3.SS2.p1.4.m4.2.2"><times id="S3.SS2.p1.4.m4.2.2.3.cmml" xref="S3.SS2.p1.4.m4.2.2.3"></times><ci id="S3.SS2.p1.4.m4.2.2.4.cmml" xref="S3.SS2.p1.4.m4.2.2.4">𝐴</ci><interval closure="open" id="S3.SS2.p1.4.m4.2.2.2.3.cmml" xref="S3.SS2.p1.4.m4.2.2.2.2"><apply id="S3.SS2.p1.4.m4.1.1.1.1.1.cmml" xref="S3.SS2.p1.4.m4.1.1.1.1.1"><csymbol cd="ambiguous" id="S3.SS2.p1.4.m4.1.1.1.1.1.1.cmml" xref="S3.SS2.p1.4.m4.1.1.1.1.1">subscript</csymbol><ci id="S3.SS2.p1.4.m4.1.1.1.1.1.2.cmml" xref="S3.SS2.p1.4.m4.1.1.1.1.1.2">𝑠</ci><ci id="S3.SS2.p1.4.m4.1.1.1.1.1.3.cmml" xref="S3.SS2.p1.4.m4.1.1.1.1.1.3">𝑡</ci></apply><apply id="S3.SS2.p1.4.m4.2.2.2.2.2.cmml" xref="S3.SS2.p1.4.m4.2.2.2.2.2"><csymbol cd="ambiguous" id="S3.SS2.p1.4.m4.2.2.2.2.2.1.cmml" xref="S3.SS2.p1.4.m4.2.2.2.2.2">subscript</csymbol><ci id="S3.SS2.p1.4.m4.2.2.2.2.2.2.cmml" xref="S3.SS2.p1.4.m4.2.2.2.2.2.2">𝑎</ci><ci id="S3.SS2.p1.4.m4.2.2.2.2.2.3.cmml" xref="S3.SS2.p1.4.m4.2.2.2.2.2.3">𝑡</ci></apply></interval></apply></annotation-xml><annotation encoding="application/x-tex" id="S3.SS2.p1.4.m4.2c">A(s_{t},a_{t})</annotation></semantics></math>, crucial for policy gradient estimation, is computed using the one-step reward <math id="S3.SS2.p1.5.m5.2" class="ltx_Math" alttext="r(s_{t},a_{t})" display="inline"><semantics id="S3.SS2.p1.5.m5.2a"><mrow id="S3.SS2.p1.5.m5.2.2" xref="S3.SS2.p1.5.m5.2.2.cmml"><mi id="S3.SS2.p1.5.m5.2.2.4" xref="S3.SS2.p1.5.m5.2.2.4.cmml">r</mi><mo lspace="0em" rspace="0em" id="S3.SS2.p1.5.m5.2.2.3" xref="S3.SS2.p1.5.m5.2.2.3.cmml">​</mo><mrow id="S3.SS2.p1.5.m5.2.2.2.2" xref="S3.SS2.p1.5.m5.2.2.2.3.cmml"><mo stretchy="false" id="S3.SS2.p1.5.m5.2.2.2.2.3" xref="S3.SS2.p1.5.m5.2.2.2.3.cmml">(</mo><msub id="S3.SS2.p1.5.m5.1.1.1.1.1" xref="S3.SS2.p1.5.m5.1.1.1.1.1.cmml"><mi id="S3.SS2.p1.5.m5.1.1.1.1.1.2" xref="S3.SS2.p1.5.m5.1.1.1.1.1.2.cmml">s</mi><mi id="S3.SS2.p1.5.m5.1.1.1.1.1.3" xref="S3.SS2.p1.5.m5.1.1.1.1.1.3.cmml">t</mi></msub><mo id="S3.SS2.p1.5.m5.2.2.2.2.4" xref="S3.SS2.p1.5.m5.2.2.2.3.cmml">,</mo><msub id="S3.SS2.p1.5.m5.2.2.2.2.2" xref="S3.SS2.p1.5.m5.2.2.2.2.2.cmml"><mi id="S3.SS2.p1.5.m5.2.2.2.2.2.2" xref="S3.SS2.p1.5.m5.2.2.2.2.2.2.cmml">a</mi><mi id="S3.SS2.p1.5.m5.2.2.2.2.2.3" xref="S3.SS2.p1.5.m5.2.2.2.2.2.3.cmml">t</mi></msub><mo stretchy="false" id="S3.SS2.p1.5.m5.2.2.2.2.5" xref="S3.SS2.p1.5.m5.2.2.2.3.cmml">)</mo></mrow></mrow><annotation-xml encoding="MathML-Content" id="S3.SS2.p1.5.m5.2b"><apply id="S3.SS2.p1.5.m5.2.2.cmml" xref="S3.SS2.p1.5.m5.2.2"><times id="S3.SS2.p1.5.m5.2.2.3.cmml" xref="S3.SS2.p1.5.m5.2.2.3"></times><ci id="S3.SS2.p1.5.m5.2.2.4.cmml" xref="S3.SS2.p1.5.m5.2.2.4">𝑟</ci><interval closure="open" id="S3.SS2.p1.5.m5.2.2.2.3.cmml" xref="S3.SS2.p1.5.m5.2.2.2.2"><apply id="S3.SS2.p1.5.m5.1.1.1.1.1.cmml" xref="S3.SS2.p1.5.m5.1.1.1.1.1"><csymbol cd="ambiguous" id="S3.SS2.p1.5.m5.1.1.1.1.1.1.cmml" xref="S3.SS2.p1.5.m5.1.1.1.1.1">subscript</csymbol><ci id="S3.SS2.p1.5.m5.1.1.1.1.1.2.cmml" xref="S3.SS2.p1.5.m5.1.1.1.1.1.2">𝑠</ci><ci id="S3.SS2.p1.5.m5.1.1.1.1.1.3.cmml" xref="S3.SS2.p1.5.m5.1.1.1.1.1.3">𝑡</ci></apply><apply id="S3.SS2.p1.5.m5.2.2.2.2.2.cmml" xref="S3.SS2.p1.5.m5.2.2.2.2.2"><csymbol cd="ambiguous" id="S3.SS2.p1.5.m5.2.2.2.2.2.1.cmml" xref="S3.SS2.p1.5.m5.2.2.2.2.2">subscript</csymbol><ci id="S3.SS2.p1.5.m5.2.2.2.2.2.2.cmml" xref="S3.SS2.p1.5.m5.2.2.2.2.2.2">𝑎</ci><ci id="S3.SS2.p1.5.m5.2.2.2.2.2.3.cmml" xref="S3.SS2.p1.5.m5.2.2.2.2.2.3">𝑡</ci></apply></interval></apply></annotation-xml><annotation encoding="application/x-tex" id="S3.SS2.p1.5.m5.2c">r(s_{t},a_{t})</annotation></semantics></math> and a <em id="S3.SS2.p1.8.1" class="ltx_emph ltx_font_italic">value model</em> <math id="S3.SS2.p1.6.m6.1" class="ltx_Math" alttext="V" display="inline"><semantics id="S3.SS2.p1.6.m6.1a"><mi id="S3.SS2.p1.6.m6.1.1" xref="S3.SS2.p1.6.m6.1.1.cmml">V</mi><annotation-xml encoding="MathML-Content" id="S3.SS2.p1.6.m6.1b"><ci id="S3.SS2.p1.6.m6.1.1.cmml" xref="S3.SS2.p1.6.m6.1.1">𝑉</ci></annotation-xml><annotation encoding="application/x-tex" id="S3.SS2.p1.6.m6.1c">V</annotation></semantics></math>, i.e., <math id="S3.SS2.p1.7.m7.6" class="ltx_Math" alttext="A(s_{t},a_{t})\approx r(s_{t},a_{t})+V(s_{t+1})-V(s_{t})" display="inline"><semantics id="S3.SS2.p1.7.m7.6a"><mrow id="S3.SS2.p1.7.m7.6.6" xref="S3.SS2.p1.7.m7.6.6.cmml"><mrow id="S3.SS2.p1.7.m7.2.2.2" xref="S3.SS2.p1.7.m7.2.2.2.cmml"><mi id="S3.SS2.p1.7.m7.2.2.2.4" xref="S3.SS2.p1.7.m7.2.2.2.4.cmml">A</mi><mo lspace="0em" rspace="0em" id="S3.SS2.p1.7.m7.2.2.2.3" xref="S3.SS2.p1.7.m7.2.2.2.3.cmml">​</mo><mrow id="S3.SS2.p1.7.m7.2.2.2.2.2" xref="S3.SS2.p1.7.m7.2.2.2.2.3.cmml"><mo stretchy="false" id="S3.SS2.p1.7.m7.2.2.2.2.2.3" xref="S3.SS2.p1.7.m7.2.2.2.2.3.cmml">(</mo><msub id="S3.SS2.p1.7.m7.1.1.1.1.1.1" xref="S3.SS2.p1.7.m7.1.1.1.1.1.1.cmml"><mi id="S3.SS2.p1.7.m7.1.1.1.1.1.1.2" xref="S3.SS2.p1.7.m7.1.1.1.1.1.1.2.cmml">s</mi><mi id="S3.SS2.p1.7.m7.1.1.1.1.1.1.3" xref="S3.SS2.p1.7.m7.1.1.1.1.1.1.3.cmml">t</mi></msub><mo id="S3.SS2.p1.7.m7.2.2.2.2.2.4" xref="S3.SS2.p1.7.m7.2.2.2.2.3.cmml">,</mo><msub id="S3.SS2.p1.7.m7.2.2.2.2.2.2" xref="S3.SS2.p1.7.m7.2.2.2.2.2.2.cmml"><mi id="S3.SS2.p1.7.m7.2.2.2.2.2.2.2" xref="S3.SS2.p1.7.m7.2.2.2.2.2.2.2.cmml">a</mi><mi id="S3.SS2.p1.7.m7.2.2.2.2.2.2.3" xref="S3.SS2.p1.7.m7.2.2.2.2.2.2.3.cmml">t</mi></msub><mo stretchy="false" id="S3.SS2.p1.7.m7.2.2.2.2.2.5" xref="S3.SS2.p1.7.m7.2.2.2.2.3.cmml">)</mo></mrow></mrow><mo id="S3.SS2.p1.7.m7.6.6.7" xref="S3.SS2.p1.7.m7.6.6.7.cmml">≈</mo><mrow id="S3.SS2.p1.7.m7.6.6.6" xref="S3.SS2.p1.7.m7.6.6.6.cmml"><mrow id="S3.SS2.p1.7.m7.5.5.5.3" xref="S3.SS2.p1.7.m7.5.5.5.3.cmml"><mrow id="S3.SS2.p1.7.m7.4.4.4.2.2" xref="S3.SS2.p1.7.m7.4.4.4.2.2.cmml"><mi id="S3.SS2.p1.7.m7.4.4.4.2.2.4" xref="S3.SS2.p1.7.m7.4.4.4.2.2.4.cmml">r</mi><mo lspace="0em" rspace="0em" id="S3.SS2.p1.7.m7.4.4.4.2.2.3" xref="S3.SS2.p1.7.m7.4.4.4.2.2.3.cmml">​</mo><mrow id="S3.SS2.p1.7.m7.4.4.4.2.2.2.2" xref="S3.SS2.p1.7.m7.4.4.4.2.2.2.3.cmml"><mo stretchy="false" id="S3.SS2.p1.7.m7.4.4.4.2.2.2.2.3" xref="S3.SS2.p1.7.m7.4.4.4.2.2.2.3.cmml">(</mo><msub id="S3.SS2.p1.7.m7.3.3.3.1.1.1.1.1" xref="S3.SS2.p1.7.m7.3.3.3.1.1.1.1.1.cmml"><mi id="S3.SS2.p1.7.m7.3.3.3.1.1.1.1.1.2" xref="S3.SS2.p1.7.m7.3.3.3.1.1.1.1.1.2.cmml">s</mi><mi id="S3.SS2.p1.7.m7.3.3.3.1.1.1.1.1.3" xref="S3.SS2.p1.7.m7.3.3.3.1.1.1.1.1.3.cmml">t</mi></msub><mo id="S3.SS2.p1.7.m7.4.4.4.2.2.2.2.4" xref="S3.SS2.p1.7.m7.4.4.4.2.2.2.3.cmml">,</mo><msub id="S3.SS2.p1.7.m7.4.4.4.2.2.2.2.2" xref="S3.SS2.p1.7.m7.4.4.4.2.2.2.2.2.cmml"><mi id="S3.SS2.p1.7.m7.4.4.4.2.2.2.2.2.2" xref="S3.SS2.p1.7.m7.4.4.4.2.2.2.2.2.2.cmml">a</mi><mi id="S3.SS2.p1.7.m7.4.4.4.2.2.2.2.2.3" xref="S3.SS2.p1.7.m7.4.4.4.2.2.2.2.2.3.cmml">t</mi></msub><mo stretchy="false" id="S3.SS2.p1.7.m7.4.4.4.2.2.2.2.5" xref="S3.SS2.p1.7.m7.4.4.4.2.2.2.3.cmml">)</mo></mrow></mrow><mo id="S3.SS2.p1.7.m7.5.5.5.3.4" xref="S3.SS2.p1.7.m7.5.5.5.3.4.cmml">+</mo><mrow id="S3.SS2.p1.7.m7.5.5.5.3.3" xref="S3.SS2.p1.7.m7.5.5.5.3.3.cmml"><mi id="S3.SS2.p1.7.m7.5.5.5.3.3.3" xref="S3.SS2.p1.7.m7.5.5.5.3.3.3.cmml">V</mi><mo lspace="0em" rspace="0em" id="S3.SS2.p1.7.m7.5.5.5.3.3.2" xref="S3.SS2.p1.7.m7.5.5.5.3.3.2.cmml">​</mo><mrow id="S3.SS2.p1.7.m7.5.5.5.3.3.1.1" xref="S3.SS2.p1.7.m7.5.5.5.3.3.1.1.1.cmml"><mo stretchy="false" id="S3.SS2.p1.7.m7.5.5.5.3.3.1.1.2" xref="S3.SS2.p1.7.m7.5.5.5.3.3.1.1.1.cmml">(</mo><msub id="S3.SS2.p1.7.m7.5.5.5.3.3.1.1.1" xref="S3.SS2.p1.7.m7.5.5.5.3.3.1.1.1.cmml"><mi id="S3.SS2.p1.7.m7.5.5.5.3.3.1.1.1.2" xref="S3.SS2.p1.7.m7.5.5.5.3.3.1.1.1.2.cmml">s</mi><mrow id="S3.SS2.p1.7.m7.5.5.5.3.3.1.1.1.3" xref="S3.SS2.p1.7.m7.5.5.5.3.3.1.1.1.3.cmml"><mi id="S3.SS2.p1.7.m7.5.5.5.3.3.1.1.1.3.2" xref="S3.SS2.p1.7.m7.5.5.5.3.3.1.1.1.3.2.cmml">t</mi><mo id="S3.SS2.p1.7.m7.5.5.5.3.3.1.1.1.3.1" xref="S3.SS2.p1.7.m7.5.5.5.3.3.1.1.1.3.1.cmml">+</mo><mn id="S3.SS2.p1.7.m7.5.5.5.3.3.1.1.1.3.3" xref="S3.SS2.p1.7.m7.5.5.5.3.3.1.1.1.3.3.cmml">1</mn></mrow></msub><mo stretchy="false" id="S3.SS2.p1.7.m7.5.5.5.3.3.1.1.3" xref="S3.SS2.p1.7.m7.5.5.5.3.3.1.1.1.cmml">)</mo></mrow></mrow></mrow><mo id="S3.SS2.p1.7.m7.6.6.6.5" xref="S3.SS2.p1.7.m7.6.6.6.5.cmml">−</mo><mrow id="S3.SS2.p1.7.m7.6.6.6.4" xref="S3.SS2.p1.7.m7.6.6.6.4.cmml"><mi id="S3.SS2.p1.7.m7.6.6.6.4.3" xref="S3.SS2.p1.7.m7.6.6.6.4.3.cmml">V</mi><mo lspace="0em" rspace="0em" id="S3.SS2.p1.7.m7.6.6.6.4.2" xref="S3.SS2.p1.7.m7.6.6.6.4.2.cmml">​</mo><mrow id="S3.SS2.p1.7.m7.6.6.6.4.1.1" xref="S3.SS2.p1.7.m7.6.6.6.4.1.1.1.cmml"><mo stretchy="false" id="S3.SS2.p1.7.m7.6.6.6.4.1.1.2" xref="S3.SS2.p1.7.m7.6.6.6.4.1.1.1.cmml">(</mo><msub id="S3.SS2.p1.7.m7.6.6.6.4.1.1.1" xref="S3.SS2.p1.7.m7.6.6.6.4.1.1.1.cmml"><mi id="S3.SS2.p1.7.m7.6.6.6.4.1.1.1.2" xref="S3.SS2.p1.7.m7.6.6.6.4.1.1.1.2.cmml">s</mi><mi id="S3.SS2.p1.7.m7.6.6.6.4.1.1.1.3" xref="S3.SS2.p1.7.m7.6.6.6.4.1.1.1.3.cmml">t</mi></msub><mo stretchy="false" id="S3.SS2.p1.7.m7.6.6.6.4.1.1.3" xref="S3.SS2.p1.7.m7.6.6.6.4.1.1.1.cmml">)</mo></mrow></mrow></mrow></mrow><annotation-xml encoding="MathML-Content" id="S3.SS2.p1.7.m7.6b"><apply id="S3.SS2.p1.7.m7.6.6.cmml" xref="S3.SS2.p1.7.m7.6.6"><approx id="S3.SS2.p1.7.m7.6.6.7.cmml" xref="S3.SS2.p1.7.m7.6.6.7"></approx><apply id="S3.SS2.p1.7.m7.2.2.2.cmml" xref="S3.SS2.p1.7.m7.2.2.2"><times id="S3.SS2.p1.7.m7.2.2.2.3.cmml" xref="S3.SS2.p1.7.m7.2.2.2.3"></times><ci id="S3.SS2.p1.7.m7.2.2.2.4.cmml" xref="S3.SS2.p1.7.m7.2.2.2.4">𝐴</ci><interval closure="open" id="S3.SS2.p1.7.m7.2.2.2.2.3.cmml" xref="S3.SS2.p1.7.m7.2.2.2.2.2"><apply id="S3.SS2.p1.7.m7.1.1.1.1.1.1.cmml" xref="S3.SS2.p1.7.m7.1.1.1.1.1.1"><csymbol cd="ambiguous" id="S3.SS2.p1.7.m7.1.1.1.1.1.1.1.cmml" xref="S3.SS2.p1.7.m7.1.1.1.1.1.1">subscript</csymbol><ci id="S3.SS2.p1.7.m7.1.1.1.1.1.1.2.cmml" xref="S3.SS2.p1.7.m7.1.1.1.1.1.1.2">𝑠</ci><ci id="S3.SS2.p1.7.m7.1.1.1.1.1.1.3.cmml" xref="S3.SS2.p1.7.m7.1.1.1.1.1.1.3">𝑡</ci></apply><apply id="S3.SS2.p1.7.m7.2.2.2.2.2.2.cmml" xref="S3.SS2.p1.7.m7.2.2.2.2.2.2"><csymbol cd="ambiguous" id="S3.SS2.p1.7.m7.2.2.2.2.2.2.1.cmml" xref="S3.SS2.p1.7.m7.2.2.2.2.2.2">subscript</csymbol><ci id="S3.SS2.p1.7.m7.2.2.2.2.2.2.2.cmml" xref="S3.SS2.p1.7.m7.2.2.2.2.2.2.2">𝑎</ci><ci id="S3.SS2.p1.7.m7.2.2.2.2.2.2.3.cmml" xref="S3.SS2.p1.7.m7.2.2.2.2.2.2.3">𝑡</ci></apply></interval></apply><apply id="S3.SS2.p1.7.m7.6.6.6.cmml" xref="S3.SS2.p1.7.m7.6.6.6"><minus id="S3.SS2.p1.7.m7.6.6.6.5.cmml" xref="S3.SS2.p1.7.m7.6.6.6.5"></minus><apply id="S3.SS2.p1.7.m7.5.5.5.3.cmml" xref="S3.SS2.p1.7.m7.5.5.5.3"><plus id="S3.SS2.p1.7.m7.5.5.5.3.4.cmml" xref="S3.SS2.p1.7.m7.5.5.5.3.4"></plus><apply id="S3.SS2.p1.7.m7.4.4.4.2.2.cmml" xref="S3.SS2.p1.7.m7.4.4.4.2.2"><times id="S3.SS2.p1.7.m7.4.4.4.2.2.3.cmml" xref="S3.SS2.p1.7.m7.4.4.4.2.2.3"></times><ci id="S3.SS2.p1.7.m7.4.4.4.2.2.4.cmml" xref="S3.SS2.p1.7.m7.4.4.4.2.2.4">𝑟</ci><interval closure="open" id="S3.SS2.p1.7.m7.4.4.4.2.2.2.3.cmml" xref="S3.SS2.p1.7.m7.4.4.4.2.2.2.2"><apply id="S3.SS2.p1.7.m7.3.3.3.1.1.1.1.1.cmml" xref="S3.SS2.p1.7.m7.3.3.3.1.1.1.1.1"><csymbol cd="ambiguous" id="S3.SS2.p1.7.m7.3.3.3.1.1.1.1.1.1.cmml" xref="S3.SS2.p1.7.m7.3.3.3.1.1.1.1.1">subscript</csymbol><ci id="S3.SS2.p1.7.m7.3.3.3.1.1.1.1.1.2.cmml" xref="S3.SS2.p1.7.m7.3.3.3.1.1.1.1.1.2">𝑠</ci><ci id="S3.SS2.p1.7.m7.3.3.3.1.1.1.1.1.3.cmml" xref="S3.SS2.p1.7.m7.3.3.3.1.1.1.1.1.3">𝑡</ci></apply><apply id="S3.SS2.p1.7.m7.4.4.4.2.2.2.2.2.cmml" xref="S3.SS2.p1.7.m7.4.4.4.2.2.2.2.2"><csymbol cd="ambiguous" id="S3.SS2.p1.7.m7.4.4.4.2.2.2.2.2.1.cmml" xref="S3.SS2.p1.7.m7.4.4.4.2.2.2.2.2">subscript</csymbol><ci id="S3.SS2.p1.7.m7.4.4.4.2.2.2.2.2.2.cmml" xref="S3.SS2.p1.7.m7.4.4.4.2.2.2.2.2.2">𝑎</ci><ci id="S3.SS2.p1.7.m7.4.4.4.2.2.2.2.2.3.cmml" xref="S3.SS2.p1.7.m7.4.4.4.2.2.2.2.2.3">𝑡</ci></apply></interval></apply><apply id="S3.SS2.p1.7.m7.5.5.5.3.3.cmml" xref="S3.SS2.p1.7.m7.5.5.5.3.3"><times id="S3.SS2.p1.7.m7.5.5.5.3.3.2.cmml" xref="S3.SS2.p1.7.m7.5.5.5.3.3.2"></times><ci id="S3.SS2.p1.7.m7.5.5.5.3.3.3.cmml" xref="S3.SS2.p1.7.m7.5.5.5.3.3.3">𝑉</ci><apply id="S3.SS2.p1.7.m7.5.5.5.3.3.1.1.1.cmml" xref="S3.SS2.p1.7.m7.5.5.5.3.3.1.1"><csymbol cd="ambiguous" id="S3.SS2.p1.7.m7.5.5.5.3.3.1.1.1.1.cmml" xref="S3.SS2.p1.7.m7.5.5.5.3.3.1.1">subscript</csymbol><ci id="S3.SS2.p1.7.m7.5.5.5.3.3.1.1.1.2.cmml" xref="S3.SS2.p1.7.m7.5.5.5.3.3.1.1.1.2">𝑠</ci><apply id="S3.SS2.p1.7.m7.5.5.5.3.3.1.1.1.3.cmml" xref="S3.SS2.p1.7.m7.5.5.5.3.3.1.1.1.3"><plus id="S3.SS2.p1.7.m7.5.5.5.3.3.1.1.1.3.1.cmml" xref="S3.SS2.p1.7.m7.5.5.5.3.3.1.1.1.3.1"></plus><ci id="S3.SS2.p1.7.m7.5.5.5.3.3.1.1.1.3.2.cmml" xref="S3.SS2.p1.7.m7.5.5.5.3.3.1.1.1.3.2">𝑡</ci><cn type="integer" id="S3.SS2.p1.7.m7.5.5.5.3.3.1.1.1.3.3.cmml" xref="S3.SS2.p1.7.m7.5.5.5.3.3.1.1.1.3.3">1</cn></apply></apply></apply></apply><apply id="S3.SS2.p1.7.m7.6.6.6.4.cmml" xref="S3.SS2.p1.7.m7.6.6.6.4"><times id="S3.SS2.p1.7.m7.6.6.6.4.2.cmml" xref="S3.SS2.p1.7.m7.6.6.6.4.2"></times><ci id="S3.SS2.p1.7.m7.6.6.6.4.3.cmml" xref="S3.SS2.p1.7.m7.6.6.6.4.3">𝑉</ci><apply id="S3.SS2.p1.7.m7.6.6.6.4.1.1.1.cmml" xref="S3.SS2.p1.7.m7.6.6.6.4.1.1"><csymbol cd="ambiguous" id="S3.SS2.p1.7.m7.6.6.6.4.1.1.1.1.cmml" xref="S3.SS2.p1.7.m7.6.6.6.4.1.1">subscript</csymbol><ci id="S3.SS2.p1.7.m7.6.6.6.4.1.1.1.2.cmml" xref="S3.SS2.p1.7.m7.6.6.6.4.1.1.1.2">𝑠</ci><ci id="S3.SS2.p1.7.m7.6.6.6.4.1.1.1.3.cmml" xref="S3.SS2.p1.7.m7.6.6.6.4.1.1.1.3">𝑡</ci></apply></apply></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="S3.SS2.p1.7.m7.6c">A(s_{t},a_{t})\approx r(s_{t},a_{t})+V(s_{t+1})-V(s_{t})</annotation></semantics></math>.<span id="footnote4" class="ltx_note ltx_role_footnote"><sup class="ltx_note_mark">4</sup><span class="ltx_note_outer"><span class="ltx_note_content"><sup class="ltx_note_mark">4</sup><span class="ltx_tag ltx_tag_note">4</span>This value model <math id="footnote4.m1.1" class="ltx_Math" alttext="V(s)" display="inline"><semantics id="footnote4.m1.1b"><mrow id="footnote4.m1.1.2" xref="footnote4.m1.1.2.cmml"><mi id="footnote4.m1.1.2.2" xref="footnote4.m1.1.2.2.cmml">V</mi><mo lspace="0em" rspace="0em" id="footnote4.m1.1.2.1" xref="footnote4.m1.1.2.1.cmml">​</mo><mrow id="footnote4.m1.1.2.3.2" xref="footnote4.m1.1.2.cmml"><mo stretchy="false" id="footnote4.m1.1.2.3.2.1" xref="footnote4.m1.1.2.cmml">(</mo><mi id="footnote4.m1.1.1" xref="footnote4.m1.1.1.cmml">s</mi><mo stretchy="false" id="footnote4.m1.1.2.3.2.2" xref="footnote4.m1.1.2.cmml">)</mo></mrow></mrow><annotation-xml encoding="MathML-Content" id="footnote4.m1.1c"><apply id="footnote4.m1.1.2.cmml" xref="footnote4.m1.1.2"><times id="footnote4.m1.1.2.1.cmml" xref="footnote4.m1.1.2.1"></times><ci id="footnote4.m1.1.2.2.cmml" xref="footnote4.m1.1.2.2">𝑉</ci><ci id="footnote4.m1.1.1.cmml" xref="footnote4.m1.1.1">𝑠</ci></apply></annotation-xml><annotation encoding="application/x-tex" id="footnote4.m1.1d">V(s)</annotation></semantics></math> is trained by a temporal difference learning objective <cite class="ltx_cite ltx_citemacro_citep">(Sutton, <a href="#bib.bib36" title="" class="ltx_ref">1988</a>)</cite> to estimate the long-term return starting from an arbitrary state <math id="footnote4.m2.1" class="ltx_Math" alttext="s" display="inline"><semantics id="footnote4.m2.1b"><mi id="footnote4.m2.1.1" xref="footnote4.m2.1.1.cmml">s</mi><annotation-xml encoding="MathML-Content" id="footnote4.m2.1c"><ci id="footnote4.m2.1.1.cmml" xref="footnote4.m2.1.1">𝑠</ci></annotation-xml><annotation encoding="application/x-tex" id="footnote4.m2.1d">s</annotation></semantics></math>. </span></span></span> In addition, Generalized Advantage Estimation (GAE) <cite class="ltx_cite ltx_citemacro_citep">(Schulman et al., <a href="#bib.bib29" title="" class="ltx_ref">2016</a>)</cite> is applied in the above calculation of <math id="S3.SS2.p1.8.m8.2" class="ltx_Math" alttext="A(s_{t},a_{t})" display="inline"><semantics id="S3.SS2.p1.8.m8.2a"><mrow id="S3.SS2.p1.8.m8.2.2" xref="S3.SS2.p1.8.m8.2.2.cmml"><mi id="S3.SS2.p1.8.m8.2.2.4" xref="S3.SS2.p1.8.m8.2.2.4.cmml">A</mi><mo lspace="0em" rspace="0em" id="S3.SS2.p1.8.m8.2.2.3" xref="S3.SS2.p1.8.m8.2.2.3.cmml">​</mo><mrow id="S3.SS2.p1.8.m8.2.2.2.2" xref="S3.SS2.p1.8.m8.2.2.2.3.cmml"><mo stretchy="false" id="S3.SS2.p1.8.m8.2.2.2.2.3" xref="S3.SS2.p1.8.m8.2.2.2.3.cmml">(</mo><msub id="S3.SS2.p1.8.m8.1.1.1.1.1" xref="S3.SS2.p1.8.m8.1.1.1.1.1.cmml"><mi id="S3.SS2.p1.8.m8.1.1.1.1.1.2" xref="S3.SS2.p1.8.m8.1.1.1.1.1.2.cmml">s</mi><mi id="S3.SS2.p1.8.m8.1.1.1.1.1.3" xref="S3.SS2.p1.8.m8.1.1.1.1.1.3.cmml">t</mi></msub><mo id="S3.SS2.p1.8.m8.2.2.2.2.4" xref="S3.SS2.p1.8.m8.2.2.2.3.cmml">,</mo><msub id="S3.SS2.p1.8.m8.2.2.2.2.2" xref="S3.SS2.p1.8.m8.2.2.2.2.2.cmml"><mi id="S3.SS2.p1.8.m8.2.2.2.2.2.2" xref="S3.SS2.p1.8.m8.2.2.2.2.2.2.cmml">a</mi><mi id="S3.SS2.p1.8.m8.2.2.2.2.2.3" xref="S3.SS2.p1.8.m8.2.2.2.2.2.3.cmml">t</mi></msub><mo stretchy="false" id="S3.SS2.p1.8.m8.2.2.2.2.5" xref="S3.SS2.p1.8.m8.2.2.2.3.cmml">)</mo></mrow></mrow><annotation-xml encoding="MathML-Content" id="S3.SS2.p1.8.m8.2b"><apply id="S3.SS2.p1.8.m8.2.2.cmml" xref="S3.SS2.p1.8.m8.2.2"><times id="S3.SS2.p1.8.m8.2.2.3.cmml" xref="S3.SS2.p1.8.m8.2.2.3"></times><ci id="S3.SS2.p1.8.m8.2.2.4.cmml" xref="S3.SS2.p1.8.m8.2.2.4">𝐴</ci><interval closure="open" id="S3.SS2.p1.8.m8.2.2.2.3.cmml" xref="S3.SS2.p1.8.m8.2.2.2.2"><apply id="S3.SS2.p1.8.m8.1.1.1.1.1.cmml" xref="S3.SS2.p1.8.m8.1.1.1.1.1"><csymbol cd="ambiguous" id="S3.SS2.p1.8.m8.1.1.1.1.1.1.cmml" xref="S3.SS2.p1.8.m8.1.1.1.1.1">subscript</csymbol><ci id="S3.SS2.p1.8.m8.1.1.1.1.1.2.cmml" xref="S3.SS2.p1.8.m8.1.1.1.1.1.2">𝑠</ci><ci id="S3.SS2.p1.8.m8.1.1.1.1.1.3.cmml" xref="S3.SS2.p1.8.m8.1.1.1.1.1.3">𝑡</ci></apply><apply id="S3.SS2.p1.8.m8.2.2.2.2.2.cmml" xref="S3.SS2.p1.8.m8.2.2.2.2.2"><csymbol cd="ambiguous" id="S3.SS2.p1.8.m8.2.2.2.2.2.1.cmml" xref="S3.SS2.p1.8.m8.2.2.2.2.2">subscript</csymbol><ci id="S3.SS2.p1.8.m8.2.2.2.2.2.2.cmml" xref="S3.SS2.p1.8.m8.2.2.2.2.2.2">𝑎</ci><ci id="S3.SS2.p1.8.m8.2.2.2.2.2.3.cmml" xref="S3.SS2.p1.8.m8.2.2.2.2.2.3">𝑡</ci></apply></interval></apply></annotation-xml><annotation encoding="application/x-tex" id="S3.SS2.p1.8.m8.2c">A(s_{t},a_{t})</annotation></semantics></math>, introducing the GAE coefficient, a hyper-parameter requiring tuning, not shown in <a href="#S3.E5" title="In 3.2 A Natural Solution to Problem (2): PPO ‣ 3 Problem Formulation ‣ ReMax: A Simple, Effective, and Efficient Reinforcement Learning Method for Aligning Large Language Models" class="ltx_ref"><span class="ltx_text ltx_ref_tag">Equation</span> <span class="ltx_text ltx_ref_tag">5</span></a> for simplicity.</p>
</div>
</section>
<section id="S3.SS3" class="ltx_subsection">
<h3 class="ltx_title ltx_title_subsection">
<span class="ltx_tag ltx_tag_subsection">3.3 </span>PPO is not the Best Fit for RLHF</h3>

<div id="S3.SS3.p1" class="ltx_para">
<p id="S3.SS3.p1.1" class="ltx_p">For RLHF tasks, we find that the value model employed in PPO brings a substantial computational burden. This is primarily due to two factors. First, the value model usually shares a similar scale with the language model. Second, the value model’s training requires resources for gradients, activations, and optimizer states. As such, a trainable value (or language) model typically requires more than 4 times the GPU memory during training compared with inference. As a result, roughly 50% of GPU memory usage in PPO is allocated to value model learning, with the remaining portion being dominated by the language model learning. Thus, reducing the computational load imposed by the value model is essential.</p>
</div>
<div id="S3.SS3.p2" class="ltx_para">
<p id="S3.SS3.p2.1" class="ltx_p">In pursuit of this objective, we first revisit the motivation behind introducing a value model in PPO. There are two primary purposes. The first is to improve sample efficiency: for MDPs with <em id="S3.SS3.p2.1.1" class="ltx_emph ltx_font_italic">stochastic</em> transitions and rewards, PPO utilizes the value model to predict the expected long-term return, preventing the wastage of data from past experiences <cite class="ltx_cite ltx_citemacro_citep">(Cai et al., <a href="#bib.bib6" title="" class="ltx_ref">2020</a>)</cite>. The second purpose is to enhance computational efficiency: a value model provides an <em id="S3.SS3.p2.1.2" class="ltx_emph ltx_font_italic">approximate</em> estimation of long-term returns, without the need for full trajectory rollouts and evaluations <cite class="ltx_cite ltx_citemacro_citep">(Silver et al., <a href="#bib.bib31" title="" class="ltx_ref">2016</a>)</cite>.</p>
</div>
<figure id="S3.F2" class="ltx_figure"><img src="/html/2310.10505/assets/x2.png" id="S3.F2.g1" class="ltx_graphics ltx_centering ltx_img_landscape" width="392" height="242" alt="Refer to caption">
<figcaption class="ltx_caption ltx_centering"><span class="ltx_tag ltx_tag_figure"><span id="S3.F2.2.1.1" class="ltx_text" style="font-size:90%;">Figure 2</span>: </span><span id="S3.F2.3.2" class="ltx_text" style="font-size:90%;">Illustration that how PPO and ReMax fit to general RL and specific RLHF tasks, respectively.</span></figcaption>
</figure>
<div id="S3.SS3.p3" class="ltx_para">
<p id="S3.SS3.p3.1" class="ltx_p">However, we observe that these motivations are not directly applicable to RLHF tasks for LLMs. As a result, PPO is not the best fit for RLHF. Specifically, we discover three important properties of RLHF that are different from general RL tasks.</p>
<ul id="S3.I1" class="ltx_itemize">
<li id="S3.I1.i1" class="ltx_item" style="list-style-type:none;">
<span class="ltx_tag ltx_tag_item">•</span> 
<div id="S3.I1.i1.p1" class="ltx_para">
<p id="S3.I1.i1.p1.1" class="ltx_p"><span id="S3.I1.i1.p1.1.1" class="ltx_text ltx_font_bold">Property 1: fast simulation.</span> While the long-term return is expensive to get in some classical RL applications (e.g., Go, Atari games, and robotics), it is cheap and easy to obtain in the RLHF setup. As shown in <a href="#S3.E2" title="In 3.1 Reward Maximization as Sequential Decision-making Task ‣ 3 Problem Formulation ‣ ReMax: A Simple, Effective, and Efficient Reinforcement Learning Method for Aligning Large Language Models" class="ltx_ref"><span class="ltx_text ltx_ref_tag">Equation</span> <span class="ltx_text ltx_ref_tag">2</span></a>, the long-term return in RLHF is nothing but the trajectory reward of one response by LLM. Getting this reward is simple: it only needs a query of the language model and reward model. For models with less than 10B parameters, it usually takes no more than 3 seconds on modern GPUs.</p>
</div>
</li>
<li id="S3.I1.i2" class="ltx_item" style="list-style-type:none;">
<span class="ltx_tag ltx_tag_item">•</span> 
<div id="S3.I1.i2.p1" class="ltx_para">
<p id="S3.I1.i2.p1.4" class="ltx_p"><span id="S3.I1.i2.p1.4.1" class="ltx_text ltx_font_bold">Property 2: deterministic environment.</span> As shown in <a href="#S3.E4" title="In 3.1 Reward Maximization as Sequential Decision-making Task ‣ 3 Problem Formulation ‣ ReMax: A Simple, Effective, and Efficient Reinforcement Learning Method for Aligning Large Language Models" class="ltx_ref"><span class="ltx_text ltx_ref_tag">Equation</span> <span class="ltx_text ltx_ref_tag">4</span></a>, the transition is deterministic. That is, give an <math id="S3.I1.i2.p1.1.m1.2" class="ltx_Math" alttext="(s_{t},a_{t})" display="inline"><semantics id="S3.I1.i2.p1.1.m1.2a"><mrow id="S3.I1.i2.p1.1.m1.2.2.2" xref="S3.I1.i2.p1.1.m1.2.2.3.cmml"><mo stretchy="false" id="S3.I1.i2.p1.1.m1.2.2.2.3" xref="S3.I1.i2.p1.1.m1.2.2.3.cmml">(</mo><msub id="S3.I1.i2.p1.1.m1.1.1.1.1" xref="S3.I1.i2.p1.1.m1.1.1.1.1.cmml"><mi id="S3.I1.i2.p1.1.m1.1.1.1.1.2" xref="S3.I1.i2.p1.1.m1.1.1.1.1.2.cmml">s</mi><mi id="S3.I1.i2.p1.1.m1.1.1.1.1.3" xref="S3.I1.i2.p1.1.m1.1.1.1.1.3.cmml">t</mi></msub><mo id="S3.I1.i2.p1.1.m1.2.2.2.4" xref="S3.I1.i2.p1.1.m1.2.2.3.cmml">,</mo><msub id="S3.I1.i2.p1.1.m1.2.2.2.2" xref="S3.I1.i2.p1.1.m1.2.2.2.2.cmml"><mi id="S3.I1.i2.p1.1.m1.2.2.2.2.2" xref="S3.I1.i2.p1.1.m1.2.2.2.2.2.cmml">a</mi><mi id="S3.I1.i2.p1.1.m1.2.2.2.2.3" xref="S3.I1.i2.p1.1.m1.2.2.2.2.3.cmml">t</mi></msub><mo stretchy="false" id="S3.I1.i2.p1.1.m1.2.2.2.5" xref="S3.I1.i2.p1.1.m1.2.2.3.cmml">)</mo></mrow><annotation-xml encoding="MathML-Content" id="S3.I1.i2.p1.1.m1.2b"><interval closure="open" id="S3.I1.i2.p1.1.m1.2.2.3.cmml" xref="S3.I1.i2.p1.1.m1.2.2.2"><apply id="S3.I1.i2.p1.1.m1.1.1.1.1.cmml" xref="S3.I1.i2.p1.1.m1.1.1.1.1"><csymbol cd="ambiguous" id="S3.I1.i2.p1.1.m1.1.1.1.1.1.cmml" xref="S3.I1.i2.p1.1.m1.1.1.1.1">subscript</csymbol><ci id="S3.I1.i2.p1.1.m1.1.1.1.1.2.cmml" xref="S3.I1.i2.p1.1.m1.1.1.1.1.2">𝑠</ci><ci id="S3.I1.i2.p1.1.m1.1.1.1.1.3.cmml" xref="S3.I1.i2.p1.1.m1.1.1.1.1.3">𝑡</ci></apply><apply id="S3.I1.i2.p1.1.m1.2.2.2.2.cmml" xref="S3.I1.i2.p1.1.m1.2.2.2.2"><csymbol cd="ambiguous" id="S3.I1.i2.p1.1.m1.2.2.2.2.1.cmml" xref="S3.I1.i2.p1.1.m1.2.2.2.2">subscript</csymbol><ci id="S3.I1.i2.p1.1.m1.2.2.2.2.2.cmml" xref="S3.I1.i2.p1.1.m1.2.2.2.2.2">𝑎</ci><ci id="S3.I1.i2.p1.1.m1.2.2.2.2.3.cmml" xref="S3.I1.i2.p1.1.m1.2.2.2.2.3">𝑡</ci></apply></interval></annotation-xml><annotation encoding="application/x-tex" id="S3.I1.i2.p1.1.m1.2c">(s_{t},a_{t})</annotation></semantics></math> pair, the next state <math id="S3.I1.i2.p1.2.m2.1" class="ltx_Math" alttext="s_{t+1}" display="inline"><semantics id="S3.I1.i2.p1.2.m2.1a"><msub id="S3.I1.i2.p1.2.m2.1.1" xref="S3.I1.i2.p1.2.m2.1.1.cmml"><mi id="S3.I1.i2.p1.2.m2.1.1.2" xref="S3.I1.i2.p1.2.m2.1.1.2.cmml">s</mi><mrow id="S3.I1.i2.p1.2.m2.1.1.3" xref="S3.I1.i2.p1.2.m2.1.1.3.cmml"><mi id="S3.I1.i2.p1.2.m2.1.1.3.2" xref="S3.I1.i2.p1.2.m2.1.1.3.2.cmml">t</mi><mo id="S3.I1.i2.p1.2.m2.1.1.3.1" xref="S3.I1.i2.p1.2.m2.1.1.3.1.cmml">+</mo><mn id="S3.I1.i2.p1.2.m2.1.1.3.3" xref="S3.I1.i2.p1.2.m2.1.1.3.3.cmml">1</mn></mrow></msub><annotation-xml encoding="MathML-Content" id="S3.I1.i2.p1.2.m2.1b"><apply id="S3.I1.i2.p1.2.m2.1.1.cmml" xref="S3.I1.i2.p1.2.m2.1.1"><csymbol cd="ambiguous" id="S3.I1.i2.p1.2.m2.1.1.1.cmml" xref="S3.I1.i2.p1.2.m2.1.1">subscript</csymbol><ci id="S3.I1.i2.p1.2.m2.1.1.2.cmml" xref="S3.I1.i2.p1.2.m2.1.1.2">𝑠</ci><apply id="S3.I1.i2.p1.2.m2.1.1.3.cmml" xref="S3.I1.i2.p1.2.m2.1.1.3"><plus id="S3.I1.i2.p1.2.m2.1.1.3.1.cmml" xref="S3.I1.i2.p1.2.m2.1.1.3.1"></plus><ci id="S3.I1.i2.p1.2.m2.1.1.3.2.cmml" xref="S3.I1.i2.p1.2.m2.1.1.3.2">𝑡</ci><cn type="integer" id="S3.I1.i2.p1.2.m2.1.1.3.3.cmml" xref="S3.I1.i2.p1.2.m2.1.1.3.3">1</cn></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="S3.I1.i2.p1.2.m2.1c">s_{t+1}</annotation></semantics></math> is known. Further, the reward function <math id="S3.I1.i2.p1.3.m3.2" class="ltx_Math" alttext="r(s_{t},a_{t})" display="inline"><semantics id="S3.I1.i2.p1.3.m3.2a"><mrow id="S3.I1.i2.p1.3.m3.2.2" xref="S3.I1.i2.p1.3.m3.2.2.cmml"><mi id="S3.I1.i2.p1.3.m3.2.2.4" xref="S3.I1.i2.p1.3.m3.2.2.4.cmml">r</mi><mo lspace="0em" rspace="0em" id="S3.I1.i2.p1.3.m3.2.2.3" xref="S3.I1.i2.p1.3.m3.2.2.3.cmml">​</mo><mrow id="S3.I1.i2.p1.3.m3.2.2.2.2" xref="S3.I1.i2.p1.3.m3.2.2.2.3.cmml"><mo stretchy="false" id="S3.I1.i2.p1.3.m3.2.2.2.2.3" xref="S3.I1.i2.p1.3.m3.2.2.2.3.cmml">(</mo><msub id="S3.I1.i2.p1.3.m3.1.1.1.1.1" xref="S3.I1.i2.p1.3.m3.1.1.1.1.1.cmml"><mi id="S3.I1.i2.p1.3.m3.1.1.1.1.1.2" xref="S3.I1.i2.p1.3.m3.1.1.1.1.1.2.cmml">s</mi><mi id="S3.I1.i2.p1.3.m3.1.1.1.1.1.3" xref="S3.I1.i2.p1.3.m3.1.1.1.1.1.3.cmml">t</mi></msub><mo id="S3.I1.i2.p1.3.m3.2.2.2.2.4" xref="S3.I1.i2.p1.3.m3.2.2.2.3.cmml">,</mo><msub id="S3.I1.i2.p1.3.m3.2.2.2.2.2" xref="S3.I1.i2.p1.3.m3.2.2.2.2.2.cmml"><mi id="S3.I1.i2.p1.3.m3.2.2.2.2.2.2" xref="S3.I1.i2.p1.3.m3.2.2.2.2.2.2.cmml">a</mi><mi id="S3.I1.i2.p1.3.m3.2.2.2.2.2.3" xref="S3.I1.i2.p1.3.m3.2.2.2.2.2.3.cmml">t</mi></msub><mo stretchy="false" id="S3.I1.i2.p1.3.m3.2.2.2.2.5" xref="S3.I1.i2.p1.3.m3.2.2.2.3.cmml">)</mo></mrow></mrow><annotation-xml encoding="MathML-Content" id="S3.I1.i2.p1.3.m3.2b"><apply id="S3.I1.i2.p1.3.m3.2.2.cmml" xref="S3.I1.i2.p1.3.m3.2.2"><times id="S3.I1.i2.p1.3.m3.2.2.3.cmml" xref="S3.I1.i2.p1.3.m3.2.2.3"></times><ci id="S3.I1.i2.p1.3.m3.2.2.4.cmml" xref="S3.I1.i2.p1.3.m3.2.2.4">𝑟</ci><interval closure="open" id="S3.I1.i2.p1.3.m3.2.2.2.3.cmml" xref="S3.I1.i2.p1.3.m3.2.2.2.2"><apply id="S3.I1.i2.p1.3.m3.1.1.1.1.1.cmml" xref="S3.I1.i2.p1.3.m3.1.1.1.1.1"><csymbol cd="ambiguous" id="S3.I1.i2.p1.3.m3.1.1.1.1.1.1.cmml" xref="S3.I1.i2.p1.3.m3.1.1.1.1.1">subscript</csymbol><ci id="S3.I1.i2.p1.3.m3.1.1.1.1.1.2.cmml" xref="S3.I1.i2.p1.3.m3.1.1.1.1.1.2">𝑠</ci><ci id="S3.I1.i2.p1.3.m3.1.1.1.1.1.3.cmml" xref="S3.I1.i2.p1.3.m3.1.1.1.1.1.3">𝑡</ci></apply><apply id="S3.I1.i2.p1.3.m3.2.2.2.2.2.cmml" xref="S3.I1.i2.p1.3.m3.2.2.2.2.2"><csymbol cd="ambiguous" id="S3.I1.i2.p1.3.m3.2.2.2.2.2.1.cmml" xref="S3.I1.i2.p1.3.m3.2.2.2.2.2">subscript</csymbol><ci id="S3.I1.i2.p1.3.m3.2.2.2.2.2.2.cmml" xref="S3.I1.i2.p1.3.m3.2.2.2.2.2.2">𝑎</ci><ci id="S3.I1.i2.p1.3.m3.2.2.2.2.2.3.cmml" xref="S3.I1.i2.p1.3.m3.2.2.2.2.2.3">𝑡</ci></apply></interval></apply></annotation-xml><annotation encoding="application/x-tex" id="S3.I1.i2.p1.3.m3.2c">r(s_{t},a_{t})</annotation></semantics></math> is also deterministic since it is from the neural network. Therefore, the whole environment of RLHF is deterministic. Note that the agent (i.e., the LLM) follows a randomized policy <math id="S3.I1.i2.p1.4.m4.1" class="ltx_Math" alttext="\pi_{\theta}" display="inline"><semantics id="S3.I1.i2.p1.4.m4.1a"><msub id="S3.I1.i2.p1.4.m4.1.1" xref="S3.I1.i2.p1.4.m4.1.1.cmml"><mi id="S3.I1.i2.p1.4.m4.1.1.2" xref="S3.I1.i2.p1.4.m4.1.1.2.cmml">π</mi><mi id="S3.I1.i2.p1.4.m4.1.1.3" xref="S3.I1.i2.p1.4.m4.1.1.3.cmml">θ</mi></msub><annotation-xml encoding="MathML-Content" id="S3.I1.i2.p1.4.m4.1b"><apply id="S3.I1.i2.p1.4.m4.1.1.cmml" xref="S3.I1.i2.p1.4.m4.1.1"><csymbol cd="ambiguous" id="S3.I1.i2.p1.4.m4.1.1.1.cmml" xref="S3.I1.i2.p1.4.m4.1.1">subscript</csymbol><ci id="S3.I1.i2.p1.4.m4.1.1.2.cmml" xref="S3.I1.i2.p1.4.m4.1.1.2">𝜋</ci><ci id="S3.I1.i2.p1.4.m4.1.1.3.cmml" xref="S3.I1.i2.p1.4.m4.1.1.3">𝜃</ci></apply></annotation-xml><annotation encoding="application/x-tex" id="S3.I1.i2.p1.4.m4.1c">\pi_{\theta}</annotation></semantics></math> to generate responses, but the randomness of agents is not counted in the environment.</p>
</div>
</li>
<li id="S3.I1.i3" class="ltx_item" style="list-style-type:none;">
<span class="ltx_tag ltx_tag_item">•</span> 
<div id="S3.I1.i3.p1" class="ltx_para">
<p id="S3.I1.i3.p1.2" class="ltx_p"><span id="S3.I1.i3.p1.2.1" class="ltx_text ltx_font_bold">Property 3: trajectory-level reward.</span> As shown in <a href="#S3.E3" title="In 3.1 Reward Maximization as Sequential Decision-making Task ‣ 3 Problem Formulation ‣ ReMax: A Simple, Effective, and Efficient Reinforcement Learning Method for Aligning Large Language Models" class="ltx_ref"><span class="ltx_text ltx_ref_tag">Equation</span> <span class="ltx_text ltx_ref_tag">3</span></a>, <math id="S3.I1.i3.p1.1.m1.2" class="ltx_Math" alttext="r(s_{t},a_{t})" display="inline"><semantics id="S3.I1.i3.p1.1.m1.2a"><mrow id="S3.I1.i3.p1.1.m1.2.2" xref="S3.I1.i3.p1.1.m1.2.2.cmml"><mi id="S3.I1.i3.p1.1.m1.2.2.4" xref="S3.I1.i3.p1.1.m1.2.2.4.cmml">r</mi><mo lspace="0em" rspace="0em" id="S3.I1.i3.p1.1.m1.2.2.3" xref="S3.I1.i3.p1.1.m1.2.2.3.cmml">​</mo><mrow id="S3.I1.i3.p1.1.m1.2.2.2.2" xref="S3.I1.i3.p1.1.m1.2.2.2.3.cmml"><mo stretchy="false" id="S3.I1.i3.p1.1.m1.2.2.2.2.3" xref="S3.I1.i3.p1.1.m1.2.2.2.3.cmml">(</mo><msub id="S3.I1.i3.p1.1.m1.1.1.1.1.1" xref="S3.I1.i3.p1.1.m1.1.1.1.1.1.cmml"><mi id="S3.I1.i3.p1.1.m1.1.1.1.1.1.2" xref="S3.I1.i3.p1.1.m1.1.1.1.1.1.2.cmml">s</mi><mi id="S3.I1.i3.p1.1.m1.1.1.1.1.1.3" xref="S3.I1.i3.p1.1.m1.1.1.1.1.1.3.cmml">t</mi></msub><mo id="S3.I1.i3.p1.1.m1.2.2.2.2.4" xref="S3.I1.i3.p1.1.m1.2.2.2.3.cmml">,</mo><msub id="S3.I1.i3.p1.1.m1.2.2.2.2.2" xref="S3.I1.i3.p1.1.m1.2.2.2.2.2.cmml"><mi id="S3.I1.i3.p1.1.m1.2.2.2.2.2.2" xref="S3.I1.i3.p1.1.m1.2.2.2.2.2.2.cmml">a</mi><mi id="S3.I1.i3.p1.1.m1.2.2.2.2.2.3" xref="S3.I1.i3.p1.1.m1.2.2.2.2.2.3.cmml">t</mi></msub><mo stretchy="false" id="S3.I1.i3.p1.1.m1.2.2.2.2.5" xref="S3.I1.i3.p1.1.m1.2.2.2.3.cmml">)</mo></mrow></mrow><annotation-xml encoding="MathML-Content" id="S3.I1.i3.p1.1.m1.2b"><apply id="S3.I1.i3.p1.1.m1.2.2.cmml" xref="S3.I1.i3.p1.1.m1.2.2"><times id="S3.I1.i3.p1.1.m1.2.2.3.cmml" xref="S3.I1.i3.p1.1.m1.2.2.3"></times><ci id="S3.I1.i3.p1.1.m1.2.2.4.cmml" xref="S3.I1.i3.p1.1.m1.2.2.4">𝑟</ci><interval closure="open" id="S3.I1.i3.p1.1.m1.2.2.2.3.cmml" xref="S3.I1.i3.p1.1.m1.2.2.2.2"><apply id="S3.I1.i3.p1.1.m1.1.1.1.1.1.cmml" xref="S3.I1.i3.p1.1.m1.1.1.1.1.1"><csymbol cd="ambiguous" id="S3.I1.i3.p1.1.m1.1.1.1.1.1.1.cmml" xref="S3.I1.i3.p1.1.m1.1.1.1.1.1">subscript</csymbol><ci id="S3.I1.i3.p1.1.m1.1.1.1.1.1.2.cmml" xref="S3.I1.i3.p1.1.m1.1.1.1.1.1.2">𝑠</ci><ci id="S3.I1.i3.p1.1.m1.1.1.1.1.1.3.cmml" xref="S3.I1.i3.p1.1.m1.1.1.1.1.1.3">𝑡</ci></apply><apply id="S3.I1.i3.p1.1.m1.2.2.2.2.2.cmml" xref="S3.I1.i3.p1.1.m1.2.2.2.2.2"><csymbol cd="ambiguous" id="S3.I1.i3.p1.1.m1.2.2.2.2.2.1.cmml" xref="S3.I1.i3.p1.1.m1.2.2.2.2.2">subscript</csymbol><ci id="S3.I1.i3.p1.1.m1.2.2.2.2.2.2.cmml" xref="S3.I1.i3.p1.1.m1.2.2.2.2.2.2">𝑎</ci><ci id="S3.I1.i3.p1.1.m1.2.2.2.2.2.3.cmml" xref="S3.I1.i3.p1.1.m1.2.2.2.2.2.3">𝑡</ci></apply></interval></apply></annotation-xml><annotation encoding="application/x-tex" id="S3.I1.i3.p1.1.m1.2c">r(s_{t},a_{t})</annotation></semantics></math> is non-zero only when the whole trajectory ends at <math id="S3.I1.i3.p1.2.m2.1" class="ltx_Math" alttext="t=T" display="inline"><semantics id="S3.I1.i3.p1.2.m2.1a"><mrow id="S3.I1.i3.p1.2.m2.1.1" xref="S3.I1.i3.p1.2.m2.1.1.cmml"><mi id="S3.I1.i3.p1.2.m2.1.1.2" xref="S3.I1.i3.p1.2.m2.1.1.2.cmml">t</mi><mo id="S3.I1.i3.p1.2.m2.1.1.1" xref="S3.I1.i3.p1.2.m2.1.1.1.cmml">=</mo><mi id="S3.I1.i3.p1.2.m2.1.1.3" xref="S3.I1.i3.p1.2.m2.1.1.3.cmml">T</mi></mrow><annotation-xml encoding="MathML-Content" id="S3.I1.i3.p1.2.m2.1b"><apply id="S3.I1.i3.p1.2.m2.1.1.cmml" xref="S3.I1.i3.p1.2.m2.1.1"><eq id="S3.I1.i3.p1.2.m2.1.1.1.cmml" xref="S3.I1.i3.p1.2.m2.1.1.1"></eq><ci id="S3.I1.i3.p1.2.m2.1.1.2.cmml" xref="S3.I1.i3.p1.2.m2.1.1.2">𝑡</ci><ci id="S3.I1.i3.p1.2.m2.1.1.3.cmml" xref="S3.I1.i3.p1.2.m2.1.1.3">𝑇</ci></apply></annotation-xml><annotation encoding="application/x-tex" id="S3.I1.i3.p1.2.m2.1c">t=T</annotation></semantics></math>. This property means that RLHF tasks are close to a “single-stage” optimization problem since the rewards of the intermediate stages are 0. As such, the value function used in RL may not be as useful here.</p>
</div>
</li>
</ul>
</div>
<div id="S3.SS3.p4" class="ltx_para">
<p id="S3.SS3.p4.1" class="ltx_p">Based on the above observations, we claim that the expected long-term return in RLHF can be obtained both computationally efficiently and sample efficiently, which is quite different from the general RL setup. Consequently, the value model designed in PPO does not really fit the RLHF problem (see <a href="#S3.F2" title="In 3.3 PPO is not the Best Fit for RLHF ‣ 3 Problem Formulation ‣ ReMax: A Simple, Effective, and Efficient Reinforcement Learning Method for Aligning Large Language Models" class="ltx_ref"><span class="ltx_text ltx_ref_tag">Figure</span> <span class="ltx_text ltx_ref_tag">2</span></a> for illustration). With this understanding, we propose a new algorithm tailored for RLHF tasks in the next section.</p>
</div>
</section>
</section>
<section id="S4" class="ltx_section">
<h2 class="ltx_title ltx_title_section">
<span class="ltx_tag ltx_tag_section">4 </span>Proposed Method</h2>

<div id="S4.p1" class="ltx_para">
<p id="S4.p1.1" class="ltx_p">In this section, we propose algorithms to better exploit the mentioned properties in <a href="#S3.SS3" title="3.3 PPO is not the Best Fit for RLHF ‣ 3 Problem Formulation ‣ ReMax: A Simple, Effective, and Efficient Reinforcement Learning Method for Aligning Large Language Models" class="ltx_ref"><span class="ltx_text ltx_ref_tag">Section</span> <span class="ltx_text ltx_ref_tag">3.3</span></a>.</p>
</div>
<section id="S4.SS1" class="ltx_subsection">
<h3 class="ltx_title ltx_title_subsection">
<span class="ltx_tag ltx_tag_subsection">4.1 </span>A Brief Review on REINFORCE</h3>

<div id="S4.SS1.p1" class="ltx_para">
<p id="S4.SS1.p1.1" class="ltx_p">Before introducing our proposed method, we first review a classical algorithm REINFORCE <cite class="ltx_cite ltx_citemacro_citep">(Williams, <a href="#bib.bib40" title="" class="ltx_ref">1992</a>)</cite> for solving problem (<a href="#S3.E1" title="Equation 1 ‣ 3 Problem Formulation ‣ ReMax: A Simple, Effective, and Efficient Reinforcement Learning Method for Aligning Large Language Models" class="ltx_ref"><span class="ltx_text ltx_ref_tag">1</span></a>), which can exploit the properties of RLHF tasks. In particular, REINFORCE operates iteratively, updating based on the gradient of policy. Let us consider a fixed prompt <math id="S4.SS1.p1.1.m1.1" class="ltx_Math" alttext="x" display="inline"><semantics id="S4.SS1.p1.1.m1.1a"><mi id="S4.SS1.p1.1.m1.1.1" xref="S4.SS1.p1.1.m1.1.1.cmml">x</mi><annotation-xml encoding="MathML-Content" id="S4.SS1.p1.1.m1.1b"><ci id="S4.SS1.p1.1.m1.1.1.cmml" xref="S4.SS1.p1.1.m1.1.1">𝑥</ci></annotation-xml><annotation encoding="application/x-tex" id="S4.SS1.p1.1.m1.1c">x</annotation></semantics></math>. By REINFORCE, we can determine the gradient of the objective in (<a href="#S3.E1" title="Equation 1 ‣ 3 Problem Formulation ‣ ReMax: A Simple, Effective, and Efficient Reinforcement Learning Method for Aligning Large Language Models" class="ltx_ref"><span class="ltx_text ltx_ref_tag">1</span></a>) as:</p>
<table id="A5.EGx7" class="ltx_equationgroup ltx_eqn_align ltx_eqn_table">

<tbody id="S4.Ex2"><tr class="ltx_equation ltx_eqn_row ltx_align_baseline">
<td class="ltx_eqn_cell ltx_eqn_center_padleft"></td>
<td class="ltx_td ltx_align_right ltx_eqn_cell"><math id="S4.Ex2.m1.2" class="ltx_Math" alttext="\displaystyle\nabla_{\theta}\mathbb{E}_{a_{1:T}\sim\pi_{\theta}}[r(x,a_{1:T})]" display="inline"><semantics id="S4.Ex2.m1.2a"><mrow id="S4.Ex2.m1.2.2" xref="S4.Ex2.m1.2.2.cmml"><mrow id="S4.Ex2.m1.2.2.3" xref="S4.Ex2.m1.2.2.3.cmml"><msub id="S4.Ex2.m1.2.2.3.1" xref="S4.Ex2.m1.2.2.3.1.cmml"><mo id="S4.Ex2.m1.2.2.3.1.2" xref="S4.Ex2.m1.2.2.3.1.2.cmml">∇</mo><mi id="S4.Ex2.m1.2.2.3.1.3" xref="S4.Ex2.m1.2.2.3.1.3.cmml">θ</mi></msub><msub id="S4.Ex2.m1.2.2.3.2" xref="S4.Ex2.m1.2.2.3.2.cmml"><mi id="S4.Ex2.m1.2.2.3.2.2" xref="S4.Ex2.m1.2.2.3.2.2.cmml">𝔼</mi><mrow id="S4.Ex2.m1.2.2.3.2.3" xref="S4.Ex2.m1.2.2.3.2.3.cmml"><msub id="S4.Ex2.m1.2.2.3.2.3.2" xref="S4.Ex2.m1.2.2.3.2.3.2.cmml"><mi id="S4.Ex2.m1.2.2.3.2.3.2.2" xref="S4.Ex2.m1.2.2.3.2.3.2.2.cmml">a</mi><mrow id="S4.Ex2.m1.2.2.3.2.3.2.3" xref="S4.Ex2.m1.2.2.3.2.3.2.3.cmml"><mn id="S4.Ex2.m1.2.2.3.2.3.2.3.2" xref="S4.Ex2.m1.2.2.3.2.3.2.3.2.cmml">1</mn><mo lspace="0.278em" rspace="0.278em" id="S4.Ex2.m1.2.2.3.2.3.2.3.1" xref="S4.Ex2.m1.2.2.3.2.3.2.3.1.cmml">:</mo><mi id="S4.Ex2.m1.2.2.3.2.3.2.3.3" xref="S4.Ex2.m1.2.2.3.2.3.2.3.3.cmml">T</mi></mrow></msub><mo id="S4.Ex2.m1.2.2.3.2.3.1" xref="S4.Ex2.m1.2.2.3.2.3.1.cmml">∼</mo><msub id="S4.Ex2.m1.2.2.3.2.3.3" xref="S4.Ex2.m1.2.2.3.2.3.3.cmml"><mi id="S4.Ex2.m1.2.2.3.2.3.3.2" xref="S4.Ex2.m1.2.2.3.2.3.3.2.cmml">π</mi><mi id="S4.Ex2.m1.2.2.3.2.3.3.3" xref="S4.Ex2.m1.2.2.3.2.3.3.3.cmml">θ</mi></msub></mrow></msub></mrow><mo lspace="0em" rspace="0em" id="S4.Ex2.m1.2.2.2" xref="S4.Ex2.m1.2.2.2.cmml">​</mo><mrow id="S4.Ex2.m1.2.2.1.1" xref="S4.Ex2.m1.2.2.1.2.cmml"><mo stretchy="false" id="S4.Ex2.m1.2.2.1.1.2" xref="S4.Ex2.m1.2.2.1.2.1.cmml">[</mo><mrow id="S4.Ex2.m1.2.2.1.1.1" xref="S4.Ex2.m1.2.2.1.1.1.cmml"><mi id="S4.Ex2.m1.2.2.1.1.1.3" xref="S4.Ex2.m1.2.2.1.1.1.3.cmml">r</mi><mo lspace="0em" rspace="0em" id="S4.Ex2.m1.2.2.1.1.1.2" xref="S4.Ex2.m1.2.2.1.1.1.2.cmml">​</mo><mrow id="S4.Ex2.m1.2.2.1.1.1.1.1" xref="S4.Ex2.m1.2.2.1.1.1.1.2.cmml"><mo stretchy="false" id="S4.Ex2.m1.2.2.1.1.1.1.1.2" xref="S4.Ex2.m1.2.2.1.1.1.1.2.cmml">(</mo><mi id="S4.Ex2.m1.1.1" xref="S4.Ex2.m1.1.1.cmml">x</mi><mo id="S4.Ex2.m1.2.2.1.1.1.1.1.3" xref="S4.Ex2.m1.2.2.1.1.1.1.2.cmml">,</mo><msub id="S4.Ex2.m1.2.2.1.1.1.1.1.1" xref="S4.Ex2.m1.2.2.1.1.1.1.1.1.cmml"><mi id="S4.Ex2.m1.2.2.1.1.1.1.1.1.2" xref="S4.Ex2.m1.2.2.1.1.1.1.1.1.2.cmml">a</mi><mrow id="S4.Ex2.m1.2.2.1.1.1.1.1.1.3" xref="S4.Ex2.m1.2.2.1.1.1.1.1.1.3.cmml"><mn id="S4.Ex2.m1.2.2.1.1.1.1.1.1.3.2" xref="S4.Ex2.m1.2.2.1.1.1.1.1.1.3.2.cmml">1</mn><mo lspace="0.278em" rspace="0.278em" id="S4.Ex2.m1.2.2.1.1.1.1.1.1.3.1" xref="S4.Ex2.m1.2.2.1.1.1.1.1.1.3.1.cmml">:</mo><mi id="S4.Ex2.m1.2.2.1.1.1.1.1.1.3.3" xref="S4.Ex2.m1.2.2.1.1.1.1.1.1.3.3.cmml">T</mi></mrow></msub><mo stretchy="false" id="S4.Ex2.m1.2.2.1.1.1.1.1.4" xref="S4.Ex2.m1.2.2.1.1.1.1.2.cmml">)</mo></mrow></mrow><mo stretchy="false" id="S4.Ex2.m1.2.2.1.1.3" xref="S4.Ex2.m1.2.2.1.2.1.cmml">]</mo></mrow></mrow><annotation-xml encoding="MathML-Content" id="S4.Ex2.m1.2b"><apply id="S4.Ex2.m1.2.2.cmml" xref="S4.Ex2.m1.2.2"><times id="S4.Ex2.m1.2.2.2.cmml" xref="S4.Ex2.m1.2.2.2"></times><apply id="S4.Ex2.m1.2.2.3.cmml" xref="S4.Ex2.m1.2.2.3"><apply id="S4.Ex2.m1.2.2.3.1.cmml" xref="S4.Ex2.m1.2.2.3.1"><csymbol cd="ambiguous" id="S4.Ex2.m1.2.2.3.1.1.cmml" xref="S4.Ex2.m1.2.2.3.1">subscript</csymbol><ci id="S4.Ex2.m1.2.2.3.1.2.cmml" xref="S4.Ex2.m1.2.2.3.1.2">∇</ci><ci id="S4.Ex2.m1.2.2.3.1.3.cmml" xref="S4.Ex2.m1.2.2.3.1.3">𝜃</ci></apply><apply id="S4.Ex2.m1.2.2.3.2.cmml" xref="S4.Ex2.m1.2.2.3.2"><csymbol cd="ambiguous" id="S4.Ex2.m1.2.2.3.2.1.cmml" xref="S4.Ex2.m1.2.2.3.2">subscript</csymbol><ci id="S4.Ex2.m1.2.2.3.2.2.cmml" xref="S4.Ex2.m1.2.2.3.2.2">𝔼</ci><apply id="S4.Ex2.m1.2.2.3.2.3.cmml" xref="S4.Ex2.m1.2.2.3.2.3"><csymbol cd="latexml" id="S4.Ex2.m1.2.2.3.2.3.1.cmml" xref="S4.Ex2.m1.2.2.3.2.3.1">similar-to</csymbol><apply id="S4.Ex2.m1.2.2.3.2.3.2.cmml" xref="S4.Ex2.m1.2.2.3.2.3.2"><csymbol cd="ambiguous" id="S4.Ex2.m1.2.2.3.2.3.2.1.cmml" xref="S4.Ex2.m1.2.2.3.2.3.2">subscript</csymbol><ci id="S4.Ex2.m1.2.2.3.2.3.2.2.cmml" xref="S4.Ex2.m1.2.2.3.2.3.2.2">𝑎</ci><apply id="S4.Ex2.m1.2.2.3.2.3.2.3.cmml" xref="S4.Ex2.m1.2.2.3.2.3.2.3"><ci id="S4.Ex2.m1.2.2.3.2.3.2.3.1.cmml" xref="S4.Ex2.m1.2.2.3.2.3.2.3.1">:</ci><cn type="integer" id="S4.Ex2.m1.2.2.3.2.3.2.3.2.cmml" xref="S4.Ex2.m1.2.2.3.2.3.2.3.2">1</cn><ci id="S4.Ex2.m1.2.2.3.2.3.2.3.3.cmml" xref="S4.Ex2.m1.2.2.3.2.3.2.3.3">𝑇</ci></apply></apply><apply id="S4.Ex2.m1.2.2.3.2.3.3.cmml" xref="S4.Ex2.m1.2.2.3.2.3.3"><csymbol cd="ambiguous" id="S4.Ex2.m1.2.2.3.2.3.3.1.cmml" xref="S4.Ex2.m1.2.2.3.2.3.3">subscript</csymbol><ci id="S4.Ex2.m1.2.2.3.2.3.3.2.cmml" xref="S4.Ex2.m1.2.2.3.2.3.3.2">𝜋</ci><ci id="S4.Ex2.m1.2.2.3.2.3.3.3.cmml" xref="S4.Ex2.m1.2.2.3.2.3.3.3">𝜃</ci></apply></apply></apply></apply><apply id="S4.Ex2.m1.2.2.1.2.cmml" xref="S4.Ex2.m1.2.2.1.1"><csymbol cd="latexml" id="S4.Ex2.m1.2.2.1.2.1.cmml" xref="S4.Ex2.m1.2.2.1.1.2">delimited-[]</csymbol><apply id="S4.Ex2.m1.2.2.1.1.1.cmml" xref="S4.Ex2.m1.2.2.1.1.1"><times id="S4.Ex2.m1.2.2.1.1.1.2.cmml" xref="S4.Ex2.m1.2.2.1.1.1.2"></times><ci id="S4.Ex2.m1.2.2.1.1.1.3.cmml" xref="S4.Ex2.m1.2.2.1.1.1.3">𝑟</ci><interval closure="open" id="S4.Ex2.m1.2.2.1.1.1.1.2.cmml" xref="S4.Ex2.m1.2.2.1.1.1.1.1"><ci id="S4.Ex2.m1.1.1.cmml" xref="S4.Ex2.m1.1.1">𝑥</ci><apply id="S4.Ex2.m1.2.2.1.1.1.1.1.1.cmml" xref="S4.Ex2.m1.2.2.1.1.1.1.1.1"><csymbol cd="ambiguous" id="S4.Ex2.m1.2.2.1.1.1.1.1.1.1.cmml" xref="S4.Ex2.m1.2.2.1.1.1.1.1.1">subscript</csymbol><ci id="S4.Ex2.m1.2.2.1.1.1.1.1.1.2.cmml" xref="S4.Ex2.m1.2.2.1.1.1.1.1.1.2">𝑎</ci><apply id="S4.Ex2.m1.2.2.1.1.1.1.1.1.3.cmml" xref="S4.Ex2.m1.2.2.1.1.1.1.1.1.3"><ci id="S4.Ex2.m1.2.2.1.1.1.1.1.1.3.1.cmml" xref="S4.Ex2.m1.2.2.1.1.1.1.1.1.3.1">:</ci><cn type="integer" id="S4.Ex2.m1.2.2.1.1.1.1.1.1.3.2.cmml" xref="S4.Ex2.m1.2.2.1.1.1.1.1.1.3.2">1</cn><ci id="S4.Ex2.m1.2.2.1.1.1.1.1.1.3.3.cmml" xref="S4.Ex2.m1.2.2.1.1.1.1.1.1.3.3">𝑇</ci></apply></apply></interval></apply></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="S4.Ex2.m1.2c">\displaystyle\nabla_{\theta}\mathbb{E}_{a_{1:T}\sim\pi_{\theta}}[r(x,a_{1:T})]</annotation></semantics></math></td>
<td class="ltx_td ltx_align_left ltx_eqn_cell"><math id="S4.Ex2.m2.5" class="ltx_Math" alttext="\displaystyle=\sum_{a_{1:T}}\nabla_{\theta}\left(\prod_{t=1}^{T}\pi_{\theta}(a_{t}|x,a_{1:t-1})\right)r(x,a_{1:T})" display="inline"><semantics id="S4.Ex2.m2.5a"><mrow id="S4.Ex2.m2.5.5" xref="S4.Ex2.m2.5.5.cmml"><mi id="S4.Ex2.m2.5.5.5" xref="S4.Ex2.m2.5.5.5.cmml"></mi><mo id="S4.Ex2.m2.5.5.4" xref="S4.Ex2.m2.5.5.4.cmml">=</mo><mrow id="S4.Ex2.m2.5.5.3" xref="S4.Ex2.m2.5.5.3.cmml"><mstyle displaystyle="true" id="S4.Ex2.m2.5.5.3.4" xref="S4.Ex2.m2.5.5.3.4.cmml"><munder id="S4.Ex2.m2.5.5.3.4a" xref="S4.Ex2.m2.5.5.3.4.cmml"><mo movablelimits="false" id="S4.Ex2.m2.5.5.3.4.2" xref="S4.Ex2.m2.5.5.3.4.2.cmml">∑</mo><msub id="S4.Ex2.m2.5.5.3.4.3" xref="S4.Ex2.m2.5.5.3.4.3.cmml"><mi id="S4.Ex2.m2.5.5.3.4.3.2" xref="S4.Ex2.m2.5.5.3.4.3.2.cmml">a</mi><mrow id="S4.Ex2.m2.5.5.3.4.3.3" xref="S4.Ex2.m2.5.5.3.4.3.3.cmml"><mn id="S4.Ex2.m2.5.5.3.4.3.3.2" xref="S4.Ex2.m2.5.5.3.4.3.3.2.cmml">1</mn><mo lspace="0.278em" rspace="0.278em" id="S4.Ex2.m2.5.5.3.4.3.3.1" xref="S4.Ex2.m2.5.5.3.4.3.3.1.cmml">:</mo><mi id="S4.Ex2.m2.5.5.3.4.3.3.3" xref="S4.Ex2.m2.5.5.3.4.3.3.3.cmml">T</mi></mrow></msub></munder></mstyle><mrow id="S4.Ex2.m2.5.5.3.3" xref="S4.Ex2.m2.5.5.3.3.cmml"><mrow id="S4.Ex2.m2.4.4.2.2.2" xref="S4.Ex2.m2.4.4.2.2.2.cmml"><mrow id="S4.Ex2.m2.4.4.2.2.2.2.2" xref="S4.Ex2.m2.4.4.2.2.2.2.3.cmml"><msub id="S4.Ex2.m2.3.3.1.1.1.1.1.1" xref="S4.Ex2.m2.3.3.1.1.1.1.1.1.cmml"><mo lspace="0.167em" id="S4.Ex2.m2.3.3.1.1.1.1.1.1.2" xref="S4.Ex2.m2.3.3.1.1.1.1.1.1.2.cmml">∇</mo><mi id="S4.Ex2.m2.3.3.1.1.1.1.1.1.3" xref="S4.Ex2.m2.3.3.1.1.1.1.1.1.3.cmml">θ</mi></msub><mrow id="S4.Ex2.m2.4.4.2.2.2.2.2.2" xref="S4.Ex2.m2.4.4.2.2.2.2.3.cmml"><mo id="S4.Ex2.m2.4.4.2.2.2.2.2.2.2" xref="S4.Ex2.m2.4.4.2.2.2.2.3.cmml">(</mo><mrow id="S4.Ex2.m2.4.4.2.2.2.2.2.2.1" xref="S4.Ex2.m2.4.4.2.2.2.2.2.2.1.cmml"><mstyle displaystyle="true" id="S4.Ex2.m2.4.4.2.2.2.2.2.2.1.2" xref="S4.Ex2.m2.4.4.2.2.2.2.2.2.1.2.cmml"><munderover id="S4.Ex2.m2.4.4.2.2.2.2.2.2.1.2a" xref="S4.Ex2.m2.4.4.2.2.2.2.2.2.1.2.cmml"><mo movablelimits="false" id="S4.Ex2.m2.4.4.2.2.2.2.2.2.1.2.2.2" xref="S4.Ex2.m2.4.4.2.2.2.2.2.2.1.2.2.2.cmml">∏</mo><mrow id="S4.Ex2.m2.4.4.2.2.2.2.2.2.1.2.2.3" xref="S4.Ex2.m2.4.4.2.2.2.2.2.2.1.2.2.3.cmml"><mi id="S4.Ex2.m2.4.4.2.2.2.2.2.2.1.2.2.3.2" xref="S4.Ex2.m2.4.4.2.2.2.2.2.2.1.2.2.3.2.cmml">t</mi><mo id="S4.Ex2.m2.4.4.2.2.2.2.2.2.1.2.2.3.1" xref="S4.Ex2.m2.4.4.2.2.2.2.2.2.1.2.2.3.1.cmml">=</mo><mn id="S4.Ex2.m2.4.4.2.2.2.2.2.2.1.2.2.3.3" xref="S4.Ex2.m2.4.4.2.2.2.2.2.2.1.2.2.3.3.cmml">1</mn></mrow><mi id="S4.Ex2.m2.4.4.2.2.2.2.2.2.1.2.3" xref="S4.Ex2.m2.4.4.2.2.2.2.2.2.1.2.3.cmml">T</mi></munderover></mstyle><mrow id="S4.Ex2.m2.4.4.2.2.2.2.2.2.1.1" xref="S4.Ex2.m2.4.4.2.2.2.2.2.2.1.1.cmml"><msub id="S4.Ex2.m2.4.4.2.2.2.2.2.2.1.1.3" xref="S4.Ex2.m2.4.4.2.2.2.2.2.2.1.1.3.cmml"><mi id="S4.Ex2.m2.4.4.2.2.2.2.2.2.1.1.3.2" xref="S4.Ex2.m2.4.4.2.2.2.2.2.2.1.1.3.2.cmml">π</mi><mi id="S4.Ex2.m2.4.4.2.2.2.2.2.2.1.1.3.3" xref="S4.Ex2.m2.4.4.2.2.2.2.2.2.1.1.3.3.cmml">θ</mi></msub><mo lspace="0em" rspace="0em" id="S4.Ex2.m2.4.4.2.2.2.2.2.2.1.1.2" xref="S4.Ex2.m2.4.4.2.2.2.2.2.2.1.1.2.cmml">​</mo><mrow id="S4.Ex2.m2.4.4.2.2.2.2.2.2.1.1.1.1" xref="S4.Ex2.m2.4.4.2.2.2.2.2.2.1.1.1.1.1.cmml"><mo stretchy="false" id="S4.Ex2.m2.4.4.2.2.2.2.2.2.1.1.1.1.2" xref="S4.Ex2.m2.4.4.2.2.2.2.2.2.1.1.1.1.1.cmml">(</mo><mrow id="S4.Ex2.m2.4.4.2.2.2.2.2.2.1.1.1.1.1" xref="S4.Ex2.m2.4.4.2.2.2.2.2.2.1.1.1.1.1.cmml"><msub id="S4.Ex2.m2.4.4.2.2.2.2.2.2.1.1.1.1.1.3" xref="S4.Ex2.m2.4.4.2.2.2.2.2.2.1.1.1.1.1.3.cmml"><mi id="S4.Ex2.m2.4.4.2.2.2.2.2.2.1.1.1.1.1.3.2" xref="S4.Ex2.m2.4.4.2.2.2.2.2.2.1.1.1.1.1.3.2.cmml">a</mi><mi id="S4.Ex2.m2.4.4.2.2.2.2.2.2.1.1.1.1.1.3.3" xref="S4.Ex2.m2.4.4.2.2.2.2.2.2.1.1.1.1.1.3.3.cmml">t</mi></msub><mo fence="false" id="S4.Ex2.m2.4.4.2.2.2.2.2.2.1.1.1.1.1.2" xref="S4.Ex2.m2.4.4.2.2.2.2.2.2.1.1.1.1.1.2.cmml">|</mo><mrow id="S4.Ex2.m2.4.4.2.2.2.2.2.2.1.1.1.1.1.1.1" xref="S4.Ex2.m2.4.4.2.2.2.2.2.2.1.1.1.1.1.1.2.cmml"><mi id="S4.Ex2.m2.1.1" xref="S4.Ex2.m2.1.1.cmml">x</mi><mo id="S4.Ex2.m2.4.4.2.2.2.2.2.2.1.1.1.1.1.1.1.2" xref="S4.Ex2.m2.4.4.2.2.2.2.2.2.1.1.1.1.1.1.2.cmml">,</mo><msub id="S4.Ex2.m2.4.4.2.2.2.2.2.2.1.1.1.1.1.1.1.1" xref="S4.Ex2.m2.4.4.2.2.2.2.2.2.1.1.1.1.1.1.1.1.cmml"><mi id="S4.Ex2.m2.4.4.2.2.2.2.2.2.1.1.1.1.1.1.1.1.2" xref="S4.Ex2.m2.4.4.2.2.2.2.2.2.1.1.1.1.1.1.1.1.2.cmml">a</mi><mrow id="S4.Ex2.m2.4.4.2.2.2.2.2.2.1.1.1.1.1.1.1.1.3" xref="S4.Ex2.m2.4.4.2.2.2.2.2.2.1.1.1.1.1.1.1.1.3.cmml"><mn id="S4.Ex2.m2.4.4.2.2.2.2.2.2.1.1.1.1.1.1.1.1.3.2" xref="S4.Ex2.m2.4.4.2.2.2.2.2.2.1.1.1.1.1.1.1.1.3.2.cmml">1</mn><mo lspace="0.278em" rspace="0.278em" id="S4.Ex2.m2.4.4.2.2.2.2.2.2.1.1.1.1.1.1.1.1.3.1" xref="S4.Ex2.m2.4.4.2.2.2.2.2.2.1.1.1.1.1.1.1.1.3.1.cmml">:</mo><mrow id="S4.Ex2.m2.4.4.2.2.2.2.2.2.1.1.1.1.1.1.1.1.3.3" xref="S4.Ex2.m2.4.4.2.2.2.2.2.2.1.1.1.1.1.1.1.1.3.3.cmml"><mi id="S4.Ex2.m2.4.4.2.2.2.2.2.2.1.1.1.1.1.1.1.1.3.3.2" xref="S4.Ex2.m2.4.4.2.2.2.2.2.2.1.1.1.1.1.1.1.1.3.3.2.cmml">t</mi><mo id="S4.Ex2.m2.4.4.2.2.2.2.2.2.1.1.1.1.1.1.1.1.3.3.1" xref="S4.Ex2.m2.4.4.2.2.2.2.2.2.1.1.1.1.1.1.1.1.3.3.1.cmml">−</mo><mn id="S4.Ex2.m2.4.4.2.2.2.2.2.2.1.1.1.1.1.1.1.1.3.3.3" xref="S4.Ex2.m2.4.4.2.2.2.2.2.2.1.1.1.1.1.1.1.1.3.3.3.cmml">1</mn></mrow></mrow></msub></mrow></mrow><mo stretchy="false" id="S4.Ex2.m2.4.4.2.2.2.2.2.2.1.1.1.1.3" xref="S4.Ex2.m2.4.4.2.2.2.2.2.2.1.1.1.1.1.cmml">)</mo></mrow></mrow></mrow><mo id="S4.Ex2.m2.4.4.2.2.2.2.2.2.3" xref="S4.Ex2.m2.4.4.2.2.2.2.3.cmml">)</mo></mrow></mrow><mo id="S4.Ex2.m2.4.4.2.2.2a" xref="S4.Ex2.m2.4.4.2.2.2.cmml">⁡</mo><mi id="S4.Ex2.m2.4.4.2.2.2.3" xref="S4.Ex2.m2.4.4.2.2.2.3.cmml">r</mi></mrow><mo lspace="0em" rspace="0em" id="S4.Ex2.m2.5.5.3.3.4" xref="S4.Ex2.m2.5.5.3.3.4.cmml">​</mo><mrow id="S4.Ex2.m2.5.5.3.3.3.1" xref="S4.Ex2.m2.5.5.3.3.3.2.cmml"><mo stretchy="false" id="S4.Ex2.m2.5.5.3.3.3.1.2" xref="S4.Ex2.m2.5.5.3.3.3.2.cmml">(</mo><mi id="S4.Ex2.m2.2.2" xref="S4.Ex2.m2.2.2.cmml">x</mi><mo id="S4.Ex2.m2.5.5.3.3.3.1.3" xref="S4.Ex2.m2.5.5.3.3.3.2.cmml">,</mo><msub id="S4.Ex2.m2.5.5.3.3.3.1.1" xref="S4.Ex2.m2.5.5.3.3.3.1.1.cmml"><mi id="S4.Ex2.m2.5.5.3.3.3.1.1.2" xref="S4.Ex2.m2.5.5.3.3.3.1.1.2.cmml">a</mi><mrow id="S4.Ex2.m2.5.5.3.3.3.1.1.3" xref="S4.Ex2.m2.5.5.3.3.3.1.1.3.cmml"><mn id="S4.Ex2.m2.5.5.3.3.3.1.1.3.2" xref="S4.Ex2.m2.5.5.3.3.3.1.1.3.2.cmml">1</mn><mo lspace="0.278em" rspace="0.278em" id="S4.Ex2.m2.5.5.3.3.3.1.1.3.1" xref="S4.Ex2.m2.5.5.3.3.3.1.1.3.1.cmml">:</mo><mi id="S4.Ex2.m2.5.5.3.3.3.1.1.3.3" xref="S4.Ex2.m2.5.5.3.3.3.1.1.3.3.cmml">T</mi></mrow></msub><mo stretchy="false" id="S4.Ex2.m2.5.5.3.3.3.1.4" xref="S4.Ex2.m2.5.5.3.3.3.2.cmml">)</mo></mrow></mrow></mrow></mrow><annotation-xml encoding="MathML-Content" id="S4.Ex2.m2.5b"><apply id="S4.Ex2.m2.5.5.cmml" xref="S4.Ex2.m2.5.5"><eq id="S4.Ex2.m2.5.5.4.cmml" xref="S4.Ex2.m2.5.5.4"></eq><csymbol cd="latexml" id="S4.Ex2.m2.5.5.5.cmml" xref="S4.Ex2.m2.5.5.5">absent</csymbol><apply id="S4.Ex2.m2.5.5.3.cmml" xref="S4.Ex2.m2.5.5.3"><apply id="S4.Ex2.m2.5.5.3.4.cmml" xref="S4.Ex2.m2.5.5.3.4"><csymbol cd="ambiguous" id="S4.Ex2.m2.5.5.3.4.1.cmml" xref="S4.Ex2.m2.5.5.3.4">subscript</csymbol><sum id="S4.Ex2.m2.5.5.3.4.2.cmml" xref="S4.Ex2.m2.5.5.3.4.2"></sum><apply id="S4.Ex2.m2.5.5.3.4.3.cmml" xref="S4.Ex2.m2.5.5.3.4.3"><csymbol cd="ambiguous" id="S4.Ex2.m2.5.5.3.4.3.1.cmml" xref="S4.Ex2.m2.5.5.3.4.3">subscript</csymbol><ci id="S4.Ex2.m2.5.5.3.4.3.2.cmml" xref="S4.Ex2.m2.5.5.3.4.3.2">𝑎</ci><apply id="S4.Ex2.m2.5.5.3.4.3.3.cmml" xref="S4.Ex2.m2.5.5.3.4.3.3"><ci id="S4.Ex2.m2.5.5.3.4.3.3.1.cmml" xref="S4.Ex2.m2.5.5.3.4.3.3.1">:</ci><cn type="integer" id="S4.Ex2.m2.5.5.3.4.3.3.2.cmml" xref="S4.Ex2.m2.5.5.3.4.3.3.2">1</cn><ci id="S4.Ex2.m2.5.5.3.4.3.3.3.cmml" xref="S4.Ex2.m2.5.5.3.4.3.3.3">𝑇</ci></apply></apply></apply><apply id="S4.Ex2.m2.5.5.3.3.cmml" xref="S4.Ex2.m2.5.5.3.3"><times id="S4.Ex2.m2.5.5.3.3.4.cmml" xref="S4.Ex2.m2.5.5.3.3.4"></times><apply id="S4.Ex2.m2.4.4.2.2.2.cmml" xref="S4.Ex2.m2.4.4.2.2.2"><apply id="S4.Ex2.m2.4.4.2.2.2.2.3.cmml" xref="S4.Ex2.m2.4.4.2.2.2.2.2"><apply id="S4.Ex2.m2.3.3.1.1.1.1.1.1.cmml" xref="S4.Ex2.m2.3.3.1.1.1.1.1.1"><csymbol cd="ambiguous" id="S4.Ex2.m2.3.3.1.1.1.1.1.1.1.cmml" xref="S4.Ex2.m2.3.3.1.1.1.1.1.1">subscript</csymbol><ci id="S4.Ex2.m2.3.3.1.1.1.1.1.1.2.cmml" xref="S4.Ex2.m2.3.3.1.1.1.1.1.1.2">∇</ci><ci id="S4.Ex2.m2.3.3.1.1.1.1.1.1.3.cmml" xref="S4.Ex2.m2.3.3.1.1.1.1.1.1.3">𝜃</ci></apply><apply id="S4.Ex2.m2.4.4.2.2.2.2.2.2.1.cmml" xref="S4.Ex2.m2.4.4.2.2.2.2.2.2.1"><apply id="S4.Ex2.m2.4.4.2.2.2.2.2.2.1.2.cmml" xref="S4.Ex2.m2.4.4.2.2.2.2.2.2.1.2"><csymbol cd="ambiguous" id="S4.Ex2.m2.4.4.2.2.2.2.2.2.1.2.1.cmml" xref="S4.Ex2.m2.4.4.2.2.2.2.2.2.1.2">superscript</csymbol><apply id="S4.Ex2.m2.4.4.2.2.2.2.2.2.1.2.2.cmml" xref="S4.Ex2.m2.4.4.2.2.2.2.2.2.1.2"><csymbol cd="ambiguous" id="S4.Ex2.m2.4.4.2.2.2.2.2.2.1.2.2.1.cmml" xref="S4.Ex2.m2.4.4.2.2.2.2.2.2.1.2">subscript</csymbol><csymbol cd="latexml" id="S4.Ex2.m2.4.4.2.2.2.2.2.2.1.2.2.2.cmml" xref="S4.Ex2.m2.4.4.2.2.2.2.2.2.1.2.2.2">product</csymbol><apply id="S4.Ex2.m2.4.4.2.2.2.2.2.2.1.2.2.3.cmml" xref="S4.Ex2.m2.4.4.2.2.2.2.2.2.1.2.2.3"><eq id="S4.Ex2.m2.4.4.2.2.2.2.2.2.1.2.2.3.1.cmml" xref="S4.Ex2.m2.4.4.2.2.2.2.2.2.1.2.2.3.1"></eq><ci id="S4.Ex2.m2.4.4.2.2.2.2.2.2.1.2.2.3.2.cmml" xref="S4.Ex2.m2.4.4.2.2.2.2.2.2.1.2.2.3.2">𝑡</ci><cn type="integer" id="S4.Ex2.m2.4.4.2.2.2.2.2.2.1.2.2.3.3.cmml" xref="S4.Ex2.m2.4.4.2.2.2.2.2.2.1.2.2.3.3">1</cn></apply></apply><ci id="S4.Ex2.m2.4.4.2.2.2.2.2.2.1.2.3.cmml" xref="S4.Ex2.m2.4.4.2.2.2.2.2.2.1.2.3">𝑇</ci></apply><apply id="S4.Ex2.m2.4.4.2.2.2.2.2.2.1.1.cmml" xref="S4.Ex2.m2.4.4.2.2.2.2.2.2.1.1"><times id="S4.Ex2.m2.4.4.2.2.2.2.2.2.1.1.2.cmml" xref="S4.Ex2.m2.4.4.2.2.2.2.2.2.1.1.2"></times><apply id="S4.Ex2.m2.4.4.2.2.2.2.2.2.1.1.3.cmml" xref="S4.Ex2.m2.4.4.2.2.2.2.2.2.1.1.3"><csymbol cd="ambiguous" id="S4.Ex2.m2.4.4.2.2.2.2.2.2.1.1.3.1.cmml" xref="S4.Ex2.m2.4.4.2.2.2.2.2.2.1.1.3">subscript</csymbol><ci id="S4.Ex2.m2.4.4.2.2.2.2.2.2.1.1.3.2.cmml" xref="S4.Ex2.m2.4.4.2.2.2.2.2.2.1.1.3.2">𝜋</ci><ci id="S4.Ex2.m2.4.4.2.2.2.2.2.2.1.1.3.3.cmml" xref="S4.Ex2.m2.4.4.2.2.2.2.2.2.1.1.3.3">𝜃</ci></apply><apply id="S4.Ex2.m2.4.4.2.2.2.2.2.2.1.1.1.1.1.cmml" xref="S4.Ex2.m2.4.4.2.2.2.2.2.2.1.1.1.1"><csymbol cd="latexml" id="S4.Ex2.m2.4.4.2.2.2.2.2.2.1.1.1.1.1.2.cmml" xref="S4.Ex2.m2.4.4.2.2.2.2.2.2.1.1.1.1.1.2">conditional</csymbol><apply id="S4.Ex2.m2.4.4.2.2.2.2.2.2.1.1.1.1.1.3.cmml" xref="S4.Ex2.m2.4.4.2.2.2.2.2.2.1.1.1.1.1.3"><csymbol cd="ambiguous" id="S4.Ex2.m2.4.4.2.2.2.2.2.2.1.1.1.1.1.3.1.cmml" xref="S4.Ex2.m2.4.4.2.2.2.2.2.2.1.1.1.1.1.3">subscript</csymbol><ci id="S4.Ex2.m2.4.4.2.2.2.2.2.2.1.1.1.1.1.3.2.cmml" xref="S4.Ex2.m2.4.4.2.2.2.2.2.2.1.1.1.1.1.3.2">𝑎</ci><ci id="S4.Ex2.m2.4.4.2.2.2.2.2.2.1.1.1.1.1.3.3.cmml" xref="S4.Ex2.m2.4.4.2.2.2.2.2.2.1.1.1.1.1.3.3">𝑡</ci></apply><list id="S4.Ex2.m2.4.4.2.2.2.2.2.2.1.1.1.1.1.1.2.cmml" xref="S4.Ex2.m2.4.4.2.2.2.2.2.2.1.1.1.1.1.1.1"><ci id="S4.Ex2.m2.1.1.cmml" xref="S4.Ex2.m2.1.1">𝑥</ci><apply id="S4.Ex2.m2.4.4.2.2.2.2.2.2.1.1.1.1.1.1.1.1.cmml" xref="S4.Ex2.m2.4.4.2.2.2.2.2.2.1.1.1.1.1.1.1.1"><csymbol cd="ambiguous" id="S4.Ex2.m2.4.4.2.2.2.2.2.2.1.1.1.1.1.1.1.1.1.cmml" xref="S4.Ex2.m2.4.4.2.2.2.2.2.2.1.1.1.1.1.1.1.1">subscript</csymbol><ci id="S4.Ex2.m2.4.4.2.2.2.2.2.2.1.1.1.1.1.1.1.1.2.cmml" xref="S4.Ex2.m2.4.4.2.2.2.2.2.2.1.1.1.1.1.1.1.1.2">𝑎</ci><apply id="S4.Ex2.m2.4.4.2.2.2.2.2.2.1.1.1.1.1.1.1.1.3.cmml" xref="S4.Ex2.m2.4.4.2.2.2.2.2.2.1.1.1.1.1.1.1.1.3"><ci id="S4.Ex2.m2.4.4.2.2.2.2.2.2.1.1.1.1.1.1.1.1.3.1.cmml" xref="S4.Ex2.m2.4.4.2.2.2.2.2.2.1.1.1.1.1.1.1.1.3.1">:</ci><cn type="integer" id="S4.Ex2.m2.4.4.2.2.2.2.2.2.1.1.1.1.1.1.1.1.3.2.cmml" xref="S4.Ex2.m2.4.4.2.2.2.2.2.2.1.1.1.1.1.1.1.1.3.2">1</cn><apply id="S4.Ex2.m2.4.4.2.2.2.2.2.2.1.1.1.1.1.1.1.1.3.3.cmml" xref="S4.Ex2.m2.4.4.2.2.2.2.2.2.1.1.1.1.1.1.1.1.3.3"><minus id="S4.Ex2.m2.4.4.2.2.2.2.2.2.1.1.1.1.1.1.1.1.3.3.1.cmml" xref="S4.Ex2.m2.4.4.2.2.2.2.2.2.1.1.1.1.1.1.1.1.3.3.1"></minus><ci id="S4.Ex2.m2.4.4.2.2.2.2.2.2.1.1.1.1.1.1.1.1.3.3.2.cmml" xref="S4.Ex2.m2.4.4.2.2.2.2.2.2.1.1.1.1.1.1.1.1.3.3.2">𝑡</ci><cn type="integer" id="S4.Ex2.m2.4.4.2.2.2.2.2.2.1.1.1.1.1.1.1.1.3.3.3.cmml" xref="S4.Ex2.m2.4.4.2.2.2.2.2.2.1.1.1.1.1.1.1.1.3.3.3">1</cn></apply></apply></apply></list></apply></apply></apply></apply><ci id="S4.Ex2.m2.4.4.2.2.2.3.cmml" xref="S4.Ex2.m2.4.4.2.2.2.3">𝑟</ci></apply><interval closure="open" id="S4.Ex2.m2.5.5.3.3.3.2.cmml" xref="S4.Ex2.m2.5.5.3.3.3.1"><ci id="S4.Ex2.m2.2.2.cmml" xref="S4.Ex2.m2.2.2">𝑥</ci><apply id="S4.Ex2.m2.5.5.3.3.3.1.1.cmml" xref="S4.Ex2.m2.5.5.3.3.3.1.1"><csymbol cd="ambiguous" id="S4.Ex2.m2.5.5.3.3.3.1.1.1.cmml" xref="S4.Ex2.m2.5.5.3.3.3.1.1">subscript</csymbol><ci id="S4.Ex2.m2.5.5.3.3.3.1.1.2.cmml" xref="S4.Ex2.m2.5.5.3.3.3.1.1.2">𝑎</ci><apply id="S4.Ex2.m2.5.5.3.3.3.1.1.3.cmml" xref="S4.Ex2.m2.5.5.3.3.3.1.1.3"><ci id="S4.Ex2.m2.5.5.3.3.3.1.1.3.1.cmml" xref="S4.Ex2.m2.5.5.3.3.3.1.1.3.1">:</ci><cn type="integer" id="S4.Ex2.m2.5.5.3.3.3.1.1.3.2.cmml" xref="S4.Ex2.m2.5.5.3.3.3.1.1.3.2">1</cn><ci id="S4.Ex2.m2.5.5.3.3.3.1.1.3.3.cmml" xref="S4.Ex2.m2.5.5.3.3.3.1.1.3.3">𝑇</ci></apply></apply></interval></apply></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="S4.Ex2.m2.5c">\displaystyle=\sum_{a_{1:T}}\nabla_{\theta}\left(\prod_{t=1}^{T}\pi_{\theta}(a_{t}|x,a_{1:t-1})\right)r(x,a_{1:T})</annotation></semantics></math></td>
<td class="ltx_eqn_cell ltx_eqn_center_padright"></td>
</tr></tbody>
<tbody id="S4.Ex3"><tr class="ltx_equation ltx_eqn_row ltx_align_baseline">
<td class="ltx_eqn_cell ltx_eqn_center_padleft"></td>
<td class="ltx_td ltx_eqn_cell"></td>
<td class="ltx_td ltx_align_left ltx_eqn_cell"><math id="S4.Ex3.m1.3" class="ltx_Math" alttext="\displaystyle=\mathbb{E}_{a_{1:T}\sim\pi_{\theta}}\left[\sum_{t=1}^{T}\nabla_{\theta}\log\pi_{\theta}(a_{t}|x,a_{1:t-1})r(x,a_{1:T})\right]." display="inline"><semantics id="S4.Ex3.m1.3a"><mrow id="S4.Ex3.m1.3.3.1" xref="S4.Ex3.m1.3.3.1.1.cmml"><mrow id="S4.Ex3.m1.3.3.1.1" xref="S4.Ex3.m1.3.3.1.1.cmml"><mi id="S4.Ex3.m1.3.3.1.1.3" xref="S4.Ex3.m1.3.3.1.1.3.cmml"></mi><mo id="S4.Ex3.m1.3.3.1.1.2" xref="S4.Ex3.m1.3.3.1.1.2.cmml">=</mo><mrow id="S4.Ex3.m1.3.3.1.1.1" xref="S4.Ex3.m1.3.3.1.1.1.cmml"><msub id="S4.Ex3.m1.3.3.1.1.1.3" xref="S4.Ex3.m1.3.3.1.1.1.3.cmml"><mi id="S4.Ex3.m1.3.3.1.1.1.3.2" xref="S4.Ex3.m1.3.3.1.1.1.3.2.cmml">𝔼</mi><mrow id="S4.Ex3.m1.3.3.1.1.1.3.3" xref="S4.Ex3.m1.3.3.1.1.1.3.3.cmml"><msub id="S4.Ex3.m1.3.3.1.1.1.3.3.2" xref="S4.Ex3.m1.3.3.1.1.1.3.3.2.cmml"><mi id="S4.Ex3.m1.3.3.1.1.1.3.3.2.2" xref="S4.Ex3.m1.3.3.1.1.1.3.3.2.2.cmml">a</mi><mrow id="S4.Ex3.m1.3.3.1.1.1.3.3.2.3" xref="S4.Ex3.m1.3.3.1.1.1.3.3.2.3.cmml"><mn id="S4.Ex3.m1.3.3.1.1.1.3.3.2.3.2" xref="S4.Ex3.m1.3.3.1.1.1.3.3.2.3.2.cmml">1</mn><mo lspace="0.278em" rspace="0.278em" id="S4.Ex3.m1.3.3.1.1.1.3.3.2.3.1" xref="S4.Ex3.m1.3.3.1.1.1.3.3.2.3.1.cmml">:</mo><mi id="S4.Ex3.m1.3.3.1.1.1.3.3.2.3.3" xref="S4.Ex3.m1.3.3.1.1.1.3.3.2.3.3.cmml">T</mi></mrow></msub><mo id="S4.Ex3.m1.3.3.1.1.1.3.3.1" xref="S4.Ex3.m1.3.3.1.1.1.3.3.1.cmml">∼</mo><msub id="S4.Ex3.m1.3.3.1.1.1.3.3.3" xref="S4.Ex3.m1.3.3.1.1.1.3.3.3.cmml"><mi id="S4.Ex3.m1.3.3.1.1.1.3.3.3.2" xref="S4.Ex3.m1.3.3.1.1.1.3.3.3.2.cmml">π</mi><mi id="S4.Ex3.m1.3.3.1.1.1.3.3.3.3" xref="S4.Ex3.m1.3.3.1.1.1.3.3.3.3.cmml">θ</mi></msub></mrow></msub><mo lspace="0em" rspace="0em" id="S4.Ex3.m1.3.3.1.1.1.2" xref="S4.Ex3.m1.3.3.1.1.1.2.cmml">​</mo><mrow id="S4.Ex3.m1.3.3.1.1.1.1.1" xref="S4.Ex3.m1.3.3.1.1.1.1.2.cmml"><mo id="S4.Ex3.m1.3.3.1.1.1.1.1.2" xref="S4.Ex3.m1.3.3.1.1.1.1.2.1.cmml">[</mo><mrow id="S4.Ex3.m1.3.3.1.1.1.1.1.1" xref="S4.Ex3.m1.3.3.1.1.1.1.1.1.cmml"><mstyle displaystyle="true" id="S4.Ex3.m1.3.3.1.1.1.1.1.1.3" xref="S4.Ex3.m1.3.3.1.1.1.1.1.1.3.cmml"><munderover id="S4.Ex3.m1.3.3.1.1.1.1.1.1.3a" xref="S4.Ex3.m1.3.3.1.1.1.1.1.1.3.cmml"><mo movablelimits="false" id="S4.Ex3.m1.3.3.1.1.1.1.1.1.3.2.2" xref="S4.Ex3.m1.3.3.1.1.1.1.1.1.3.2.2.cmml">∑</mo><mrow id="S4.Ex3.m1.3.3.1.1.1.1.1.1.3.2.3" xref="S4.Ex3.m1.3.3.1.1.1.1.1.1.3.2.3.cmml"><mi id="S4.Ex3.m1.3.3.1.1.1.1.1.1.3.2.3.2" xref="S4.Ex3.m1.3.3.1.1.1.1.1.1.3.2.3.2.cmml">t</mi><mo id="S4.Ex3.m1.3.3.1.1.1.1.1.1.3.2.3.1" xref="S4.Ex3.m1.3.3.1.1.1.1.1.1.3.2.3.1.cmml">=</mo><mn id="S4.Ex3.m1.3.3.1.1.1.1.1.1.3.2.3.3" xref="S4.Ex3.m1.3.3.1.1.1.1.1.1.3.2.3.3.cmml">1</mn></mrow><mi id="S4.Ex3.m1.3.3.1.1.1.1.1.1.3.3" xref="S4.Ex3.m1.3.3.1.1.1.1.1.1.3.3.cmml">T</mi></munderover></mstyle><mrow id="S4.Ex3.m1.3.3.1.1.1.1.1.1.2" xref="S4.Ex3.m1.3.3.1.1.1.1.1.1.2.cmml"><mrow id="S4.Ex3.m1.3.3.1.1.1.1.1.1.2.4" xref="S4.Ex3.m1.3.3.1.1.1.1.1.1.2.4.cmml"><mrow id="S4.Ex3.m1.3.3.1.1.1.1.1.1.2.4.1" xref="S4.Ex3.m1.3.3.1.1.1.1.1.1.2.4.1.cmml"><msub id="S4.Ex3.m1.3.3.1.1.1.1.1.1.2.4.1.1" xref="S4.Ex3.m1.3.3.1.1.1.1.1.1.2.4.1.1.cmml"><mo lspace="0.167em" rspace="0.167em" id="S4.Ex3.m1.3.3.1.1.1.1.1.1.2.4.1.1.2" xref="S4.Ex3.m1.3.3.1.1.1.1.1.1.2.4.1.1.2.cmml">∇</mo><mi id="S4.Ex3.m1.3.3.1.1.1.1.1.1.2.4.1.1.3" xref="S4.Ex3.m1.3.3.1.1.1.1.1.1.2.4.1.1.3.cmml">θ</mi></msub><mi id="S4.Ex3.m1.3.3.1.1.1.1.1.1.2.4.1.2" xref="S4.Ex3.m1.3.3.1.1.1.1.1.1.2.4.1.2.cmml">log</mi></mrow><mo lspace="0.167em" id="S4.Ex3.m1.3.3.1.1.1.1.1.1.2.4a" xref="S4.Ex3.m1.3.3.1.1.1.1.1.1.2.4.cmml">⁡</mo><msub id="S4.Ex3.m1.3.3.1.1.1.1.1.1.2.4.2" xref="S4.Ex3.m1.3.3.1.1.1.1.1.1.2.4.2.cmml"><mi id="S4.Ex3.m1.3.3.1.1.1.1.1.1.2.4.2.2" xref="S4.Ex3.m1.3.3.1.1.1.1.1.1.2.4.2.2.cmml">π</mi><mi id="S4.Ex3.m1.3.3.1.1.1.1.1.1.2.4.2.3" xref="S4.Ex3.m1.3.3.1.1.1.1.1.1.2.4.2.3.cmml">θ</mi></msub></mrow><mo lspace="0em" rspace="0em" id="S4.Ex3.m1.3.3.1.1.1.1.1.1.2.3" xref="S4.Ex3.m1.3.3.1.1.1.1.1.1.2.3.cmml">​</mo><mrow id="S4.Ex3.m1.3.3.1.1.1.1.1.1.1.1.1" xref="S4.Ex3.m1.3.3.1.1.1.1.1.1.1.1.1.1.cmml"><mo stretchy="false" id="S4.Ex3.m1.3.3.1.1.1.1.1.1.1.1.1.2" xref="S4.Ex3.m1.3.3.1.1.1.1.1.1.1.1.1.1.cmml">(</mo><mrow id="S4.Ex3.m1.3.3.1.1.1.1.1.1.1.1.1.1" xref="S4.Ex3.m1.3.3.1.1.1.1.1.1.1.1.1.1.cmml"><msub id="S4.Ex3.m1.3.3.1.1.1.1.1.1.1.1.1.1.3" xref="S4.Ex3.m1.3.3.1.1.1.1.1.1.1.1.1.1.3.cmml"><mi id="S4.Ex3.m1.3.3.1.1.1.1.1.1.1.1.1.1.3.2" xref="S4.Ex3.m1.3.3.1.1.1.1.1.1.1.1.1.1.3.2.cmml">a</mi><mi id="S4.Ex3.m1.3.3.1.1.1.1.1.1.1.1.1.1.3.3" xref="S4.Ex3.m1.3.3.1.1.1.1.1.1.1.1.1.1.3.3.cmml">t</mi></msub><mo fence="false" id="S4.Ex3.m1.3.3.1.1.1.1.1.1.1.1.1.1.2" xref="S4.Ex3.m1.3.3.1.1.1.1.1.1.1.1.1.1.2.cmml">|</mo><mrow id="S4.Ex3.m1.3.3.1.1.1.1.1.1.1.1.1.1.1.1" xref="S4.Ex3.m1.3.3.1.1.1.1.1.1.1.1.1.1.1.2.cmml"><mi id="S4.Ex3.m1.1.1" xref="S4.Ex3.m1.1.1.cmml">x</mi><mo id="S4.Ex3.m1.3.3.1.1.1.1.1.1.1.1.1.1.1.1.2" xref="S4.Ex3.m1.3.3.1.1.1.1.1.1.1.1.1.1.1.2.cmml">,</mo><msub id="S4.Ex3.m1.3.3.1.1.1.1.1.1.1.1.1.1.1.1.1" xref="S4.Ex3.m1.3.3.1.1.1.1.1.1.1.1.1.1.1.1.1.cmml"><mi id="S4.Ex3.m1.3.3.1.1.1.1.1.1.1.1.1.1.1.1.1.2" xref="S4.Ex3.m1.3.3.1.1.1.1.1.1.1.1.1.1.1.1.1.2.cmml">a</mi><mrow id="S4.Ex3.m1.3.3.1.1.1.1.1.1.1.1.1.1.1.1.1.3" xref="S4.Ex3.m1.3.3.1.1.1.1.1.1.1.1.1.1.1.1.1.3.cmml"><mn id="S4.Ex3.m1.3.3.1.1.1.1.1.1.1.1.1.1.1.1.1.3.2" xref="S4.Ex3.m1.3.3.1.1.1.1.1.1.1.1.1.1.1.1.1.3.2.cmml">1</mn><mo lspace="0.278em" rspace="0.278em" id="S4.Ex3.m1.3.3.1.1.1.1.1.1.1.1.1.1.1.1.1.3.1" xref="S4.Ex3.m1.3.3.1.1.1.1.1.1.1.1.1.1.1.1.1.3.1.cmml">:</mo><mrow id="S4.Ex3.m1.3.3.1.1.1.1.1.1.1.1.1.1.1.1.1.3.3" xref="S4.Ex3.m1.3.3.1.1.1.1.1.1.1.1.1.1.1.1.1.3.3.cmml"><mi id="S4.Ex3.m1.3.3.1.1.1.1.1.1.1.1.1.1.1.1.1.3.3.2" xref="S4.Ex3.m1.3.3.1.1.1.1.1.1.1.1.1.1.1.1.1.3.3.2.cmml">t</mi><mo id="S4.Ex3.m1.3.3.1.1.1.1.1.1.1.1.1.1.1.1.1.3.3.1" xref="S4.Ex3.m1.3.3.1.1.1.1.1.1.1.1.1.1.1.1.1.3.3.1.cmml">−</mo><mn id="S4.Ex3.m1.3.3.1.1.1.1.1.1.1.1.1.1.1.1.1.3.3.3" xref="S4.Ex3.m1.3.3.1.1.1.1.1.1.1.1.1.1.1.1.1.3.3.3.cmml">1</mn></mrow></mrow></msub></mrow></mrow><mo stretchy="false" id="S4.Ex3.m1.3.3.1.1.1.1.1.1.1.1.1.3" xref="S4.Ex3.m1.3.3.1.1.1.1.1.1.1.1.1.1.cmml">)</mo></mrow><mo lspace="0em" rspace="0em" id="S4.Ex3.m1.3.3.1.1.1.1.1.1.2.3a" xref="S4.Ex3.m1.3.3.1.1.1.1.1.1.2.3.cmml">​</mo><mi id="S4.Ex3.m1.3.3.1.1.1.1.1.1.2.5" xref="S4.Ex3.m1.3.3.1.1.1.1.1.1.2.5.cmml">r</mi><mo lspace="0em" rspace="0em" id="S4.Ex3.m1.3.3.1.1.1.1.1.1.2.3b" xref="S4.Ex3.m1.3.3.1.1.1.1.1.1.2.3.cmml">​</mo><mrow id="S4.Ex3.m1.3.3.1.1.1.1.1.1.2.2.1" xref="S4.Ex3.m1.3.3.1.1.1.1.1.1.2.2.2.cmml"><mo stretchy="false" id="S4.Ex3.m1.3.3.1.1.1.1.1.1.2.2.1.2" xref="S4.Ex3.m1.3.3.1.1.1.1.1.1.2.2.2.cmml">(</mo><mi id="S4.Ex3.m1.2.2" xref="S4.Ex3.m1.2.2.cmml">x</mi><mo id="S4.Ex3.m1.3.3.1.1.1.1.1.1.2.2.1.3" xref="S4.Ex3.m1.3.3.1.1.1.1.1.1.2.2.2.cmml">,</mo><msub id="S4.Ex3.m1.3.3.1.1.1.1.1.1.2.2.1.1" xref="S4.Ex3.m1.3.3.1.1.1.1.1.1.2.2.1.1.cmml"><mi id="S4.Ex3.m1.3.3.1.1.1.1.1.1.2.2.1.1.2" xref="S4.Ex3.m1.3.3.1.1.1.1.1.1.2.2.1.1.2.cmml">a</mi><mrow id="S4.Ex3.m1.3.3.1.1.1.1.1.1.2.2.1.1.3" xref="S4.Ex3.m1.3.3.1.1.1.1.1.1.2.2.1.1.3.cmml"><mn id="S4.Ex3.m1.3.3.1.1.1.1.1.1.2.2.1.1.3.2" xref="S4.Ex3.m1.3.3.1.1.1.1.1.1.2.2.1.1.3.2.cmml">1</mn><mo lspace="0.278em" rspace="0.278em" id="S4.Ex3.m1.3.3.1.1.1.1.1.1.2.2.1.1.3.1" xref="S4.Ex3.m1.3.3.1.1.1.1.1.1.2.2.1.1.3.1.cmml">:</mo><mi id="S4.Ex3.m1.3.3.1.1.1.1.1.1.2.2.1.1.3.3" xref="S4.Ex3.m1.3.3.1.1.1.1.1.1.2.2.1.1.3.3.cmml">T</mi></mrow></msub><mo stretchy="false" id="S4.Ex3.m1.3.3.1.1.1.1.1.1.2.2.1.4" xref="S4.Ex3.m1.3.3.1.1.1.1.1.1.2.2.2.cmml">)</mo></mrow></mrow></mrow><mo id="S4.Ex3.m1.3.3.1.1.1.1.1.3" xref="S4.Ex3.m1.3.3.1.1.1.1.2.1.cmml">]</mo></mrow></mrow></mrow><mo lspace="0em" id="S4.Ex3.m1.3.3.1.2" xref="S4.Ex3.m1.3.3.1.1.cmml">.</mo></mrow><annotation-xml encoding="MathML-Content" id="S4.Ex3.m1.3b"><apply id="S4.Ex3.m1.3.3.1.1.cmml" xref="S4.Ex3.m1.3.3.1"><eq id="S4.Ex3.m1.3.3.1.1.2.cmml" xref="S4.Ex3.m1.3.3.1.1.2"></eq><csymbol cd="latexml" id="S4.Ex3.m1.3.3.1.1.3.cmml" xref="S4.Ex3.m1.3.3.1.1.3">absent</csymbol><apply id="S4.Ex3.m1.3.3.1.1.1.cmml" xref="S4.Ex3.m1.3.3.1.1.1"><times id="S4.Ex3.m1.3.3.1.1.1.2.cmml" xref="S4.Ex3.m1.3.3.1.1.1.2"></times><apply id="S4.Ex3.m1.3.3.1.1.1.3.cmml" xref="S4.Ex3.m1.3.3.1.1.1.3"><csymbol cd="ambiguous" id="S4.Ex3.m1.3.3.1.1.1.3.1.cmml" xref="S4.Ex3.m1.3.3.1.1.1.3">subscript</csymbol><ci id="S4.Ex3.m1.3.3.1.1.1.3.2.cmml" xref="S4.Ex3.m1.3.3.1.1.1.3.2">𝔼</ci><apply id="S4.Ex3.m1.3.3.1.1.1.3.3.cmml" xref="S4.Ex3.m1.3.3.1.1.1.3.3"><csymbol cd="latexml" id="S4.Ex3.m1.3.3.1.1.1.3.3.1.cmml" xref="S4.Ex3.m1.3.3.1.1.1.3.3.1">similar-to</csymbol><apply id="S4.Ex3.m1.3.3.1.1.1.3.3.2.cmml" xref="S4.Ex3.m1.3.3.1.1.1.3.3.2"><csymbol cd="ambiguous" id="S4.Ex3.m1.3.3.1.1.1.3.3.2.1.cmml" xref="S4.Ex3.m1.3.3.1.1.1.3.3.2">subscript</csymbol><ci id="S4.Ex3.m1.3.3.1.1.1.3.3.2.2.cmml" xref="S4.Ex3.m1.3.3.1.1.1.3.3.2.2">𝑎</ci><apply id="S4.Ex3.m1.3.3.1.1.1.3.3.2.3.cmml" xref="S4.Ex3.m1.3.3.1.1.1.3.3.2.3"><ci id="S4.Ex3.m1.3.3.1.1.1.3.3.2.3.1.cmml" xref="S4.Ex3.m1.3.3.1.1.1.3.3.2.3.1">:</ci><cn type="integer" id="S4.Ex3.m1.3.3.1.1.1.3.3.2.3.2.cmml" xref="S4.Ex3.m1.3.3.1.1.1.3.3.2.3.2">1</cn><ci id="S4.Ex3.m1.3.3.1.1.1.3.3.2.3.3.cmml" xref="S4.Ex3.m1.3.3.1.1.1.3.3.2.3.3">𝑇</ci></apply></apply><apply id="S4.Ex3.m1.3.3.1.1.1.3.3.3.cmml" xref="S4.Ex3.m1.3.3.1.1.1.3.3.3"><csymbol cd="ambiguous" id="S4.Ex3.m1.3.3.1.1.1.3.3.3.1.cmml" xref="S4.Ex3.m1.3.3.1.1.1.3.3.3">subscript</csymbol><ci id="S4.Ex3.m1.3.3.1.1.1.3.3.3.2.cmml" xref="S4.Ex3.m1.3.3.1.1.1.3.3.3.2">𝜋</ci><ci id="S4.Ex3.m1.3.3.1.1.1.3.3.3.3.cmml" xref="S4.Ex3.m1.3.3.1.1.1.3.3.3.3">𝜃</ci></apply></apply></apply><apply id="S4.Ex3.m1.3.3.1.1.1.1.2.cmml" xref="S4.Ex3.m1.3.3.1.1.1.1.1"><csymbol cd="latexml" id="S4.Ex3.m1.3.3.1.1.1.1.2.1.cmml" xref="S4.Ex3.m1.3.3.1.1.1.1.1.2">delimited-[]</csymbol><apply id="S4.Ex3.m1.3.3.1.1.1.1.1.1.cmml" xref="S4.Ex3.m1.3.3.1.1.1.1.1.1"><apply id="S4.Ex3.m1.3.3.1.1.1.1.1.1.3.cmml" xref="S4.Ex3.m1.3.3.1.1.1.1.1.1.3"><csymbol cd="ambiguous" id="S4.Ex3.m1.3.3.1.1.1.1.1.1.3.1.cmml" xref="S4.Ex3.m1.3.3.1.1.1.1.1.1.3">superscript</csymbol><apply id="S4.Ex3.m1.3.3.1.1.1.1.1.1.3.2.cmml" xref="S4.Ex3.m1.3.3.1.1.1.1.1.1.3"><csymbol cd="ambiguous" id="S4.Ex3.m1.3.3.1.1.1.1.1.1.3.2.1.cmml" xref="S4.Ex3.m1.3.3.1.1.1.1.1.1.3">subscript</csymbol><sum id="S4.Ex3.m1.3.3.1.1.1.1.1.1.3.2.2.cmml" xref="S4.Ex3.m1.3.3.1.1.1.1.1.1.3.2.2"></sum><apply id="S4.Ex3.m1.3.3.1.1.1.1.1.1.3.2.3.cmml" xref="S4.Ex3.m1.3.3.1.1.1.1.1.1.3.2.3"><eq id="S4.Ex3.m1.3.3.1.1.1.1.1.1.3.2.3.1.cmml" xref="S4.Ex3.m1.3.3.1.1.1.1.1.1.3.2.3.1"></eq><ci id="S4.Ex3.m1.3.3.1.1.1.1.1.1.3.2.3.2.cmml" xref="S4.Ex3.m1.3.3.1.1.1.1.1.1.3.2.3.2">𝑡</ci><cn type="integer" id="S4.Ex3.m1.3.3.1.1.1.1.1.1.3.2.3.3.cmml" xref="S4.Ex3.m1.3.3.1.1.1.1.1.1.3.2.3.3">1</cn></apply></apply><ci id="S4.Ex3.m1.3.3.1.1.1.1.1.1.3.3.cmml" xref="S4.Ex3.m1.3.3.1.1.1.1.1.1.3.3">𝑇</ci></apply><apply id="S4.Ex3.m1.3.3.1.1.1.1.1.1.2.cmml" xref="S4.Ex3.m1.3.3.1.1.1.1.1.1.2"><times id="S4.Ex3.m1.3.3.1.1.1.1.1.1.2.3.cmml" xref="S4.Ex3.m1.3.3.1.1.1.1.1.1.2.3"></times><apply id="S4.Ex3.m1.3.3.1.1.1.1.1.1.2.4.cmml" xref="S4.Ex3.m1.3.3.1.1.1.1.1.1.2.4"><apply id="S4.Ex3.m1.3.3.1.1.1.1.1.1.2.4.1.cmml" xref="S4.Ex3.m1.3.3.1.1.1.1.1.1.2.4.1"><apply id="S4.Ex3.m1.3.3.1.1.1.1.1.1.2.4.1.1.cmml" xref="S4.Ex3.m1.3.3.1.1.1.1.1.1.2.4.1.1"><csymbol cd="ambiguous" id="S4.Ex3.m1.3.3.1.1.1.1.1.1.2.4.1.1.1.cmml" xref="S4.Ex3.m1.3.3.1.1.1.1.1.1.2.4.1.1">subscript</csymbol><ci id="S4.Ex3.m1.3.3.1.1.1.1.1.1.2.4.1.1.2.cmml" xref="S4.Ex3.m1.3.3.1.1.1.1.1.1.2.4.1.1.2">∇</ci><ci id="S4.Ex3.m1.3.3.1.1.1.1.1.1.2.4.1.1.3.cmml" xref="S4.Ex3.m1.3.3.1.1.1.1.1.1.2.4.1.1.3">𝜃</ci></apply><log id="S4.Ex3.m1.3.3.1.1.1.1.1.1.2.4.1.2.cmml" xref="S4.Ex3.m1.3.3.1.1.1.1.1.1.2.4.1.2"></log></apply><apply id="S4.Ex3.m1.3.3.1.1.1.1.1.1.2.4.2.cmml" xref="S4.Ex3.m1.3.3.1.1.1.1.1.1.2.4.2"><csymbol cd="ambiguous" id="S4.Ex3.m1.3.3.1.1.1.1.1.1.2.4.2.1.cmml" xref="S4.Ex3.m1.3.3.1.1.1.1.1.1.2.4.2">subscript</csymbol><ci id="S4.Ex3.m1.3.3.1.1.1.1.1.1.2.4.2.2.cmml" xref="S4.Ex3.m1.3.3.1.1.1.1.1.1.2.4.2.2">𝜋</ci><ci id="S4.Ex3.m1.3.3.1.1.1.1.1.1.2.4.2.3.cmml" xref="S4.Ex3.m1.3.3.1.1.1.1.1.1.2.4.2.3">𝜃</ci></apply></apply><apply id="S4.Ex3.m1.3.3.1.1.1.1.1.1.1.1.1.1.cmml" xref="S4.Ex3.m1.3.3.1.1.1.1.1.1.1.1.1"><csymbol cd="latexml" id="S4.Ex3.m1.3.3.1.1.1.1.1.1.1.1.1.1.2.cmml" xref="S4.Ex3.m1.3.3.1.1.1.1.1.1.1.1.1.1.2">conditional</csymbol><apply id="S4.Ex3.m1.3.3.1.1.1.1.1.1.1.1.1.1.3.cmml" xref="S4.Ex3.m1.3.3.1.1.1.1.1.1.1.1.1.1.3"><csymbol cd="ambiguous" id="S4.Ex3.m1.3.3.1.1.1.1.1.1.1.1.1.1.3.1.cmml" xref="S4.Ex3.m1.3.3.1.1.1.1.1.1.1.1.1.1.3">subscript</csymbol><ci id="S4.Ex3.m1.3.3.1.1.1.1.1.1.1.1.1.1.3.2.cmml" xref="S4.Ex3.m1.3.3.1.1.1.1.1.1.1.1.1.1.3.2">𝑎</ci><ci id="S4.Ex3.m1.3.3.1.1.1.1.1.1.1.1.1.1.3.3.cmml" xref="S4.Ex3.m1.3.3.1.1.1.1.1.1.1.1.1.1.3.3">𝑡</ci></apply><list id="S4.Ex3.m1.3.3.1.1.1.1.1.1.1.1.1.1.1.2.cmml" xref="S4.Ex3.m1.3.3.1.1.1.1.1.1.1.1.1.1.1.1"><ci id="S4.Ex3.m1.1.1.cmml" xref="S4.Ex3.m1.1.1">𝑥</ci><apply id="S4.Ex3.m1.3.3.1.1.1.1.1.1.1.1.1.1.1.1.1.cmml" xref="S4.Ex3.m1.3.3.1.1.1.1.1.1.1.1.1.1.1.1.1"><csymbol cd="ambiguous" id="S4.Ex3.m1.3.3.1.1.1.1.1.1.1.1.1.1.1.1.1.1.cmml" xref="S4.Ex3.m1.3.3.1.1.1.1.1.1.1.1.1.1.1.1.1">subscript</csymbol><ci id="S4.Ex3.m1.3.3.1.1.1.1.1.1.1.1.1.1.1.1.1.2.cmml" xref="S4.Ex3.m1.3.3.1.1.1.1.1.1.1.1.1.1.1.1.1.2">𝑎</ci><apply id="S4.Ex3.m1.3.3.1.1.1.1.1.1.1.1.1.1.1.1.1.3.cmml" xref="S4.Ex3.m1.3.3.1.1.1.1.1.1.1.1.1.1.1.1.1.3"><ci id="S4.Ex3.m1.3.3.1.1.1.1.1.1.1.1.1.1.1.1.1.3.1.cmml" xref="S4.Ex3.m1.3.3.1.1.1.1.1.1.1.1.1.1.1.1.1.3.1">:</ci><cn type="integer" id="S4.Ex3.m1.3.3.1.1.1.1.1.1.1.1.1.1.1.1.1.3.2.cmml" xref="S4.Ex3.m1.3.3.1.1.1.1.1.1.1.1.1.1.1.1.1.3.2">1</cn><apply id="S4.Ex3.m1.3.3.1.1.1.1.1.1.1.1.1.1.1.1.1.3.3.cmml" xref="S4.Ex3.m1.3.3.1.1.1.1.1.1.1.1.1.1.1.1.1.3.3"><minus id="S4.Ex3.m1.3.3.1.1.1.1.1.1.1.1.1.1.1.1.1.3.3.1.cmml" xref="S4.Ex3.m1.3.3.1.1.1.1.1.1.1.1.1.1.1.1.1.3.3.1"></minus><ci id="S4.Ex3.m1.3.3.1.1.1.1.1.1.1.1.1.1.1.1.1.3.3.2.cmml" xref="S4.Ex3.m1.3.3.1.1.1.1.1.1.1.1.1.1.1.1.1.3.3.2">𝑡</ci><cn type="integer" id="S4.Ex3.m1.3.3.1.1.1.1.1.1.1.1.1.1.1.1.1.3.3.3.cmml" xref="S4.Ex3.m1.3.3.1.1.1.1.1.1.1.1.1.1.1.1.1.3.3.3">1</cn></apply></apply></apply></list></apply><ci id="S4.Ex3.m1.3.3.1.1.1.1.1.1.2.5.cmml" xref="S4.Ex3.m1.3.3.1.1.1.1.1.1.2.5">𝑟</ci><interval closure="open" id="S4.Ex3.m1.3.3.1.1.1.1.1.1.2.2.2.cmml" xref="S4.Ex3.m1.3.3.1.1.1.1.1.1.2.2.1"><ci id="S4.Ex3.m1.2.2.cmml" xref="S4.Ex3.m1.2.2">𝑥</ci><apply id="S4.Ex3.m1.3.3.1.1.1.1.1.1.2.2.1.1.cmml" xref="S4.Ex3.m1.3.3.1.1.1.1.1.1.2.2.1.1"><csymbol cd="ambiguous" id="S4.Ex3.m1.3.3.1.1.1.1.1.1.2.2.1.1.1.cmml" xref="S4.Ex3.m1.3.3.1.1.1.1.1.1.2.2.1.1">subscript</csymbol><ci id="S4.Ex3.m1.3.3.1.1.1.1.1.1.2.2.1.1.2.cmml" xref="S4.Ex3.m1.3.3.1.1.1.1.1.1.2.2.1.1.2">𝑎</ci><apply id="S4.Ex3.m1.3.3.1.1.1.1.1.1.2.2.1.1.3.cmml" xref="S4.Ex3.m1.3.3.1.1.1.1.1.1.2.2.1.1.3"><ci id="S4.Ex3.m1.3.3.1.1.1.1.1.1.2.2.1.1.3.1.cmml" xref="S4.Ex3.m1.3.3.1.1.1.1.1.1.2.2.1.1.3.1">:</ci><cn type="integer" id="S4.Ex3.m1.3.3.1.1.1.1.1.1.2.2.1.1.3.2.cmml" xref="S4.Ex3.m1.3.3.1.1.1.1.1.1.2.2.1.1.3.2">1</cn><ci id="S4.Ex3.m1.3.3.1.1.1.1.1.1.2.2.1.1.3.3.cmml" xref="S4.Ex3.m1.3.3.1.1.1.1.1.1.2.2.1.1.3.3">𝑇</ci></apply></apply></interval></apply></apply></apply></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="S4.Ex3.m1.3c">\displaystyle=\mathbb{E}_{a_{1:T}\sim\pi_{\theta}}\left[\sum_{t=1}^{T}\nabla_{\theta}\log\pi_{\theta}(a_{t}|x,a_{1:t-1})r(x,a_{1:T})\right].</annotation></semantics></math></td>
<td class="ltx_eqn_cell ltx_eqn_center_padright"></td>
</tr></tbody>
</table>
<p id="S4.SS1.p1.3" class="ltx_p">The transformation in the last equation employs the so-called log-derivative trick <cite class="ltx_cite ltx_citemacro_citep">(Mohamed et al., <a href="#bib.bib17" title="" class="ltx_ref">2020</a>)</cite>. Now, given a set of prompts <math id="S4.SS1.p1.2.m1.3" class="ltx_Math" alttext="(x^{1},\ldots,x^{N})" display="inline"><semantics id="S4.SS1.p1.2.m1.3a"><mrow id="S4.SS1.p1.2.m1.3.3.2" xref="S4.SS1.p1.2.m1.3.3.3.cmml"><mo stretchy="false" id="S4.SS1.p1.2.m1.3.3.2.3" xref="S4.SS1.p1.2.m1.3.3.3.cmml">(</mo><msup id="S4.SS1.p1.2.m1.2.2.1.1" xref="S4.SS1.p1.2.m1.2.2.1.1.cmml"><mi id="S4.SS1.p1.2.m1.2.2.1.1.2" xref="S4.SS1.p1.2.m1.2.2.1.1.2.cmml">x</mi><mn id="S4.SS1.p1.2.m1.2.2.1.1.3" xref="S4.SS1.p1.2.m1.2.2.1.1.3.cmml">1</mn></msup><mo id="S4.SS1.p1.2.m1.3.3.2.4" xref="S4.SS1.p1.2.m1.3.3.3.cmml">,</mo><mi mathvariant="normal" id="S4.SS1.p1.2.m1.1.1" xref="S4.SS1.p1.2.m1.1.1.cmml">…</mi><mo id="S4.SS1.p1.2.m1.3.3.2.5" xref="S4.SS1.p1.2.m1.3.3.3.cmml">,</mo><msup id="S4.SS1.p1.2.m1.3.3.2.2" xref="S4.SS1.p1.2.m1.3.3.2.2.cmml"><mi id="S4.SS1.p1.2.m1.3.3.2.2.2" xref="S4.SS1.p1.2.m1.3.3.2.2.2.cmml">x</mi><mi id="S4.SS1.p1.2.m1.3.3.2.2.3" xref="S4.SS1.p1.2.m1.3.3.2.2.3.cmml">N</mi></msup><mo stretchy="false" id="S4.SS1.p1.2.m1.3.3.2.6" xref="S4.SS1.p1.2.m1.3.3.3.cmml">)</mo></mrow><annotation-xml encoding="MathML-Content" id="S4.SS1.p1.2.m1.3b"><vector id="S4.SS1.p1.2.m1.3.3.3.cmml" xref="S4.SS1.p1.2.m1.3.3.2"><apply id="S4.SS1.p1.2.m1.2.2.1.1.cmml" xref="S4.SS1.p1.2.m1.2.2.1.1"><csymbol cd="ambiguous" id="S4.SS1.p1.2.m1.2.2.1.1.1.cmml" xref="S4.SS1.p1.2.m1.2.2.1.1">superscript</csymbol><ci id="S4.SS1.p1.2.m1.2.2.1.1.2.cmml" xref="S4.SS1.p1.2.m1.2.2.1.1.2">𝑥</ci><cn type="integer" id="S4.SS1.p1.2.m1.2.2.1.1.3.cmml" xref="S4.SS1.p1.2.m1.2.2.1.1.3">1</cn></apply><ci id="S4.SS1.p1.2.m1.1.1.cmml" xref="S4.SS1.p1.2.m1.1.1">…</ci><apply id="S4.SS1.p1.2.m1.3.3.2.2.cmml" xref="S4.SS1.p1.2.m1.3.3.2.2"><csymbol cd="ambiguous" id="S4.SS1.p1.2.m1.3.3.2.2.1.cmml" xref="S4.SS1.p1.2.m1.3.3.2.2">superscript</csymbol><ci id="S4.SS1.p1.2.m1.3.3.2.2.2.cmml" xref="S4.SS1.p1.2.m1.3.3.2.2.2">𝑥</ci><ci id="S4.SS1.p1.2.m1.3.3.2.2.3.cmml" xref="S4.SS1.p1.2.m1.3.3.2.2.3">𝑁</ci></apply></vector></annotation-xml><annotation encoding="application/x-tex" id="S4.SS1.p1.2.m1.3c">(x^{1},\ldots,x^{N})</annotation></semantics></math>, the stochastic gradient estimator can be derived by unrolling the LLM model <math id="S4.SS1.p1.3.m2.1" class="ltx_Math" alttext="\pi_{\theta}" display="inline"><semantics id="S4.SS1.p1.3.m2.1a"><msub id="S4.SS1.p1.3.m2.1.1" xref="S4.SS1.p1.3.m2.1.1.cmml"><mi id="S4.SS1.p1.3.m2.1.1.2" xref="S4.SS1.p1.3.m2.1.1.2.cmml">π</mi><mi id="S4.SS1.p1.3.m2.1.1.3" xref="S4.SS1.p1.3.m2.1.1.3.cmml">θ</mi></msub><annotation-xml encoding="MathML-Content" id="S4.SS1.p1.3.m2.1b"><apply id="S4.SS1.p1.3.m2.1.1.cmml" xref="S4.SS1.p1.3.m2.1.1"><csymbol cd="ambiguous" id="S4.SS1.p1.3.m2.1.1.1.cmml" xref="S4.SS1.p1.3.m2.1.1">subscript</csymbol><ci id="S4.SS1.p1.3.m2.1.1.2.cmml" xref="S4.SS1.p1.3.m2.1.1.2">𝜋</ci><ci id="S4.SS1.p1.3.m2.1.1.3.cmml" xref="S4.SS1.p1.3.m2.1.1.3">𝜃</ci></apply></annotation-xml><annotation encoding="application/x-tex" id="S4.SS1.p1.3.m2.1c">\pi_{\theta}</annotation></semantics></math> as:</p>
<table id="S4.Ex4" class="ltx_equation ltx_eqn_table">

<tbody><tr class="ltx_equation ltx_eqn_row ltx_align_baseline">
<td class="ltx_eqn_cell ltx_eqn_center_padleft"></td>
<td class="ltx_eqn_cell ltx_align_center"><math id="S4.Ex4.m1.2" class="ltx_Math" alttext="\widehat{g}(\theta)=\sum_{i=1}^{N}\sum_{t=1}^{T}\nabla_{\theta}\log\pi_{\theta}(a_{t}^{i}|x^{i},a_{1:t-1}^{i})r(x^{i},a_{1:T}^{i})," display="block"><semantics id="S4.Ex4.m1.2a"><mrow id="S4.Ex4.m1.2.2.1" xref="S4.Ex4.m1.2.2.1.1.cmml"><mrow id="S4.Ex4.m1.2.2.1.1" xref="S4.Ex4.m1.2.2.1.1.cmml"><mrow id="S4.Ex4.m1.2.2.1.1.5" xref="S4.Ex4.m1.2.2.1.1.5.cmml"><mover accent="true" id="S4.Ex4.m1.2.2.1.1.5.2" xref="S4.Ex4.m1.2.2.1.1.5.2.cmml"><mi id="S4.Ex4.m1.2.2.1.1.5.2.2" xref="S4.Ex4.m1.2.2.1.1.5.2.2.cmml">g</mi><mo id="S4.Ex4.m1.2.2.1.1.5.2.1" xref="S4.Ex4.m1.2.2.1.1.5.2.1.cmml">^</mo></mover><mo lspace="0em" rspace="0em" id="S4.Ex4.m1.2.2.1.1.5.1" xref="S4.Ex4.m1.2.2.1.1.5.1.cmml">​</mo><mrow id="S4.Ex4.m1.2.2.1.1.5.3.2" xref="S4.Ex4.m1.2.2.1.1.5.cmml"><mo stretchy="false" id="S4.Ex4.m1.2.2.1.1.5.3.2.1" xref="S4.Ex4.m1.2.2.1.1.5.cmml">(</mo><mi id="S4.Ex4.m1.1.1" xref="S4.Ex4.m1.1.1.cmml">θ</mi><mo stretchy="false" id="S4.Ex4.m1.2.2.1.1.5.3.2.2" xref="S4.Ex4.m1.2.2.1.1.5.cmml">)</mo></mrow></mrow><mo rspace="0.111em" id="S4.Ex4.m1.2.2.1.1.4" xref="S4.Ex4.m1.2.2.1.1.4.cmml">=</mo><mrow id="S4.Ex4.m1.2.2.1.1.3" xref="S4.Ex4.m1.2.2.1.1.3.cmml"><munderover id="S4.Ex4.m1.2.2.1.1.3.4" xref="S4.Ex4.m1.2.2.1.1.3.4.cmml"><mo movablelimits="false" rspace="0em" id="S4.Ex4.m1.2.2.1.1.3.4.2.2" xref="S4.Ex4.m1.2.2.1.1.3.4.2.2.cmml">∑</mo><mrow id="S4.Ex4.m1.2.2.1.1.3.4.2.3" xref="S4.Ex4.m1.2.2.1.1.3.4.2.3.cmml"><mi id="S4.Ex4.m1.2.2.1.1.3.4.2.3.2" xref="S4.Ex4.m1.2.2.1.1.3.4.2.3.2.cmml">i</mi><mo id="S4.Ex4.m1.2.2.1.1.3.4.2.3.1" xref="S4.Ex4.m1.2.2.1.1.3.4.2.3.1.cmml">=</mo><mn id="S4.Ex4.m1.2.2.1.1.3.4.2.3.3" xref="S4.Ex4.m1.2.2.1.1.3.4.2.3.3.cmml">1</mn></mrow><mi id="S4.Ex4.m1.2.2.1.1.3.4.3" xref="S4.Ex4.m1.2.2.1.1.3.4.3.cmml">N</mi></munderover><mrow id="S4.Ex4.m1.2.2.1.1.3.3" xref="S4.Ex4.m1.2.2.1.1.3.3.cmml"><munderover id="S4.Ex4.m1.2.2.1.1.3.3.4" xref="S4.Ex4.m1.2.2.1.1.3.3.4.cmml"><mo movablelimits="false" id="S4.Ex4.m1.2.2.1.1.3.3.4.2.2" xref="S4.Ex4.m1.2.2.1.1.3.3.4.2.2.cmml">∑</mo><mrow id="S4.Ex4.m1.2.2.1.1.3.3.4.2.3" xref="S4.Ex4.m1.2.2.1.1.3.3.4.2.3.cmml"><mi id="S4.Ex4.m1.2.2.1.1.3.3.4.2.3.2" xref="S4.Ex4.m1.2.2.1.1.3.3.4.2.3.2.cmml">t</mi><mo id="S4.Ex4.m1.2.2.1.1.3.3.4.2.3.1" xref="S4.Ex4.m1.2.2.1.1.3.3.4.2.3.1.cmml">=</mo><mn id="S4.Ex4.m1.2.2.1.1.3.3.4.2.3.3" xref="S4.Ex4.m1.2.2.1.1.3.3.4.2.3.3.cmml">1</mn></mrow><mi id="S4.Ex4.m1.2.2.1.1.3.3.4.3" xref="S4.Ex4.m1.2.2.1.1.3.3.4.3.cmml">T</mi></munderover><mrow id="S4.Ex4.m1.2.2.1.1.3.3.3" xref="S4.Ex4.m1.2.2.1.1.3.3.3.cmml"><mrow id="S4.Ex4.m1.2.2.1.1.3.3.3.5" xref="S4.Ex4.m1.2.2.1.1.3.3.3.5.cmml"><mrow id="S4.Ex4.m1.2.2.1.1.3.3.3.5.1" xref="S4.Ex4.m1.2.2.1.1.3.3.3.5.1.cmml"><msub id="S4.Ex4.m1.2.2.1.1.3.3.3.5.1.1" xref="S4.Ex4.m1.2.2.1.1.3.3.3.5.1.1.cmml"><mo rspace="0.167em" id="S4.Ex4.m1.2.2.1.1.3.3.3.5.1.1.2" xref="S4.Ex4.m1.2.2.1.1.3.3.3.5.1.1.2.cmml">∇</mo><mi id="S4.Ex4.m1.2.2.1.1.3.3.3.5.1.1.3" xref="S4.Ex4.m1.2.2.1.1.3.3.3.5.1.1.3.cmml">θ</mi></msub><mi id="S4.Ex4.m1.2.2.1.1.3.3.3.5.1.2" xref="S4.Ex4.m1.2.2.1.1.3.3.3.5.1.2.cmml">log</mi></mrow><mo lspace="0.167em" id="S4.Ex4.m1.2.2.1.1.3.3.3.5a" xref="S4.Ex4.m1.2.2.1.1.3.3.3.5.cmml">⁡</mo><msub id="S4.Ex4.m1.2.2.1.1.3.3.3.5.2" xref="S4.Ex4.m1.2.2.1.1.3.3.3.5.2.cmml"><mi id="S4.Ex4.m1.2.2.1.1.3.3.3.5.2.2" xref="S4.Ex4.m1.2.2.1.1.3.3.3.5.2.2.cmml">π</mi><mi id="S4.Ex4.m1.2.2.1.1.3.3.3.5.2.3" xref="S4.Ex4.m1.2.2.1.1.3.3.3.5.2.3.cmml">θ</mi></msub></mrow><mo lspace="0em" rspace="0em" id="S4.Ex4.m1.2.2.1.1.3.3.3.4" xref="S4.Ex4.m1.2.2.1.1.3.3.3.4.cmml">​</mo><mrow id="S4.Ex4.m1.2.2.1.1.1.1.1.1.1" xref="S4.Ex4.m1.2.2.1.1.1.1.1.1.1.1.cmml"><mo stretchy="false" id="S4.Ex4.m1.2.2.1.1.1.1.1.1.1.2" xref="S4.Ex4.m1.2.2.1.1.1.1.1.1.1.1.cmml">(</mo><mrow id="S4.Ex4.m1.2.2.1.1.1.1.1.1.1.1" xref="S4.Ex4.m1.2.2.1.1.1.1.1.1.1.1.cmml"><msubsup id="S4.Ex4.m1.2.2.1.1.1.1.1.1.1.1.4" xref="S4.Ex4.m1.2.2.1.1.1.1.1.1.1.1.4.cmml"><mi id="S4.Ex4.m1.2.2.1.1.1.1.1.1.1.1.4.2.2" xref="S4.Ex4.m1.2.2.1.1.1.1.1.1.1.1.4.2.2.cmml">a</mi><mi id="S4.Ex4.m1.2.2.1.1.1.1.1.1.1.1.4.2.3" xref="S4.Ex4.m1.2.2.1.1.1.1.1.1.1.1.4.2.3.cmml">t</mi><mi id="S4.Ex4.m1.2.2.1.1.1.1.1.1.1.1.4.3" xref="S4.Ex4.m1.2.2.1.1.1.1.1.1.1.1.4.3.cmml">i</mi></msubsup><mo fence="false" id="S4.Ex4.m1.2.2.1.1.1.1.1.1.1.1.3" xref="S4.Ex4.m1.2.2.1.1.1.1.1.1.1.1.3.cmml">|</mo><mrow id="S4.Ex4.m1.2.2.1.1.1.1.1.1.1.1.2.2" xref="S4.Ex4.m1.2.2.1.1.1.1.1.1.1.1.2.3.cmml"><msup id="S4.Ex4.m1.2.2.1.1.1.1.1.1.1.1.1.1.1" xref="S4.Ex4.m1.2.2.1.1.1.1.1.1.1.1.1.1.1.cmml"><mi id="S4.Ex4.m1.2.2.1.1.1.1.1.1.1.1.1.1.1.2" xref="S4.Ex4.m1.2.2.1.1.1.1.1.1.1.1.1.1.1.2.cmml">x</mi><mi id="S4.Ex4.m1.2.2.1.1.1.1.1.1.1.1.1.1.1.3" xref="S4.Ex4.m1.2.2.1.1.1.1.1.1.1.1.1.1.1.3.cmml">i</mi></msup><mo id="S4.Ex4.m1.2.2.1.1.1.1.1.1.1.1.2.2.3" xref="S4.Ex4.m1.2.2.1.1.1.1.1.1.1.1.2.3.cmml">,</mo><msubsup id="S4.Ex4.m1.2.2.1.1.1.1.1.1.1.1.2.2.2" xref="S4.Ex4.m1.2.2.1.1.1.1.1.1.1.1.2.2.2.cmml"><mi id="S4.Ex4.m1.2.2.1.1.1.1.1.1.1.1.2.2.2.2.2" xref="S4.Ex4.m1.2.2.1.1.1.1.1.1.1.1.2.2.2.2.2.cmml">a</mi><mrow id="S4.Ex4.m1.2.2.1.1.1.1.1.1.1.1.2.2.2.2.3" xref="S4.Ex4.m1.2.2.1.1.1.1.1.1.1.1.2.2.2.2.3.cmml"><mn id="S4.Ex4.m1.2.2.1.1.1.1.1.1.1.1.2.2.2.2.3.2" xref="S4.Ex4.m1.2.2.1.1.1.1.1.1.1.1.2.2.2.2.3.2.cmml">1</mn><mo lspace="0.278em" rspace="0.278em" id="S4.Ex4.m1.2.2.1.1.1.1.1.1.1.1.2.2.2.2.3.1" xref="S4.Ex4.m1.2.2.1.1.1.1.1.1.1.1.2.2.2.2.3.1.cmml">:</mo><mrow id="S4.Ex4.m1.2.2.1.1.1.1.1.1.1.1.2.2.2.2.3.3" xref="S4.Ex4.m1.2.2.1.1.1.1.1.1.1.1.2.2.2.2.3.3.cmml"><mi id="S4.Ex4.m1.2.2.1.1.1.1.1.1.1.1.2.2.2.2.3.3.2" xref="S4.Ex4.m1.2.2.1.1.1.1.1.1.1.1.2.2.2.2.3.3.2.cmml">t</mi><mo id="S4.Ex4.m1.2.2.1.1.1.1.1.1.1.1.2.2.2.2.3.3.1" xref="S4.Ex4.m1.2.2.1.1.1.1.1.1.1.1.2.2.2.2.3.3.1.cmml">−</mo><mn id="S4.Ex4.m1.2.2.1.1.1.1.1.1.1.1.2.2.2.2.3.3.3" xref="S4.Ex4.m1.2.2.1.1.1.1.1.1.1.1.2.2.2.2.3.3.3.cmml">1</mn></mrow></mrow><mi id="S4.Ex4.m1.2.2.1.1.1.1.1.1.1.1.2.2.2.3" xref="S4.Ex4.m1.2.2.1.1.1.1.1.1.1.1.2.2.2.3.cmml">i</mi></msubsup></mrow></mrow><mo stretchy="false" id="S4.Ex4.m1.2.2.1.1.1.1.1.1.1.3" xref="S4.Ex4.m1.2.2.1.1.1.1.1.1.1.1.cmml">)</mo></mrow><mo lspace="0em" rspace="0em" id="S4.Ex4.m1.2.2.1.1.3.3.3.4a" xref="S4.Ex4.m1.2.2.1.1.3.3.3.4.cmml">​</mo><mi id="S4.Ex4.m1.2.2.1.1.3.3.3.6" xref="S4.Ex4.m1.2.2.1.1.3.3.3.6.cmml">r</mi><mo lspace="0em" rspace="0em" id="S4.Ex4.m1.2.2.1.1.3.3.3.4b" xref="S4.Ex4.m1.2.2.1.1.3.3.3.4.cmml">​</mo><mrow id="S4.Ex4.m1.2.2.1.1.3.3.3.3.2" xref="S4.Ex4.m1.2.2.1.1.3.3.3.3.3.cmml"><mo stretchy="false" id="S4.Ex4.m1.2.2.1.1.3.3.3.3.2.3" xref="S4.Ex4.m1.2.2.1.1.3.3.3.3.3.cmml">(</mo><msup id="S4.Ex4.m1.2.2.1.1.2.2.2.2.1.1" xref="S4.Ex4.m1.2.2.1.1.2.2.2.2.1.1.cmml"><mi id="S4.Ex4.m1.2.2.1.1.2.2.2.2.1.1.2" xref="S4.Ex4.m1.2.2.1.1.2.2.2.2.1.1.2.cmml">x</mi><mi id="S4.Ex4.m1.2.2.1.1.2.2.2.2.1.1.3" xref="S4.Ex4.m1.2.2.1.1.2.2.2.2.1.1.3.cmml">i</mi></msup><mo id="S4.Ex4.m1.2.2.1.1.3.3.3.3.2.4" xref="S4.Ex4.m1.2.2.1.1.3.3.3.3.3.cmml">,</mo><msubsup id="S4.Ex4.m1.2.2.1.1.3.3.3.3.2.2" xref="S4.Ex4.m1.2.2.1.1.3.3.3.3.2.2.cmml"><mi id="S4.Ex4.m1.2.2.1.1.3.3.3.3.2.2.2.2" xref="S4.Ex4.m1.2.2.1.1.3.3.3.3.2.2.2.2.cmml">a</mi><mrow id="S4.Ex4.m1.2.2.1.1.3.3.3.3.2.2.2.3" xref="S4.Ex4.m1.2.2.1.1.3.3.3.3.2.2.2.3.cmml"><mn id="S4.Ex4.m1.2.2.1.1.3.3.3.3.2.2.2.3.2" xref="S4.Ex4.m1.2.2.1.1.3.3.3.3.2.2.2.3.2.cmml">1</mn><mo lspace="0.278em" rspace="0.278em" id="S4.Ex4.m1.2.2.1.1.3.3.3.3.2.2.2.3.1" xref="S4.Ex4.m1.2.2.1.1.3.3.3.3.2.2.2.3.1.cmml">:</mo><mi id="S4.Ex4.m1.2.2.1.1.3.3.3.3.2.2.2.3.3" xref="S4.Ex4.m1.2.2.1.1.3.3.3.3.2.2.2.3.3.cmml">T</mi></mrow><mi id="S4.Ex4.m1.2.2.1.1.3.3.3.3.2.2.3" xref="S4.Ex4.m1.2.2.1.1.3.3.3.3.2.2.3.cmml">i</mi></msubsup><mo stretchy="false" id="S4.Ex4.m1.2.2.1.1.3.3.3.3.2.5" xref="S4.Ex4.m1.2.2.1.1.3.3.3.3.3.cmml">)</mo></mrow></mrow></mrow></mrow></mrow><mo id="S4.Ex4.m1.2.2.1.2" xref="S4.Ex4.m1.2.2.1.1.cmml">,</mo></mrow><annotation-xml encoding="MathML-Content" id="S4.Ex4.m1.2b"><apply id="S4.Ex4.m1.2.2.1.1.cmml" xref="S4.Ex4.m1.2.2.1"><eq id="S4.Ex4.m1.2.2.1.1.4.cmml" xref="S4.Ex4.m1.2.2.1.1.4"></eq><apply id="S4.Ex4.m1.2.2.1.1.5.cmml" xref="S4.Ex4.m1.2.2.1.1.5"><times id="S4.Ex4.m1.2.2.1.1.5.1.cmml" xref="S4.Ex4.m1.2.2.1.1.5.1"></times><apply id="S4.Ex4.m1.2.2.1.1.5.2.cmml" xref="S4.Ex4.m1.2.2.1.1.5.2"><ci id="S4.Ex4.m1.2.2.1.1.5.2.1.cmml" xref="S4.Ex4.m1.2.2.1.1.5.2.1">^</ci><ci id="S4.Ex4.m1.2.2.1.1.5.2.2.cmml" xref="S4.Ex4.m1.2.2.1.1.5.2.2">𝑔</ci></apply><ci id="S4.Ex4.m1.1.1.cmml" xref="S4.Ex4.m1.1.1">𝜃</ci></apply><apply id="S4.Ex4.m1.2.2.1.1.3.cmml" xref="S4.Ex4.m1.2.2.1.1.3"><apply id="S4.Ex4.m1.2.2.1.1.3.4.cmml" xref="S4.Ex4.m1.2.2.1.1.3.4"><csymbol cd="ambiguous" id="S4.Ex4.m1.2.2.1.1.3.4.1.cmml" xref="S4.Ex4.m1.2.2.1.1.3.4">superscript</csymbol><apply id="S4.Ex4.m1.2.2.1.1.3.4.2.cmml" xref="S4.Ex4.m1.2.2.1.1.3.4"><csymbol cd="ambiguous" id="S4.Ex4.m1.2.2.1.1.3.4.2.1.cmml" xref="S4.Ex4.m1.2.2.1.1.3.4">subscript</csymbol><sum id="S4.Ex4.m1.2.2.1.1.3.4.2.2.cmml" xref="S4.Ex4.m1.2.2.1.1.3.4.2.2"></sum><apply id="S4.Ex4.m1.2.2.1.1.3.4.2.3.cmml" xref="S4.Ex4.m1.2.2.1.1.3.4.2.3"><eq id="S4.Ex4.m1.2.2.1.1.3.4.2.3.1.cmml" xref="S4.Ex4.m1.2.2.1.1.3.4.2.3.1"></eq><ci id="S4.Ex4.m1.2.2.1.1.3.4.2.3.2.cmml" xref="S4.Ex4.m1.2.2.1.1.3.4.2.3.2">𝑖</ci><cn type="integer" id="S4.Ex4.m1.2.2.1.1.3.4.2.3.3.cmml" xref="S4.Ex4.m1.2.2.1.1.3.4.2.3.3">1</cn></apply></apply><ci id="S4.Ex4.m1.2.2.1.1.3.4.3.cmml" xref="S4.Ex4.m1.2.2.1.1.3.4.3">𝑁</ci></apply><apply id="S4.Ex4.m1.2.2.1.1.3.3.cmml" xref="S4.Ex4.m1.2.2.1.1.3.3"><apply id="S4.Ex4.m1.2.2.1.1.3.3.4.cmml" xref="S4.Ex4.m1.2.2.1.1.3.3.4"><csymbol cd="ambiguous" id="S4.Ex4.m1.2.2.1.1.3.3.4.1.cmml" xref="S4.Ex4.m1.2.2.1.1.3.3.4">superscript</csymbol><apply id="S4.Ex4.m1.2.2.1.1.3.3.4.2.cmml" xref="S4.Ex4.m1.2.2.1.1.3.3.4"><csymbol cd="ambiguous" id="S4.Ex4.m1.2.2.1.1.3.3.4.2.1.cmml" xref="S4.Ex4.m1.2.2.1.1.3.3.4">subscript</csymbol><sum id="S4.Ex4.m1.2.2.1.1.3.3.4.2.2.cmml" xref="S4.Ex4.m1.2.2.1.1.3.3.4.2.2"></sum><apply id="S4.Ex4.m1.2.2.1.1.3.3.4.2.3.cmml" xref="S4.Ex4.m1.2.2.1.1.3.3.4.2.3"><eq id="S4.Ex4.m1.2.2.1.1.3.3.4.2.3.1.cmml" xref="S4.Ex4.m1.2.2.1.1.3.3.4.2.3.1"></eq><ci id="S4.Ex4.m1.2.2.1.1.3.3.4.2.3.2.cmml" xref="S4.Ex4.m1.2.2.1.1.3.3.4.2.3.2">𝑡</ci><cn type="integer" id="S4.Ex4.m1.2.2.1.1.3.3.4.2.3.3.cmml" xref="S4.Ex4.m1.2.2.1.1.3.3.4.2.3.3">1</cn></apply></apply><ci id="S4.Ex4.m1.2.2.1.1.3.3.4.3.cmml" xref="S4.Ex4.m1.2.2.1.1.3.3.4.3">𝑇</ci></apply><apply id="S4.Ex4.m1.2.2.1.1.3.3.3.cmml" xref="S4.Ex4.m1.2.2.1.1.3.3.3"><times id="S4.Ex4.m1.2.2.1.1.3.3.3.4.cmml" xref="S4.Ex4.m1.2.2.1.1.3.3.3.4"></times><apply id="S4.Ex4.m1.2.2.1.1.3.3.3.5.cmml" xref="S4.Ex4.m1.2.2.1.1.3.3.3.5"><apply id="S4.Ex4.m1.2.2.1.1.3.3.3.5.1.cmml" xref="S4.Ex4.m1.2.2.1.1.3.3.3.5.1"><apply id="S4.Ex4.m1.2.2.1.1.3.3.3.5.1.1.cmml" xref="S4.Ex4.m1.2.2.1.1.3.3.3.5.1.1"><csymbol cd="ambiguous" id="S4.Ex4.m1.2.2.1.1.3.3.3.5.1.1.1.cmml" xref="S4.Ex4.m1.2.2.1.1.3.3.3.5.1.1">subscript</csymbol><ci id="S4.Ex4.m1.2.2.1.1.3.3.3.5.1.1.2.cmml" xref="S4.Ex4.m1.2.2.1.1.3.3.3.5.1.1.2">∇</ci><ci id="S4.Ex4.m1.2.2.1.1.3.3.3.5.1.1.3.cmml" xref="S4.Ex4.m1.2.2.1.1.3.3.3.5.1.1.3">𝜃</ci></apply><log id="S4.Ex4.m1.2.2.1.1.3.3.3.5.1.2.cmml" xref="S4.Ex4.m1.2.2.1.1.3.3.3.5.1.2"></log></apply><apply id="S4.Ex4.m1.2.2.1.1.3.3.3.5.2.cmml" xref="S4.Ex4.m1.2.2.1.1.3.3.3.5.2"><csymbol cd="ambiguous" id="S4.Ex4.m1.2.2.1.1.3.3.3.5.2.1.cmml" xref="S4.Ex4.m1.2.2.1.1.3.3.3.5.2">subscript</csymbol><ci id="S4.Ex4.m1.2.2.1.1.3.3.3.5.2.2.cmml" xref="S4.Ex4.m1.2.2.1.1.3.3.3.5.2.2">𝜋</ci><ci id="S4.Ex4.m1.2.2.1.1.3.3.3.5.2.3.cmml" xref="S4.Ex4.m1.2.2.1.1.3.3.3.5.2.3">𝜃</ci></apply></apply><apply id="S4.Ex4.m1.2.2.1.1.1.1.1.1.1.1.cmml" xref="S4.Ex4.m1.2.2.1.1.1.1.1.1.1"><csymbol cd="latexml" id="S4.Ex4.m1.2.2.1.1.1.1.1.1.1.1.3.cmml" xref="S4.Ex4.m1.2.2.1.1.1.1.1.1.1.1.3">conditional</csymbol><apply id="S4.Ex4.m1.2.2.1.1.1.1.1.1.1.1.4.cmml" xref="S4.Ex4.m1.2.2.1.1.1.1.1.1.1.1.4"><csymbol cd="ambiguous" id="S4.Ex4.m1.2.2.1.1.1.1.1.1.1.1.4.1.cmml" xref="S4.Ex4.m1.2.2.1.1.1.1.1.1.1.1.4">superscript</csymbol><apply id="S4.Ex4.m1.2.2.1.1.1.1.1.1.1.1.4.2.cmml" xref="S4.Ex4.m1.2.2.1.1.1.1.1.1.1.1.4"><csymbol cd="ambiguous" id="S4.Ex4.m1.2.2.1.1.1.1.1.1.1.1.4.2.1.cmml" xref="S4.Ex4.m1.2.2.1.1.1.1.1.1.1.1.4">subscript</csymbol><ci id="S4.Ex4.m1.2.2.1.1.1.1.1.1.1.1.4.2.2.cmml" xref="S4.Ex4.m1.2.2.1.1.1.1.1.1.1.1.4.2.2">𝑎</ci><ci id="S4.Ex4.m1.2.2.1.1.1.1.1.1.1.1.4.2.3.cmml" xref="S4.Ex4.m1.2.2.1.1.1.1.1.1.1.1.4.2.3">𝑡</ci></apply><ci id="S4.Ex4.m1.2.2.1.1.1.1.1.1.1.1.4.3.cmml" xref="S4.Ex4.m1.2.2.1.1.1.1.1.1.1.1.4.3">𝑖</ci></apply><list id="S4.Ex4.m1.2.2.1.1.1.1.1.1.1.1.2.3.cmml" xref="S4.Ex4.m1.2.2.1.1.1.1.1.1.1.1.2.2"><apply id="S4.Ex4.m1.2.2.1.1.1.1.1.1.1.1.1.1.1.cmml" xref="S4.Ex4.m1.2.2.1.1.1.1.1.1.1.1.1.1.1"><csymbol cd="ambiguous" id="S4.Ex4.m1.2.2.1.1.1.1.1.1.1.1.1.1.1.1.cmml" xref="S4.Ex4.m1.2.2.1.1.1.1.1.1.1.1.1.1.1">superscript</csymbol><ci id="S4.Ex4.m1.2.2.1.1.1.1.1.1.1.1.1.1.1.2.cmml" xref="S4.Ex4.m1.2.2.1.1.1.1.1.1.1.1.1.1.1.2">𝑥</ci><ci id="S4.Ex4.m1.2.2.1.1.1.1.1.1.1.1.1.1.1.3.cmml" xref="S4.Ex4.m1.2.2.1.1.1.1.1.1.1.1.1.1.1.3">𝑖</ci></apply><apply id="S4.Ex4.m1.2.2.1.1.1.1.1.1.1.1.2.2.2.cmml" xref="S4.Ex4.m1.2.2.1.1.1.1.1.1.1.1.2.2.2"><csymbol cd="ambiguous" id="S4.Ex4.m1.2.2.1.1.1.1.1.1.1.1.2.2.2.1.cmml" xref="S4.Ex4.m1.2.2.1.1.1.1.1.1.1.1.2.2.2">superscript</csymbol><apply id="S4.Ex4.m1.2.2.1.1.1.1.1.1.1.1.2.2.2.2.cmml" xref="S4.Ex4.m1.2.2.1.1.1.1.1.1.1.1.2.2.2"><csymbol cd="ambiguous" id="S4.Ex4.m1.2.2.1.1.1.1.1.1.1.1.2.2.2.2.1.cmml" xref="S4.Ex4.m1.2.2.1.1.1.1.1.1.1.1.2.2.2">subscript</csymbol><ci id="S4.Ex4.m1.2.2.1.1.1.1.1.1.1.1.2.2.2.2.2.cmml" xref="S4.Ex4.m1.2.2.1.1.1.1.1.1.1.1.2.2.2.2.2">𝑎</ci><apply id="S4.Ex4.m1.2.2.1.1.1.1.1.1.1.1.2.2.2.2.3.cmml" xref="S4.Ex4.m1.2.2.1.1.1.1.1.1.1.1.2.2.2.2.3"><ci id="S4.Ex4.m1.2.2.1.1.1.1.1.1.1.1.2.2.2.2.3.1.cmml" xref="S4.Ex4.m1.2.2.1.1.1.1.1.1.1.1.2.2.2.2.3.1">:</ci><cn type="integer" id="S4.Ex4.m1.2.2.1.1.1.1.1.1.1.1.2.2.2.2.3.2.cmml" xref="S4.Ex4.m1.2.2.1.1.1.1.1.1.1.1.2.2.2.2.3.2">1</cn><apply id="S4.Ex4.m1.2.2.1.1.1.1.1.1.1.1.2.2.2.2.3.3.cmml" xref="S4.Ex4.m1.2.2.1.1.1.1.1.1.1.1.2.2.2.2.3.3"><minus id="S4.Ex4.m1.2.2.1.1.1.1.1.1.1.1.2.2.2.2.3.3.1.cmml" xref="S4.Ex4.m1.2.2.1.1.1.1.1.1.1.1.2.2.2.2.3.3.1"></minus><ci id="S4.Ex4.m1.2.2.1.1.1.1.1.1.1.1.2.2.2.2.3.3.2.cmml" xref="S4.Ex4.m1.2.2.1.1.1.1.1.1.1.1.2.2.2.2.3.3.2">𝑡</ci><cn type="integer" id="S4.Ex4.m1.2.2.1.1.1.1.1.1.1.1.2.2.2.2.3.3.3.cmml" xref="S4.Ex4.m1.2.2.1.1.1.1.1.1.1.1.2.2.2.2.3.3.3">1</cn></apply></apply></apply><ci id="S4.Ex4.m1.2.2.1.1.1.1.1.1.1.1.2.2.2.3.cmml" xref="S4.Ex4.m1.2.2.1.1.1.1.1.1.1.1.2.2.2.3">𝑖</ci></apply></list></apply><ci id="S4.Ex4.m1.2.2.1.1.3.3.3.6.cmml" xref="S4.Ex4.m1.2.2.1.1.3.3.3.6">𝑟</ci><interval closure="open" id="S4.Ex4.m1.2.2.1.1.3.3.3.3.3.cmml" xref="S4.Ex4.m1.2.2.1.1.3.3.3.3.2"><apply id="S4.Ex4.m1.2.2.1.1.2.2.2.2.1.1.cmml" xref="S4.Ex4.m1.2.2.1.1.2.2.2.2.1.1"><csymbol cd="ambiguous" id="S4.Ex4.m1.2.2.1.1.2.2.2.2.1.1.1.cmml" xref="S4.Ex4.m1.2.2.1.1.2.2.2.2.1.1">superscript</csymbol><ci id="S4.Ex4.m1.2.2.1.1.2.2.2.2.1.1.2.cmml" xref="S4.Ex4.m1.2.2.1.1.2.2.2.2.1.1.2">𝑥</ci><ci id="S4.Ex4.m1.2.2.1.1.2.2.2.2.1.1.3.cmml" xref="S4.Ex4.m1.2.2.1.1.2.2.2.2.1.1.3">𝑖</ci></apply><apply id="S4.Ex4.m1.2.2.1.1.3.3.3.3.2.2.cmml" xref="S4.Ex4.m1.2.2.1.1.3.3.3.3.2.2"><csymbol cd="ambiguous" id="S4.Ex4.m1.2.2.1.1.3.3.3.3.2.2.1.cmml" xref="S4.Ex4.m1.2.2.1.1.3.3.3.3.2.2">superscript</csymbol><apply id="S4.Ex4.m1.2.2.1.1.3.3.3.3.2.2.2.cmml" xref="S4.Ex4.m1.2.2.1.1.3.3.3.3.2.2"><csymbol cd="ambiguous" id="S4.Ex4.m1.2.2.1.1.3.3.3.3.2.2.2.1.cmml" xref="S4.Ex4.m1.2.2.1.1.3.3.3.3.2.2">subscript</csymbol><ci id="S4.Ex4.m1.2.2.1.1.3.3.3.3.2.2.2.2.cmml" xref="S4.Ex4.m1.2.2.1.1.3.3.3.3.2.2.2.2">𝑎</ci><apply id="S4.Ex4.m1.2.2.1.1.3.3.3.3.2.2.2.3.cmml" xref="S4.Ex4.m1.2.2.1.1.3.3.3.3.2.2.2.3"><ci id="S4.Ex4.m1.2.2.1.1.3.3.3.3.2.2.2.3.1.cmml" xref="S4.Ex4.m1.2.2.1.1.3.3.3.3.2.2.2.3.1">:</ci><cn type="integer" id="S4.Ex4.m1.2.2.1.1.3.3.3.3.2.2.2.3.2.cmml" xref="S4.Ex4.m1.2.2.1.1.3.3.3.3.2.2.2.3.2">1</cn><ci id="S4.Ex4.m1.2.2.1.1.3.3.3.3.2.2.2.3.3.cmml" xref="S4.Ex4.m1.2.2.1.1.3.3.3.3.2.2.2.3.3">𝑇</ci></apply></apply><ci id="S4.Ex4.m1.2.2.1.1.3.3.3.3.2.2.3.cmml" xref="S4.Ex4.m1.2.2.1.1.3.3.3.3.2.2.3">𝑖</ci></apply></interval></apply></apply></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="S4.Ex4.m1.2c">\widehat{g}(\theta)=\sum_{i=1}^{N}\sum_{t=1}^{T}\nabla_{\theta}\log\pi_{\theta}(a_{t}^{i}|x^{i},a_{1:t-1}^{i})r(x^{i},a_{1:T}^{i}),</annotation></semantics></math></td>
<td class="ltx_eqn_cell ltx_eqn_center_padright"></td>
</tr></tbody>
</table>
<p id="S4.SS1.p1.7" class="ltx_p">where <math id="S4.SS1.p1.4.m1.1" class="ltx_math_unparsed" alttext="a_{t}^{i}\sim\pi_{\theta}(\cdot|x^{i},a_{1:t-1}^{i})" display="inline"><semantics id="S4.SS1.p1.4.m1.1a"><mrow id="S4.SS1.p1.4.m1.1b"><msubsup id="S4.SS1.p1.4.m1.1.1"><mi id="S4.SS1.p1.4.m1.1.1.2.2">a</mi><mi id="S4.SS1.p1.4.m1.1.1.2.3">t</mi><mi id="S4.SS1.p1.4.m1.1.1.3">i</mi></msubsup><mo id="S4.SS1.p1.4.m1.1.2">∼</mo><msub id="S4.SS1.p1.4.m1.1.3"><mi id="S4.SS1.p1.4.m1.1.3.2">π</mi><mi id="S4.SS1.p1.4.m1.1.3.3">θ</mi></msub><mrow id="S4.SS1.p1.4.m1.1.4"><mo stretchy="false" id="S4.SS1.p1.4.m1.1.4.1">(</mo><mo lspace="0em" rspace="0em" id="S4.SS1.p1.4.m1.1.4.2">⋅</mo><mo fence="false" rspace="0.167em" stretchy="false" id="S4.SS1.p1.4.m1.1.4.3">|</mo><msup id="S4.SS1.p1.4.m1.1.4.4"><mi id="S4.SS1.p1.4.m1.1.4.4.2">x</mi><mi id="S4.SS1.p1.4.m1.1.4.4.3">i</mi></msup><mo id="S4.SS1.p1.4.m1.1.4.5">,</mo><msubsup id="S4.SS1.p1.4.m1.1.4.6"><mi id="S4.SS1.p1.4.m1.1.4.6.2.2">a</mi><mrow id="S4.SS1.p1.4.m1.1.4.6.2.3"><mn id="S4.SS1.p1.4.m1.1.4.6.2.3.2">1</mn><mo lspace="0.278em" rspace="0.278em" id="S4.SS1.p1.4.m1.1.4.6.2.3.1">:</mo><mrow id="S4.SS1.p1.4.m1.1.4.6.2.3.3"><mi id="S4.SS1.p1.4.m1.1.4.6.2.3.3.2">t</mi><mo id="S4.SS1.p1.4.m1.1.4.6.2.3.3.1">−</mo><mn id="S4.SS1.p1.4.m1.1.4.6.2.3.3.3">1</mn></mrow></mrow><mi id="S4.SS1.p1.4.m1.1.4.6.3">i</mi></msubsup><mo stretchy="false" id="S4.SS1.p1.4.m1.1.4.7">)</mo></mrow></mrow><annotation encoding="application/x-tex" id="S4.SS1.p1.4.m1.1c">a_{t}^{i}\sim\pi_{\theta}(\cdot|x^{i},a_{1:t-1}^{i})</annotation></semantics></math> for all <math id="S4.SS1.p1.5.m2.3" class="ltx_Math" alttext="t=1,\ldots,T" display="inline"><semantics id="S4.SS1.p1.5.m2.3a"><mrow id="S4.SS1.p1.5.m2.3.4" xref="S4.SS1.p1.5.m2.3.4.cmml"><mi id="S4.SS1.p1.5.m2.3.4.2" xref="S4.SS1.p1.5.m2.3.4.2.cmml">t</mi><mo id="S4.SS1.p1.5.m2.3.4.1" xref="S4.SS1.p1.5.m2.3.4.1.cmml">=</mo><mrow id="S4.SS1.p1.5.m2.3.4.3.2" xref="S4.SS1.p1.5.m2.3.4.3.1.cmml"><mn id="S4.SS1.p1.5.m2.1.1" xref="S4.SS1.p1.5.m2.1.1.cmml">1</mn><mo id="S4.SS1.p1.5.m2.3.4.3.2.1" xref="S4.SS1.p1.5.m2.3.4.3.1.cmml">,</mo><mi mathvariant="normal" id="S4.SS1.p1.5.m2.2.2" xref="S4.SS1.p1.5.m2.2.2.cmml">…</mi><mo id="S4.SS1.p1.5.m2.3.4.3.2.2" xref="S4.SS1.p1.5.m2.3.4.3.1.cmml">,</mo><mi id="S4.SS1.p1.5.m2.3.3" xref="S4.SS1.p1.5.m2.3.3.cmml">T</mi></mrow></mrow><annotation-xml encoding="MathML-Content" id="S4.SS1.p1.5.m2.3b"><apply id="S4.SS1.p1.5.m2.3.4.cmml" xref="S4.SS1.p1.5.m2.3.4"><eq id="S4.SS1.p1.5.m2.3.4.1.cmml" xref="S4.SS1.p1.5.m2.3.4.1"></eq><ci id="S4.SS1.p1.5.m2.3.4.2.cmml" xref="S4.SS1.p1.5.m2.3.4.2">𝑡</ci><list id="S4.SS1.p1.5.m2.3.4.3.1.cmml" xref="S4.SS1.p1.5.m2.3.4.3.2"><cn type="integer" id="S4.SS1.p1.5.m2.1.1.cmml" xref="S4.SS1.p1.5.m2.1.1">1</cn><ci id="S4.SS1.p1.5.m2.2.2.cmml" xref="S4.SS1.p1.5.m2.2.2">…</ci><ci id="S4.SS1.p1.5.m2.3.3.cmml" xref="S4.SS1.p1.5.m2.3.3">𝑇</ci></list></apply></annotation-xml><annotation encoding="application/x-tex" id="S4.SS1.p1.5.m2.3c">t=1,\ldots,T</annotation></semantics></math>. To optimize its performance, a single step of gradient ascent can be executed as: (where <math id="S4.SS1.p1.6.m3.1" class="ltx_Math" alttext="\eta_{k}" display="inline"><semantics id="S4.SS1.p1.6.m3.1a"><msub id="S4.SS1.p1.6.m3.1.1" xref="S4.SS1.p1.6.m3.1.1.cmml"><mi id="S4.SS1.p1.6.m3.1.1.2" xref="S4.SS1.p1.6.m3.1.1.2.cmml">η</mi><mi id="S4.SS1.p1.6.m3.1.1.3" xref="S4.SS1.p1.6.m3.1.1.3.cmml">k</mi></msub><annotation-xml encoding="MathML-Content" id="S4.SS1.p1.6.m3.1b"><apply id="S4.SS1.p1.6.m3.1.1.cmml" xref="S4.SS1.p1.6.m3.1.1"><csymbol cd="ambiguous" id="S4.SS1.p1.6.m3.1.1.1.cmml" xref="S4.SS1.p1.6.m3.1.1">subscript</csymbol><ci id="S4.SS1.p1.6.m3.1.1.2.cmml" xref="S4.SS1.p1.6.m3.1.1.2">𝜂</ci><ci id="S4.SS1.p1.6.m3.1.1.3.cmml" xref="S4.SS1.p1.6.m3.1.1.3">𝑘</ci></apply></annotation-xml><annotation encoding="application/x-tex" id="S4.SS1.p1.6.m3.1c">\eta_{k}</annotation></semantics></math> denotes the learning rate at the <math id="S4.SS1.p1.7.m4.1" class="ltx_Math" alttext="k" display="inline"><semantics id="S4.SS1.p1.7.m4.1a"><mi id="S4.SS1.p1.7.m4.1.1" xref="S4.SS1.p1.7.m4.1.1.cmml">k</mi><annotation-xml encoding="MathML-Content" id="S4.SS1.p1.7.m4.1b"><ci id="S4.SS1.p1.7.m4.1.1.cmml" xref="S4.SS1.p1.7.m4.1.1">𝑘</ci></annotation-xml><annotation encoding="application/x-tex" id="S4.SS1.p1.7.m4.1c">k</annotation></semantics></math>-th iteration)</p>
<table id="A5.EGx8" class="ltx_equationgroup ltx_eqn_align ltx_eqn_table">

<tbody id="S4.Ex5"><tr class="ltx_equation ltx_eqn_row ltx_align_baseline">
<td class="ltx_eqn_cell ltx_eqn_center_padleft"></td>
<td class="ltx_td ltx_align_right ltx_eqn_cell"><math id="S4.Ex5.m1.1" class="ltx_Math" alttext="\displaystyle\theta_{k+1}\leftarrow\theta_{k}+\eta_{k}\widehat{g}(\theta_{k})." display="inline"><semantics id="S4.Ex5.m1.1a"><mrow id="S4.Ex5.m1.1.1.1" xref="S4.Ex5.m1.1.1.1.1.cmml"><mrow id="S4.Ex5.m1.1.1.1.1" xref="S4.Ex5.m1.1.1.1.1.cmml"><msub id="S4.Ex5.m1.1.1.1.1.3" xref="S4.Ex5.m1.1.1.1.1.3.cmml"><mi id="S4.Ex5.m1.1.1.1.1.3.2" xref="S4.Ex5.m1.1.1.1.1.3.2.cmml">θ</mi><mrow id="S4.Ex5.m1.1.1.1.1.3.3" xref="S4.Ex5.m1.1.1.1.1.3.3.cmml"><mi id="S4.Ex5.m1.1.1.1.1.3.3.2" xref="S4.Ex5.m1.1.1.1.1.3.3.2.cmml">k</mi><mo id="S4.Ex5.m1.1.1.1.1.3.3.1" xref="S4.Ex5.m1.1.1.1.1.3.3.1.cmml">+</mo><mn id="S4.Ex5.m1.1.1.1.1.3.3.3" xref="S4.Ex5.m1.1.1.1.1.3.3.3.cmml">1</mn></mrow></msub><mo stretchy="false" id="S4.Ex5.m1.1.1.1.1.2" xref="S4.Ex5.m1.1.1.1.1.2.cmml">←</mo><mrow id="S4.Ex5.m1.1.1.1.1.1" xref="S4.Ex5.m1.1.1.1.1.1.cmml"><msub id="S4.Ex5.m1.1.1.1.1.1.3" xref="S4.Ex5.m1.1.1.1.1.1.3.cmml"><mi id="S4.Ex5.m1.1.1.1.1.1.3.2" xref="S4.Ex5.m1.1.1.1.1.1.3.2.cmml">θ</mi><mi id="S4.Ex5.m1.1.1.1.1.1.3.3" xref="S4.Ex5.m1.1.1.1.1.1.3.3.cmml">k</mi></msub><mo id="S4.Ex5.m1.1.1.1.1.1.2" xref="S4.Ex5.m1.1.1.1.1.1.2.cmml">+</mo><mrow id="S4.Ex5.m1.1.1.1.1.1.1" xref="S4.Ex5.m1.1.1.1.1.1.1.cmml"><msub id="S4.Ex5.m1.1.1.1.1.1.1.3" xref="S4.Ex5.m1.1.1.1.1.1.1.3.cmml"><mi id="S4.Ex5.m1.1.1.1.1.1.1.3.2" xref="S4.Ex5.m1.1.1.1.1.1.1.3.2.cmml">η</mi><mi id="S4.Ex5.m1.1.1.1.1.1.1.3.3" xref="S4.Ex5.m1.1.1.1.1.1.1.3.3.cmml">k</mi></msub><mo lspace="0em" rspace="0em" id="S4.Ex5.m1.1.1.1.1.1.1.2" xref="S4.Ex5.m1.1.1.1.1.1.1.2.cmml">​</mo><mover accent="true" id="S4.Ex5.m1.1.1.1.1.1.1.4" xref="S4.Ex5.m1.1.1.1.1.1.1.4.cmml"><mi id="S4.Ex5.m1.1.1.1.1.1.1.4.2" xref="S4.Ex5.m1.1.1.1.1.1.1.4.2.cmml">g</mi><mo id="S4.Ex5.m1.1.1.1.1.1.1.4.1" xref="S4.Ex5.m1.1.1.1.1.1.1.4.1.cmml">^</mo></mover><mo lspace="0em" rspace="0em" id="S4.Ex5.m1.1.1.1.1.1.1.2a" xref="S4.Ex5.m1.1.1.1.1.1.1.2.cmml">​</mo><mrow id="S4.Ex5.m1.1.1.1.1.1.1.1.1" xref="S4.Ex5.m1.1.1.1.1.1.1.1.1.1.cmml"><mo stretchy="false" id="S4.Ex5.m1.1.1.1.1.1.1.1.1.2" xref="S4.Ex5.m1.1.1.1.1.1.1.1.1.1.cmml">(</mo><msub id="S4.Ex5.m1.1.1.1.1.1.1.1.1.1" xref="S4.Ex5.m1.1.1.1.1.1.1.1.1.1.cmml"><mi id="S4.Ex5.m1.1.1.1.1.1.1.1.1.1.2" xref="S4.Ex5.m1.1.1.1.1.1.1.1.1.1.2.cmml">θ</mi><mi id="S4.Ex5.m1.1.1.1.1.1.1.1.1.1.3" xref="S4.Ex5.m1.1.1.1.1.1.1.1.1.1.3.cmml">k</mi></msub><mo stretchy="false" id="S4.Ex5.m1.1.1.1.1.1.1.1.1.3" xref="S4.Ex5.m1.1.1.1.1.1.1.1.1.1.cmml">)</mo></mrow></mrow></mrow></mrow><mo lspace="0em" id="S4.Ex5.m1.1.1.1.2" xref="S4.Ex5.m1.1.1.1.1.cmml">.</mo></mrow><annotation-xml encoding="MathML-Content" id="S4.Ex5.m1.1b"><apply id="S4.Ex5.m1.1.1.1.1.cmml" xref="S4.Ex5.m1.1.1.1"><ci id="S4.Ex5.m1.1.1.1.1.2.cmml" xref="S4.Ex5.m1.1.1.1.1.2">←</ci><apply id="S4.Ex5.m1.1.1.1.1.3.cmml" xref="S4.Ex5.m1.1.1.1.1.3"><csymbol cd="ambiguous" id="S4.Ex5.m1.1.1.1.1.3.1.cmml" xref="S4.Ex5.m1.1.1.1.1.3">subscript</csymbol><ci id="S4.Ex5.m1.1.1.1.1.3.2.cmml" xref="S4.Ex5.m1.1.1.1.1.3.2">𝜃</ci><apply id="S4.Ex5.m1.1.1.1.1.3.3.cmml" xref="S4.Ex5.m1.1.1.1.1.3.3"><plus id="S4.Ex5.m1.1.1.1.1.3.3.1.cmml" xref="S4.Ex5.m1.1.1.1.1.3.3.1"></plus><ci id="S4.Ex5.m1.1.1.1.1.3.3.2.cmml" xref="S4.Ex5.m1.1.1.1.1.3.3.2">𝑘</ci><cn type="integer" id="S4.Ex5.m1.1.1.1.1.3.3.3.cmml" xref="S4.Ex5.m1.1.1.1.1.3.3.3">1</cn></apply></apply><apply id="S4.Ex5.m1.1.1.1.1.1.cmml" xref="S4.Ex5.m1.1.1.1.1.1"><plus id="S4.Ex5.m1.1.1.1.1.1.2.cmml" xref="S4.Ex5.m1.1.1.1.1.1.2"></plus><apply id="S4.Ex5.m1.1.1.1.1.1.3.cmml" xref="S4.Ex5.m1.1.1.1.1.1.3"><csymbol cd="ambiguous" id="S4.Ex5.m1.1.1.1.1.1.3.1.cmml" xref="S4.Ex5.m1.1.1.1.1.1.3">subscript</csymbol><ci id="S4.Ex5.m1.1.1.1.1.1.3.2.cmml" xref="S4.Ex5.m1.1.1.1.1.1.3.2">𝜃</ci><ci id="S4.Ex5.m1.1.1.1.1.1.3.3.cmml" xref="S4.Ex5.m1.1.1.1.1.1.3.3">𝑘</ci></apply><apply id="S4.Ex5.m1.1.1.1.1.1.1.cmml" xref="S4.Ex5.m1.1.1.1.1.1.1"><times id="S4.Ex5.m1.1.1.1.1.1.1.2.cmml" xref="S4.Ex5.m1.1.1.1.1.1.1.2"></times><apply id="S4.Ex5.m1.1.1.1.1.1.1.3.cmml" xref="S4.Ex5.m1.1.1.1.1.1.1.3"><csymbol cd="ambiguous" id="S4.Ex5.m1.1.1.1.1.1.1.3.1.cmml" xref="S4.Ex5.m1.1.1.1.1.1.1.3">subscript</csymbol><ci id="S4.Ex5.m1.1.1.1.1.1.1.3.2.cmml" xref="S4.Ex5.m1.1.1.1.1.1.1.3.2">𝜂</ci><ci id="S4.Ex5.m1.1.1.1.1.1.1.3.3.cmml" xref="S4.Ex5.m1.1.1.1.1.1.1.3.3">𝑘</ci></apply><apply id="S4.Ex5.m1.1.1.1.1.1.1.4.cmml" xref="S4.Ex5.m1.1.1.1.1.1.1.4"><ci id="S4.Ex5.m1.1.1.1.1.1.1.4.1.cmml" xref="S4.Ex5.m1.1.1.1.1.1.1.4.1">^</ci><ci id="S4.Ex5.m1.1.1.1.1.1.1.4.2.cmml" xref="S4.Ex5.m1.1.1.1.1.1.1.4.2">𝑔</ci></apply><apply id="S4.Ex5.m1.1.1.1.1.1.1.1.1.1.cmml" xref="S4.Ex5.m1.1.1.1.1.1.1.1.1"><csymbol cd="ambiguous" id="S4.Ex5.m1.1.1.1.1.1.1.1.1.1.1.cmml" xref="S4.Ex5.m1.1.1.1.1.1.1.1.1">subscript</csymbol><ci id="S4.Ex5.m1.1.1.1.1.1.1.1.1.1.2.cmml" xref="S4.Ex5.m1.1.1.1.1.1.1.1.1.1.2">𝜃</ci><ci id="S4.Ex5.m1.1.1.1.1.1.1.1.1.1.3.cmml" xref="S4.Ex5.m1.1.1.1.1.1.1.1.1.1.3">𝑘</ci></apply></apply></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="S4.Ex5.m1.1c">\displaystyle\theta_{k+1}\leftarrow\theta_{k}+\eta_{k}\widehat{g}(\theta_{k}).</annotation></semantics></math></td>
<td class="ltx_eqn_cell ltx_eqn_center_padright"></td>
</tr></tbody>
</table>
<p id="S4.SS1.p1.8" class="ltx_p">We find that REINFORCE seems to be a good fit for the RLHF problems. In particular, it requires an estimate of the expected return, i.e., the objective function value in (<a href="#S3.E1" title="Equation 1 ‣ 3 Problem Formulation ‣ ReMax: A Simple, Effective, and Efficient Reinforcement Learning Method for Aligning Large Language Models" class="ltx_ref"><span class="ltx_text ltx_ref_tag">1</span></a>), which can be efficiently obtained by a query of the language and reward model. Furthermore, REINFORCE updates the policy by only utilizing the final-stage reward <math id="S4.SS1.p1.8.m1.2" class="ltx_Math" alttext="r(x,a_{1:T})" display="inline"><semantics id="S4.SS1.p1.8.m1.2a"><mrow id="S4.SS1.p1.8.m1.2.2" xref="S4.SS1.p1.8.m1.2.2.cmml"><mi id="S4.SS1.p1.8.m1.2.2.3" xref="S4.SS1.p1.8.m1.2.2.3.cmml">r</mi><mo lspace="0em" rspace="0em" id="S4.SS1.p1.8.m1.2.2.2" xref="S4.SS1.p1.8.m1.2.2.2.cmml">​</mo><mrow id="S4.SS1.p1.8.m1.2.2.1.1" xref="S4.SS1.p1.8.m1.2.2.1.2.cmml"><mo stretchy="false" id="S4.SS1.p1.8.m1.2.2.1.1.2" xref="S4.SS1.p1.8.m1.2.2.1.2.cmml">(</mo><mi id="S4.SS1.p1.8.m1.1.1" xref="S4.SS1.p1.8.m1.1.1.cmml">x</mi><mo id="S4.SS1.p1.8.m1.2.2.1.1.3" xref="S4.SS1.p1.8.m1.2.2.1.2.cmml">,</mo><msub id="S4.SS1.p1.8.m1.2.2.1.1.1" xref="S4.SS1.p1.8.m1.2.2.1.1.1.cmml"><mi id="S4.SS1.p1.8.m1.2.2.1.1.1.2" xref="S4.SS1.p1.8.m1.2.2.1.1.1.2.cmml">a</mi><mrow id="S4.SS1.p1.8.m1.2.2.1.1.1.3" xref="S4.SS1.p1.8.m1.2.2.1.1.1.3.cmml"><mn id="S4.SS1.p1.8.m1.2.2.1.1.1.3.2" xref="S4.SS1.p1.8.m1.2.2.1.1.1.3.2.cmml">1</mn><mo lspace="0.278em" rspace="0.278em" id="S4.SS1.p1.8.m1.2.2.1.1.1.3.1" xref="S4.SS1.p1.8.m1.2.2.1.1.1.3.1.cmml">:</mo><mi id="S4.SS1.p1.8.m1.2.2.1.1.1.3.3" xref="S4.SS1.p1.8.m1.2.2.1.1.1.3.3.cmml">T</mi></mrow></msub><mo stretchy="false" id="S4.SS1.p1.8.m1.2.2.1.1.4" xref="S4.SS1.p1.8.m1.2.2.1.2.cmml">)</mo></mrow></mrow><annotation-xml encoding="MathML-Content" id="S4.SS1.p1.8.m1.2b"><apply id="S4.SS1.p1.8.m1.2.2.cmml" xref="S4.SS1.p1.8.m1.2.2"><times id="S4.SS1.p1.8.m1.2.2.2.cmml" xref="S4.SS1.p1.8.m1.2.2.2"></times><ci id="S4.SS1.p1.8.m1.2.2.3.cmml" xref="S4.SS1.p1.8.m1.2.2.3">𝑟</ci><interval closure="open" id="S4.SS1.p1.8.m1.2.2.1.2.cmml" xref="S4.SS1.p1.8.m1.2.2.1.1"><ci id="S4.SS1.p1.8.m1.1.1.cmml" xref="S4.SS1.p1.8.m1.1.1">𝑥</ci><apply id="S4.SS1.p1.8.m1.2.2.1.1.1.cmml" xref="S4.SS1.p1.8.m1.2.2.1.1.1"><csymbol cd="ambiguous" id="S4.SS1.p1.8.m1.2.2.1.1.1.1.cmml" xref="S4.SS1.p1.8.m1.2.2.1.1.1">subscript</csymbol><ci id="S4.SS1.p1.8.m1.2.2.1.1.1.2.cmml" xref="S4.SS1.p1.8.m1.2.2.1.1.1.2">𝑎</ci><apply id="S4.SS1.p1.8.m1.2.2.1.1.1.3.cmml" xref="S4.SS1.p1.8.m1.2.2.1.1.1.3"><ci id="S4.SS1.p1.8.m1.2.2.1.1.1.3.1.cmml" xref="S4.SS1.p1.8.m1.2.2.1.1.1.3.1">:</ci><cn type="integer" id="S4.SS1.p1.8.m1.2.2.1.1.1.3.2.cmml" xref="S4.SS1.p1.8.m1.2.2.1.1.1.3.2">1</cn><ci id="S4.SS1.p1.8.m1.2.2.1.1.1.3.3.cmml" xref="S4.SS1.p1.8.m1.2.2.1.1.1.3.3">𝑇</ci></apply></apply></interval></apply></annotation-xml><annotation encoding="application/x-tex" id="S4.SS1.p1.8.m1.2c">r(x,a_{1:T})</annotation></semantics></math> and ignoring the middle rewards. Such algorithmic design is originally considered as a drawback in generic RL setting, because the middle-stage rewards may contain rich signals to guide the policy. However in RLHF, since the middle-stage rewards are all 0, this drawback is gone.</p>
</div>
<div id="S4.SS1.p2" class="ltx_para">
<p id="S4.SS1.p2.1" class="ltx_p">Does REINFORCE address all the drawbacks of PPO in RLHF? Unfortunately, no. In our preliminary experiments with an OPT-1.3B model <cite class="ltx_cite ltx_citemacro_citep">(Zhang et al., <a href="#bib.bib42" title="" class="ltx_ref">2022</a>)</cite>, we observed that REINFORCE was ineffective in improving reward maximization performance. We attribute this ineffectiveness to the high variance of the stochastic gradients observed during the training process, which is consistent with findings reported in the literature <cite class="ltx_cite ltx_citemacro_citep">(Sutton and Barto, <a href="#bib.bib37" title="" class="ltx_ref">2018</a>)</cite>. Please refer to <a href="#S4.F3" title="In 4.1 A Brief Review on REINFORCE ‣ 4 Proposed Method ‣ ReMax: A Simple, Effective, and Efficient Reinforcement Learning Method for Aligning Large Language Models" class="ltx_ref"><span class="ltx_text ltx_ref_tag">Figure</span> <span class="ltx_text ltx_ref_tag">3</span></a>.</p>
</div>
<figure id="S4.F3" class="ltx_figure">
<div class="ltx_flex_figure">
<div class="ltx_flex_cell ltx_flex_size_2">
<figure id="S4.F3.sf1" class="ltx_figure ltx_figure_panel ltx_align_center"><img src="/html/2310.10505/assets/x3.png" id="S4.F3.sf1.g1" class="ltx_graphics ltx_centering ltx_img_landscape" width="415" height="256" alt="Refer to caption">
<figcaption class="ltx_caption ltx_centering"><span class="ltx_tag ltx_tag_figure"><span id="S4.F3.sf1.2.1.1" class="ltx_text" style="font-size:90%;">(a)</span> </span><span id="S4.F3.sf1.3.2" class="ltx_text" style="font-size:90%;">Evaluation reward of fine-tuning an OPT-1.3B model.</span></figcaption>
</figure>
</div>
<div class="ltx_flex_cell ltx_flex_size_2">
<figure id="S4.F3.sf2" class="ltx_figure ltx_figure_panel ltx_align_center"><img src="/html/2310.10505/assets/x4.png" id="S4.F3.sf2.g1" class="ltx_graphics ltx_centering ltx_img_landscape" width="438" height="274" alt="Refer to caption">
<figcaption class="ltx_caption ltx_centering"><span class="ltx_tag ltx_tag_figure"><span id="S4.F3.sf2.2.1.1" class="ltx_text" style="font-size:90%;">(b)</span> </span><span id="S4.F3.sf2.3.2" class="ltx_text" style="font-size:90%;">Gradient norm of fine-tuning an OPT-1.3B model.</span></figcaption>
</figure>
</div>
</div>
<figcaption class="ltx_caption ltx_centering"><span class="ltx_tag ltx_tag_figure"><span id="S4.F3.2.1.1" class="ltx_text" style="font-size:90%;">Figure 3</span>: </span><span id="S4.F3.3.2" class="ltx_text" style="font-size:90%;">Unlike ReMax, REINFORCE suffers the high variance of stochastic gradients and poor performance.</span></figcaption>
</figure>
<div id="S4.SS1.p3" class="ltx_para">
<p id="S4.SS1.p3.1" class="ltx_p">Due to its poor performance, we abandon the study of REINFORCE on larger models and instead propose a new variance-reduced version called ReMax, which we introduce in the next section.</p>
</div>
</section>
<section id="S4.SS2" class="ltx_subsection">
<h3 class="ltx_title ltx_title_subsection">
<span class="ltx_tag ltx_tag_subsection">4.2 </span>From REINFORCE to ReMax</h3>

<div id="S4.SS2.p1" class="ltx_para">
<p id="S4.SS2.p1.4" class="ltx_p">In this section, we present an enhanced reward maximization algorithm that builds upon the REINFORCE algorithm. Motivated by the need to mitigate the variance challenges inherent in stochastic gradients, we introduce a new variance-reduction technique tailored for LLMs. Drawing inspiration from the REINFORCE with Baseline approach <cite class="ltx_cite ltx_citemacro_citep">(Weaver and Tao, <a href="#bib.bib39" title="" class="ltx_ref">2001</a>; Sutton and Barto, <a href="#bib.bib37" title="" class="ltx_ref">2018</a>)</cite>, we modify the gradient estimation by incorporating a subtractive baseline value:</p>
<table id="A5.EGx9" class="ltx_equationgroup ltx_eqn_align ltx_eqn_table">

<tbody id="A5.EGx9.3"><tr class="ltx_equation ltx_eqn_row ltx_align_baseline">
<td class="ltx_eqn_cell ltx_eqn_center_padleft"></td>
<td class="ltx_td ltx_align_right ltx_eqn_cell"><math id="A5.EGx9.1.m1.1" class="ltx_Math" alttext="\displaystyle\widetilde{g}(\theta)" display="inline"><semantics id="A5.EGx9.1.m1.1a"><mrow id="A5.EGx9.1.m1.1.2" xref="A5.EGx9.1.m1.1.2.cmml"><mover accent="true" id="A5.EGx9.1.m1.1.2.2" xref="A5.EGx9.1.m1.1.2.2.cmml"><mi id="A5.EGx9.1.m1.1.2.2.2" xref="A5.EGx9.1.m1.1.2.2.2.cmml">g</mi><mo id="A5.EGx9.1.m1.1.2.2.1" xref="A5.EGx9.1.m1.1.2.2.1.cmml">~</mo></mover><mo lspace="0em" rspace="0em" id="A5.EGx9.1.m1.1.2.1" xref="A5.EGx9.1.m1.1.2.1.cmml">​</mo><mrow id="A5.EGx9.1.m1.1.2.3.2" xref="A5.EGx9.1.m1.1.2.cmml"><mo stretchy="false" id="A5.EGx9.1.m1.1.2.3.2.1" xref="A5.EGx9.1.m1.1.2.cmml">(</mo><mi id="A5.EGx9.1.m1.1.1" xref="A5.EGx9.1.m1.1.1.cmml">θ</mi><mo stretchy="false" id="A5.EGx9.1.m1.1.2.3.2.2" xref="A5.EGx9.1.m1.1.2.cmml">)</mo></mrow></mrow><annotation-xml encoding="MathML-Content" id="A5.EGx9.1.m1.1b"><apply id="A5.EGx9.1.m1.1.2.cmml" xref="A5.EGx9.1.m1.1.2"><times id="A5.EGx9.1.m1.1.2.1.cmml" xref="A5.EGx9.1.m1.1.2.1"></times><apply id="A5.EGx9.1.m1.1.2.2.cmml" xref="A5.EGx9.1.m1.1.2.2"><ci id="A5.EGx9.1.m1.1.2.2.1.cmml" xref="A5.EGx9.1.m1.1.2.2.1">~</ci><ci id="A5.EGx9.1.m1.1.2.2.2.cmml" xref="A5.EGx9.1.m1.1.2.2.2">𝑔</ci></apply><ci id="A5.EGx9.1.m1.1.1.cmml" xref="A5.EGx9.1.m1.1.1">𝜃</ci></apply></annotation-xml><annotation encoding="application/x-tex" id="A5.EGx9.1.m1.1c">\displaystyle\widetilde{g}(\theta)</annotation></semantics></math></td>
<td class="ltx_td ltx_align_left ltx_eqn_cell"><math id="A5.EGx9.2.m2.3" class="ltx_Math" alttext="\displaystyle=\sum_{i=1}^{N}\sum_{t=1}^{T}\big{[}\nabla_{\theta}\log\pi_{\theta}(a_{t}^{i}|x^{i},a_{1:t-1}^{i})\cdot\big{(}r(x,a_{1:T}^{i})-r(x,\macc@depth\char 1\relax\frozen@everymath{\macc@group}\macc@set@skewchar\macc@nested@a 111{a}_{1:T}^{i})\big{)}\big{]}" display="inline"><semantics id="A5.EGx9.2.m2.3a"><mrow id="A5.EGx9.2.m2.3.3" xref="A5.EGx9.2.m2.3.3.cmml"><mi id="A5.EGx9.2.m2.3.3.3" xref="A5.EGx9.2.m2.3.3.3.cmml"></mi><mo id="A5.EGx9.2.m2.3.3.2" xref="A5.EGx9.2.m2.3.3.2.cmml">=</mo><mrow id="A5.EGx9.2.m2.3.3.1" xref="A5.EGx9.2.m2.3.3.1.cmml"><mstyle displaystyle="true" id="A5.EGx9.2.m2.3.3.1.2" xref="A5.EGx9.2.m2.3.3.1.2.cmml"><munderover id="A5.EGx9.2.m2.3.3.1.2a" xref="A5.EGx9.2.m2.3.3.1.2.cmml"><mo movablelimits="false" id="A5.EGx9.2.m2.3.3.1.2.2.2" xref="A5.EGx9.2.m2.3.3.1.2.2.2.cmml">∑</mo><mrow id="A5.EGx9.2.m2.3.3.1.2.2.3" xref="A5.EGx9.2.m2.3.3.1.2.2.3.cmml"><mi id="A5.EGx9.2.m2.3.3.1.2.2.3.2" xref="A5.EGx9.2.m2.3.3.1.2.2.3.2.cmml">i</mi><mo id="A5.EGx9.2.m2.3.3.1.2.2.3.1" xref="A5.EGx9.2.m2.3.3.1.2.2.3.1.cmml">=</mo><mn id="A5.EGx9.2.m2.3.3.1.2.2.3.3" xref="A5.EGx9.2.m2.3.3.1.2.2.3.3.cmml">1</mn></mrow><mi id="A5.EGx9.2.m2.3.3.1.2.3" xref="A5.EGx9.2.m2.3.3.1.2.3.cmml">N</mi></munderover></mstyle><mrow id="A5.EGx9.2.m2.3.3.1.1" xref="A5.EGx9.2.m2.3.3.1.1.cmml"><mstyle displaystyle="true" id="A5.EGx9.2.m2.3.3.1.1.2" xref="A5.EGx9.2.m2.3.3.1.1.2.cmml"><munderover id="A5.EGx9.2.m2.3.3.1.1.2a" xref="A5.EGx9.2.m2.3.3.1.1.2.cmml"><mo movablelimits="false" id="A5.EGx9.2.m2.3.3.1.1.2.2.2" xref="A5.EGx9.2.m2.3.3.1.1.2.2.2.cmml">∑</mo><mrow id="A5.EGx9.2.m2.3.3.1.1.2.2.3" xref="A5.EGx9.2.m2.3.3.1.1.2.2.3.cmml"><mi id="A5.EGx9.2.m2.3.3.1.1.2.2.3.2" xref="A5.EGx9.2.m2.3.3.1.1.2.2.3.2.cmml">t</mi><mo id="A5.EGx9.2.m2.3.3.1.1.2.2.3.1" xref="A5.EGx9.2.m2.3.3.1.1.2.2.3.1.cmml">=</mo><mn id="A5.EGx9.2.m2.3.3.1.1.2.2.3.3" xref="A5.EGx9.2.m2.3.3.1.1.2.2.3.3.cmml">1</mn></mrow><mi id="A5.EGx9.2.m2.3.3.1.1.2.3" xref="A5.EGx9.2.m2.3.3.1.1.2.3.cmml">T</mi></munderover></mstyle><mrow id="A5.EGx9.2.m2.3.3.1.1.1.1" xref="A5.EGx9.2.m2.3.3.1.1.1.2.cmml"><mo maxsize="120%" minsize="120%" id="A5.EGx9.2.m2.3.3.1.1.1.1.2" xref="A5.EGx9.2.m2.3.3.1.1.1.2.1.cmml">[</mo><mrow id="A5.EGx9.2.m2.3.3.1.1.1.1.1" xref="A5.EGx9.2.m2.3.3.1.1.1.1.1.cmml"><mrow id="A5.EGx9.2.m2.3.3.1.1.1.1.1.1" xref="A5.EGx9.2.m2.3.3.1.1.1.1.1.1.cmml"><mrow id="A5.EGx9.2.m2.3.3.1.1.1.1.1.1.3" xref="A5.EGx9.2.m2.3.3.1.1.1.1.1.1.3.cmml"><mrow id="A5.EGx9.2.m2.3.3.1.1.1.1.1.1.3.1" xref="A5.EGx9.2.m2.3.3.1.1.1.1.1.1.3.1.cmml"><msub id="A5.EGx9.2.m2.3.3.1.1.1.1.1.1.3.1.1" xref="A5.EGx9.2.m2.3.3.1.1.1.1.1.1.3.1.1.cmml"><mo rspace="0.167em" id="A5.EGx9.2.m2.3.3.1.1.1.1.1.1.3.1.1.2" xref="A5.EGx9.2.m2.3.3.1.1.1.1.1.1.3.1.1.2.cmml">∇</mo><mi id="A5.EGx9.2.m2.3.3.1.1.1.1.1.1.3.1.1.3" xref="A5.EGx9.2.m2.3.3.1.1.1.1.1.1.3.1.1.3.cmml">θ</mi></msub><mi id="A5.EGx9.2.m2.3.3.1.1.1.1.1.1.3.1.2" xref="A5.EGx9.2.m2.3.3.1.1.1.1.1.1.3.1.2.cmml">log</mi></mrow><mo lspace="0.167em" id="A5.EGx9.2.m2.3.3.1.1.1.1.1.1.3a" xref="A5.EGx9.2.m2.3.3.1.1.1.1.1.1.3.cmml">⁡</mo><msub id="A5.EGx9.2.m2.3.3.1.1.1.1.1.1.3.2" xref="A5.EGx9.2.m2.3.3.1.1.1.1.1.1.3.2.cmml"><mi id="A5.EGx9.2.m2.3.3.1.1.1.1.1.1.3.2.2" xref="A5.EGx9.2.m2.3.3.1.1.1.1.1.1.3.2.2.cmml">π</mi><mi id="A5.EGx9.2.m2.3.3.1.1.1.1.1.1.3.2.3" xref="A5.EGx9.2.m2.3.3.1.1.1.1.1.1.3.2.3.cmml">θ</mi></msub></mrow><mo lspace="0em" rspace="0em" id="A5.EGx9.2.m2.3.3.1.1.1.1.1.1.2" xref="A5.EGx9.2.m2.3.3.1.1.1.1.1.1.2.cmml">​</mo><mrow id="A5.EGx9.2.m2.3.3.1.1.1.1.1.1.1.1" xref="A5.EGx9.2.m2.3.3.1.1.1.1.1.1.1.1.1.cmml"><mo stretchy="false" id="A5.EGx9.2.m2.3.3.1.1.1.1.1.1.1.1.2" xref="A5.EGx9.2.m2.3.3.1.1.1.1.1.1.1.1.1.cmml">(</mo><mrow id="A5.EGx9.2.m2.3.3.1.1.1.1.1.1.1.1.1" xref="A5.EGx9.2.m2.3.3.1.1.1.1.1.1.1.1.1.cmml"><msubsup id="A5.EGx9.2.m2.3.3.1.1.1.1.1.1.1.1.1.4" xref="A5.EGx9.2.m2.3.3.1.1.1.1.1.1.1.1.1.4.cmml"><mi id="A5.EGx9.2.m2.3.3.1.1.1.1.1.1.1.1.1.4.2.2" xref="A5.EGx9.2.m2.3.3.1.1.1.1.1.1.1.1.1.4.2.2.cmml">a</mi><mi id="A5.EGx9.2.m2.3.3.1.1.1.1.1.1.1.1.1.4.2.3" xref="A5.EGx9.2.m2.3.3.1.1.1.1.1.1.1.1.1.4.2.3.cmml">t</mi><mi id="A5.EGx9.2.m2.3.3.1.1.1.1.1.1.1.1.1.4.3" xref="A5.EGx9.2.m2.3.3.1.1.1.1.1.1.1.1.1.4.3.cmml">i</mi></msubsup><mo fence="false" id="A5.EGx9.2.m2.3.3.1.1.1.1.1.1.1.1.1.3" xref="A5.EGx9.2.m2.3.3.1.1.1.1.1.1.1.1.1.3.cmml">|</mo><mrow id="A5.EGx9.2.m2.3.3.1.1.1.1.1.1.1.1.1.2.2" xref="A5.EGx9.2.m2.3.3.1.1.1.1.1.1.1.1.1.2.3.cmml"><msup id="A5.EGx9.2.m2.3.3.1.1.1.1.1.1.1.1.1.1.1.1" xref="A5.EGx9.2.m2.3.3.1.1.1.1.1.1.1.1.1.1.1.1.cmml"><mi id="A5.EGx9.2.m2.3.3.1.1.1.1.1.1.1.1.1.1.1.1.2" xref="A5.EGx9.2.m2.3.3.1.1.1.1.1.1.1.1.1.1.1.1.2.cmml">x</mi><mi id="A5.EGx9.2.m2.3.3.1.1.1.1.1.1.1.1.1.1.1.1.3" xref="A5.EGx9.2.m2.3.3.1.1.1.1.1.1.1.1.1.1.1.1.3.cmml">i</mi></msup><mo id="A5.EGx9.2.m2.3.3.1.1.1.1.1.1.1.1.1.2.2.3" xref="A5.EGx9.2.m2.3.3.1.1.1.1.1.1.1.1.1.2.3.cmml">,</mo><msubsup id="A5.EGx9.2.m2.3.3.1.1.1.1.1.1.1.1.1.2.2.2" xref="A5.EGx9.2.m2.3.3.1.1.1.1.1.1.1.1.1.2.2.2.cmml"><mi id="A5.EGx9.2.m2.3.3.1.1.1.1.1.1.1.1.1.2.2.2.2.2" xref="A5.EGx9.2.m2.3.3.1.1.1.1.1.1.1.1.1.2.2.2.2.2.cmml">a</mi><mrow id="A5.EGx9.2.m2.3.3.1.1.1.1.1.1.1.1.1.2.2.2.2.3" xref="A5.EGx9.2.m2.3.3.1.1.1.1.1.1.1.1.1.2.2.2.2.3.cmml"><mn id="A5.EGx9.2.m2.3.3.1.1.1.1.1.1.1.1.1.2.2.2.2.3.2" xref="A5.EGx9.2.m2.3.3.1.1.1.1.1.1.1.1.1.2.2.2.2.3.2.cmml">1</mn><mo lspace="0.278em" rspace="0.278em" id="A5.EGx9.2.m2.3.3.1.1.1.1.1.1.1.1.1.2.2.2.2.3.1" xref="A5.EGx9.2.m2.3.3.1.1.1.1.1.1.1.1.1.2.2.2.2.3.1.cmml">:</mo><mrow id="A5.EGx9.2.m2.3.3.1.1.1.1.1.1.1.1.1.2.2.2.2.3.3" xref="A5.EGx9.2.m2.3.3.1.1.1.1.1.1.1.1.1.2.2.2.2.3.3.cmml"><mi id="A5.EGx9.2.m2.3.3.1.1.1.1.1.1.1.1.1.2.2.2.2.3.3.2" xref="A5.EGx9.2.m2.3.3.1.1.1.1.1.1.1.1.1.2.2.2.2.3.3.2.cmml">t</mi><mo id="A5.EGx9.2.m2.3.3.1.1.1.1.1.1.1.1.1.2.2.2.2.3.3.1" xref="A5.EGx9.2.m2.3.3.1.1.1.1.1.1.1.1.1.2.2.2.2.3.3.1.cmml">−</mo><mn id="A5.EGx9.2.m2.3.3.1.1.1.1.1.1.1.1.1.2.2.2.2.3.3.3" xref="A5.EGx9.2.m2.3.3.1.1.1.1.1.1.1.1.1.2.2.2.2.3.3.3.cmml">1</mn></mrow></mrow><mi id="A5.EGx9.2.m2.3.3.1.1.1.1.1.1.1.1.1.2.2.2.3" xref="A5.EGx9.2.m2.3.3.1.1.1.1.1.1.1.1.1.2.2.2.3.cmml">i</mi></msubsup></mrow></mrow><mo rspace="0.055em" stretchy="false" id="A5.EGx9.2.m2.3.3.1.1.1.1.1.1.1.1.3" xref="A5.EGx9.2.m2.3.3.1.1.1.1.1.1.1.1.1.cmml">)</mo></mrow></mrow><mo rspace="0.222em" id="A5.EGx9.2.m2.3.3.1.1.1.1.1.3" xref="A5.EGx9.2.m2.3.3.1.1.1.1.1.3.cmml">⋅</mo><mrow id="A5.EGx9.2.m2.3.3.1.1.1.1.1.2.1" xref="A5.EGx9.2.m2.3.3.1.1.1.1.1.2.1.1.cmml"><mo maxsize="120%" minsize="120%" id="A5.EGx9.2.m2.3.3.1.1.1.1.1.2.1.2" xref="A5.EGx9.2.m2.3.3.1.1.1.1.1.2.1.1.cmml">(</mo><mrow id="A5.EGx9.2.m2.3.3.1.1.1.1.1.2.1.1" xref="A5.EGx9.2.m2.3.3.1.1.1.1.1.2.1.1.cmml"><mrow id="A5.EGx9.2.m2.3.3.1.1.1.1.1.2.1.1.1" xref="A5.EGx9.2.m2.3.3.1.1.1.1.1.2.1.1.1.cmml"><mi id="A5.EGx9.2.m2.3.3.1.1.1.1.1.2.1.1.1.3" xref="A5.EGx9.2.m2.3.3.1.1.1.1.1.2.1.1.1.3.cmml">r</mi><mo lspace="0em" rspace="0em" id="A5.EGx9.2.m2.3.3.1.1.1.1.1.2.1.1.1.2" xref="A5.EGx9.2.m2.3.3.1.1.1.1.1.2.1.1.1.2.cmml">​</mo><mrow id="A5.EGx9.2.m2.3.3.1.1.1.1.1.2.1.1.1.1.1" xref="A5.EGx9.2.m2.3.3.1.1.1.1.1.2.1.1.1.1.2.cmml"><mo stretchy="false" id="A5.EGx9.2.m2.3.3.1.1.1.1.1.2.1.1.1.1.1.2" xref="A5.EGx9.2.m2.3.3.1.1.1.1.1.2.1.1.1.1.2.cmml">(</mo><mi id="A5.EGx9.2.m2.1.1" xref="A5.EGx9.2.m2.1.1.cmml">x</mi><mo id="A5.EGx9.2.m2.3.3.1.1.1.1.1.2.1.1.1.1.1.3" xref="A5.EGx9.2.m2.3.3.1.1.1.1.1.2.1.1.1.1.2.cmml">,</mo><msubsup id="A5.EGx9.2.m2.3.3.1.1.1.1.1.2.1.1.1.1.1.1" xref="A5.EGx9.2.m2.3.3.1.1.1.1.1.2.1.1.1.1.1.1.cmml"><mi id="A5.EGx9.2.m2.3.3.1.1.1.1.1.2.1.1.1.1.1.1.2.2" xref="A5.EGx9.2.m2.3.3.1.1.1.1.1.2.1.1.1.1.1.1.2.2.cmml">a</mi><mrow id="A5.EGx9.2.m2.3.3.1.1.1.1.1.2.1.1.1.1.1.1.2.3" xref="A5.EGx9.2.m2.3.3.1.1.1.1.1.2.1.1.1.1.1.1.2.3.cmml"><mn id="A5.EGx9.2.m2.3.3.1.1.1.1.1.2.1.1.1.1.1.1.2.3.2" xref="A5.EGx9.2.m2.3.3.1.1.1.1.1.2.1.1.1.1.1.1.2.3.2.cmml">1</mn><mo lspace="0.278em" rspace="0.278em" id="A5.EGx9.2.m2.3.3.1.1.1.1.1.2.1.1.1.1.1.1.2.3.1" xref="A5.EGx9.2.m2.3.3.1.1.1.1.1.2.1.1.1.1.1.1.2.3.1.cmml">:</mo><mi id="A5.EGx9.2.m2.3.3.1.1.1.1.1.2.1.1.1.1.1.1.2.3.3" xref="A5.EGx9.2.m2.3.3.1.1.1.1.1.2.1.1.1.1.1.1.2.3.3.cmml">T</mi></mrow><mi id="A5.EGx9.2.m2.3.3.1.1.1.1.1.2.1.1.1.1.1.1.3" xref="A5.EGx9.2.m2.3.3.1.1.1.1.1.2.1.1.1.1.1.1.3.cmml">i</mi></msubsup><mo stretchy="false" id="A5.EGx9.2.m2.3.3.1.1.1.1.1.2.1.1.1.1.1.4" xref="A5.EGx9.2.m2.3.3.1.1.1.1.1.2.1.1.1.1.2.cmml">)</mo></mrow></mrow><mo id="A5.EGx9.2.m2.3.3.1.1.1.1.1.2.1.1.3" xref="A5.EGx9.2.m2.3.3.1.1.1.1.1.2.1.1.3.cmml">−</mo><mrow id="A5.EGx9.2.m2.3.3.1.1.1.1.1.2.1.1.2" xref="A5.EGx9.2.m2.3.3.1.1.1.1.1.2.1.1.2.cmml"><mi id="A5.EGx9.2.m2.3.3.1.1.1.1.1.2.1.1.2.3" xref="A5.EGx9.2.m2.3.3.1.1.1.1.1.2.1.1.2.3.cmml">r</mi><mo lspace="0em" rspace="0em" id="A5.EGx9.2.m2.3.3.1.1.1.1.1.2.1.1.2.2" xref="A5.EGx9.2.m2.3.3.1.1.1.1.1.2.1.1.2.2.cmml">​</mo><mrow id="A5.EGx9.2.m2.3.3.1.1.1.1.1.2.1.1.2.1.1" xref="A5.EGx9.2.m2.3.3.1.1.1.1.1.2.1.1.2.1.2.cmml"><mo stretchy="false" id="A5.EGx9.2.m2.3.3.1.1.1.1.1.2.1.1.2.1.1.2" xref="A5.EGx9.2.m2.3.3.1.1.1.1.1.2.1.1.2.1.2.cmml">(</mo><mi id="A5.EGx9.2.m2.2.2" xref="A5.EGx9.2.m2.2.2.cmml">x</mi><mo id="A5.EGx9.2.m2.3.3.1.1.1.1.1.2.1.1.2.1.1.3" xref="A5.EGx9.2.m2.3.3.1.1.1.1.1.2.1.1.2.1.2.cmml">,</mo><mrow id="A5.EGx9.2.m2.3.3.1.1.1.1.1.2.1.1.2.1.1.1" xref="A5.EGx9.2.m2.3.3.1.1.1.1.1.2.1.1.2.1.1.1.cmml"><merror class="ltx_ERROR undefined undefined" id="A5.EGx9.2.m2.3.3.1.1.1.1.1.2.1.1.2.1.1.1.2" xref="A5.EGx9.2.m2.3.3.1.1.1.1.1.2.1.1.2.1.1.1.2b.cmml"><mtext id="A5.EGx9.2.m2.3.3.1.1.1.1.1.2.1.1.2.1.1.1.2a" xref="A5.EGx9.2.m2.3.3.1.1.1.1.1.2.1.1.2.1.1.1.2b.cmml">\macc@depth</mtext></merror><mo lspace="0em" rspace="0em" id="A5.EGx9.2.m2.3.3.1.1.1.1.1.2.1.1.2.1.1.1.1" xref="A5.EGx9.2.m2.3.3.1.1.1.1.1.2.1.1.2.1.1.1.1.cmml">​</mo><mi mathvariant="normal" id="A5.EGx9.2.m2.3.3.1.1.1.1.1.2.1.1.2.1.1.1.3" xref="A5.EGx9.2.m2.3.3.1.1.1.1.1.2.1.1.2.1.1.1.3.cmml">Δ</mi><mo lspace="0em" rspace="0em" id="A5.EGx9.2.m2.3.3.1.1.1.1.1.2.1.1.2.1.1.1.1a" xref="A5.EGx9.2.m2.3.3.1.1.1.1.1.2.1.1.2.1.1.1.1.cmml">​</mo><merror class="ltx_ERROR undefined undefined" id="A5.EGx9.2.m2.3.3.1.1.1.1.1.2.1.1.2.1.1.1.4" xref="A5.EGx9.2.m2.3.3.1.1.1.1.1.2.1.1.2.1.1.1.4b.cmml"><mtext id="A5.EGx9.2.m2.3.3.1.1.1.1.1.2.1.1.2.1.1.1.4a" xref="A5.EGx9.2.m2.3.3.1.1.1.1.1.2.1.1.2.1.1.1.4b.cmml">\frozen@everymath</mtext></merror><mo lspace="0em" rspace="0em" id="A5.EGx9.2.m2.3.3.1.1.1.1.1.2.1.1.2.1.1.1.1b" xref="A5.EGx9.2.m2.3.3.1.1.1.1.1.2.1.1.2.1.1.1.1.cmml">​</mo><merror class="ltx_ERROR undefined undefined" id="A5.EGx9.2.m2.3.3.1.1.1.1.1.2.1.1.2.1.1.1.5" xref="A5.EGx9.2.m2.3.3.1.1.1.1.1.2.1.1.2.1.1.1.5b.cmml"><mtext id="A5.EGx9.2.m2.3.3.1.1.1.1.1.2.1.1.2.1.1.1.5a" xref="A5.EGx9.2.m2.3.3.1.1.1.1.1.2.1.1.2.1.1.1.5b.cmml">\macc@group</mtext></merror><mo lspace="0em" rspace="0em" id="A5.EGx9.2.m2.3.3.1.1.1.1.1.2.1.1.2.1.1.1.1c" xref="A5.EGx9.2.m2.3.3.1.1.1.1.1.2.1.1.2.1.1.1.1.cmml">​</mo><merror class="ltx_ERROR undefined undefined" id="A5.EGx9.2.m2.3.3.1.1.1.1.1.2.1.1.2.1.1.1.6" xref="A5.EGx9.2.m2.3.3.1.1.1.1.1.2.1.1.2.1.1.1.6b.cmml"><mtext id="A5.EGx9.2.m2.3.3.1.1.1.1.1.2.1.1.2.1.1.1.6a" xref="A5.EGx9.2.m2.3.3.1.1.1.1.1.2.1.1.2.1.1.1.6b.cmml">\macc@set@skewchar</mtext></merror><mo lspace="0em" rspace="0em" id="A5.EGx9.2.m2.3.3.1.1.1.1.1.2.1.1.2.1.1.1.1d" xref="A5.EGx9.2.m2.3.3.1.1.1.1.1.2.1.1.2.1.1.1.1.cmml">​</mo><merror class="ltx_ERROR undefined undefined" id="A5.EGx9.2.m2.3.3.1.1.1.1.1.2.1.1.2.1.1.1.7" xref="A5.EGx9.2.m2.3.3.1.1.1.1.1.2.1.1.2.1.1.1.7b.cmml"><mtext id="A5.EGx9.2.m2.3.3.1.1.1.1.1.2.1.1.2.1.1.1.7a" xref="A5.EGx9.2.m2.3.3.1.1.1.1.1.2.1.1.2.1.1.1.7b.cmml">\macc@nested@a</mtext></merror><mo lspace="0em" rspace="0em" id="A5.EGx9.2.m2.3.3.1.1.1.1.1.2.1.1.2.1.1.1.1e" xref="A5.EGx9.2.m2.3.3.1.1.1.1.1.2.1.1.2.1.1.1.1.cmml">​</mo><mn id="A5.EGx9.2.m2.3.3.1.1.1.1.1.2.1.1.2.1.1.1.8" xref="A5.EGx9.2.m2.3.3.1.1.1.1.1.2.1.1.2.1.1.1.8.cmml">111</mn><mo lspace="0em" rspace="0em" id="A5.EGx9.2.m2.3.3.1.1.1.1.1.2.1.1.2.1.1.1.1f" xref="A5.EGx9.2.m2.3.3.1.1.1.1.1.2.1.1.2.1.1.1.1.cmml">​</mo><msubsup id="A5.EGx9.2.m2.3.3.1.1.1.1.1.2.1.1.2.1.1.1.9" xref="A5.EGx9.2.m2.3.3.1.1.1.1.1.2.1.1.2.1.1.1.9.cmml"><mi id="A5.EGx9.2.m2.3.3.1.1.1.1.1.2.1.1.2.1.1.1.9.2.2" xref="A5.EGx9.2.m2.3.3.1.1.1.1.1.2.1.1.2.1.1.1.9.2.2.cmml">a</mi><mrow id="A5.EGx9.2.m2.3.3.1.1.1.1.1.2.1.1.2.1.1.1.9.2.3" xref="A5.EGx9.2.m2.3.3.1.1.1.1.1.2.1.1.2.1.1.1.9.2.3.cmml"><mn id="A5.EGx9.2.m2.3.3.1.1.1.1.1.2.1.1.2.1.1.1.9.2.3.2" xref="A5.EGx9.2.m2.3.3.1.1.1.1.1.2.1.1.2.1.1.1.9.2.3.2.cmml">1</mn><mo lspace="0.278em" rspace="0.278em" id="A5.EGx9.2.m2.3.3.1.1.1.1.1.2.1.1.2.1.1.1.9.2.3.1" xref="A5.EGx9.2.m2.3.3.1.1.1.1.1.2.1.1.2.1.1.1.9.2.3.1.cmml">:</mo><mi id="A5.EGx9.2.m2.3.3.1.1.1.1.1.2.1.1.2.1.1.1.9.2.3.3" xref="A5.EGx9.2.m2.3.3.1.1.1.1.1.2.1.1.2.1.1.1.9.2.3.3.cmml">T</mi></mrow><mi id="A5.EGx9.2.m2.3.3.1.1.1.1.1.2.1.1.2.1.1.1.9.3" xref="A5.EGx9.2.m2.3.3.1.1.1.1.1.2.1.1.2.1.1.1.9.3.cmml">i</mi></msubsup></mrow><mo stretchy="false" id="A5.EGx9.2.m2.3.3.1.1.1.1.1.2.1.1.2.1.1.4" xref="A5.EGx9.2.m2.3.3.1.1.1.1.1.2.1.1.2.1.2.cmml">)</mo></mrow></mrow></mrow><mo maxsize="120%" minsize="120%" id="A5.EGx9.2.m2.3.3.1.1.1.1.1.2.1.3" xref="A5.EGx9.2.m2.3.3.1.1.1.1.1.2.1.1.cmml">)</mo></mrow></mrow><mo maxsize="120%" minsize="120%" id="A5.EGx9.2.m2.3.3.1.1.1.1.3" xref="A5.EGx9.2.m2.3.3.1.1.1.2.1.cmml">]</mo></mrow></mrow></mrow></mrow><annotation-xml encoding="MathML-Content" id="A5.EGx9.2.m2.3b"><apply id="A5.EGx9.2.m2.3.3.cmml" xref="A5.EGx9.2.m2.3.3"><eq id="A5.EGx9.2.m2.3.3.2.cmml" xref="A5.EGx9.2.m2.3.3.2"></eq><csymbol cd="latexml" id="A5.EGx9.2.m2.3.3.3.cmml" xref="A5.EGx9.2.m2.3.3.3">absent</csymbol><apply id="A5.EGx9.2.m2.3.3.1.cmml" xref="A5.EGx9.2.m2.3.3.1"><apply id="A5.EGx9.2.m2.3.3.1.2.cmml" xref="A5.EGx9.2.m2.3.3.1.2"><csymbol cd="ambiguous" id="A5.EGx9.2.m2.3.3.1.2.1.cmml" xref="A5.EGx9.2.m2.3.3.1.2">superscript</csymbol><apply id="A5.EGx9.2.m2.3.3.1.2.2.cmml" xref="A5.EGx9.2.m2.3.3.1.2"><csymbol cd="ambiguous" id="A5.EGx9.2.m2.3.3.1.2.2.1.cmml" xref="A5.EGx9.2.m2.3.3.1.2">subscript</csymbol><sum id="A5.EGx9.2.m2.3.3.1.2.2.2.cmml" xref="A5.EGx9.2.m2.3.3.1.2.2.2"></sum><apply id="A5.EGx9.2.m2.3.3.1.2.2.3.cmml" xref="A5.EGx9.2.m2.3.3.1.2.2.3"><eq id="A5.EGx9.2.m2.3.3.1.2.2.3.1.cmml" xref="A5.EGx9.2.m2.3.3.1.2.2.3.1"></eq><ci id="A5.EGx9.2.m2.3.3.1.2.2.3.2.cmml" xref="A5.EGx9.2.m2.3.3.1.2.2.3.2">𝑖</ci><cn type="integer" id="A5.EGx9.2.m2.3.3.1.2.2.3.3.cmml" xref="A5.EGx9.2.m2.3.3.1.2.2.3.3">1</cn></apply></apply><ci id="A5.EGx9.2.m2.3.3.1.2.3.cmml" xref="A5.EGx9.2.m2.3.3.1.2.3">𝑁</ci></apply><apply id="A5.EGx9.2.m2.3.3.1.1.cmml" xref="A5.EGx9.2.m2.3.3.1.1"><apply id="A5.EGx9.2.m2.3.3.1.1.2.cmml" xref="A5.EGx9.2.m2.3.3.1.1.2"><csymbol cd="ambiguous" id="A5.EGx9.2.m2.3.3.1.1.2.1.cmml" xref="A5.EGx9.2.m2.3.3.1.1.2">superscript</csymbol><apply id="A5.EGx9.2.m2.3.3.1.1.2.2.cmml" xref="A5.EGx9.2.m2.3.3.1.1.2"><csymbol cd="ambiguous" id="A5.EGx9.2.m2.3.3.1.1.2.2.1.cmml" xref="A5.EGx9.2.m2.3.3.1.1.2">subscript</csymbol><sum id="A5.EGx9.2.m2.3.3.1.1.2.2.2.cmml" xref="A5.EGx9.2.m2.3.3.1.1.2.2.2"></sum><apply id="A5.EGx9.2.m2.3.3.1.1.2.2.3.cmml" xref="A5.EGx9.2.m2.3.3.1.1.2.2.3"><eq id="A5.EGx9.2.m2.3.3.1.1.2.2.3.1.cmml" xref="A5.EGx9.2.m2.3.3.1.1.2.2.3.1"></eq><ci id="A5.EGx9.2.m2.3.3.1.1.2.2.3.2.cmml" xref="A5.EGx9.2.m2.3.3.1.1.2.2.3.2">𝑡</ci><cn type="integer" id="A5.EGx9.2.m2.3.3.1.1.2.2.3.3.cmml" xref="A5.EGx9.2.m2.3.3.1.1.2.2.3.3">1</cn></apply></apply><ci id="A5.EGx9.2.m2.3.3.1.1.2.3.cmml" xref="A5.EGx9.2.m2.3.3.1.1.2.3">𝑇</ci></apply><apply id="A5.EGx9.2.m2.3.3.1.1.1.2.cmml" xref="A5.EGx9.2.m2.3.3.1.1.1.1"><csymbol cd="latexml" id="A5.EGx9.2.m2.3.3.1.1.1.2.1.cmml" xref="A5.EGx9.2.m2.3.3.1.1.1.1.2">delimited-[]</csymbol><apply id="A5.EGx9.2.m2.3.3.1.1.1.1.1.cmml" xref="A5.EGx9.2.m2.3.3.1.1.1.1.1"><ci id="A5.EGx9.2.m2.3.3.1.1.1.1.1.3.cmml" xref="A5.EGx9.2.m2.3.3.1.1.1.1.1.3">⋅</ci><apply id="A5.EGx9.2.m2.3.3.1.1.1.1.1.1.cmml" xref="A5.EGx9.2.m2.3.3.1.1.1.1.1.1"><times id="A5.EGx9.2.m2.3.3.1.1.1.1.1.1.2.cmml" xref="A5.EGx9.2.m2.3.3.1.1.1.1.1.1.2"></times><apply id="A5.EGx9.2.m2.3.3.1.1.1.1.1.1.3.cmml" xref="A5.EGx9.2.m2.3.3.1.1.1.1.1.1.3"><apply id="A5.EGx9.2.m2.3.3.1.1.1.1.1.1.3.1.cmml" xref="A5.EGx9.2.m2.3.3.1.1.1.1.1.1.3.1"><apply id="A5.EGx9.2.m2.3.3.1.1.1.1.1.1.3.1.1.cmml" xref="A5.EGx9.2.m2.3.3.1.1.1.1.1.1.3.1.1"><csymbol cd="ambiguous" id="A5.EGx9.2.m2.3.3.1.1.1.1.1.1.3.1.1.1.cmml" xref="A5.EGx9.2.m2.3.3.1.1.1.1.1.1.3.1.1">subscript</csymbol><ci id="A5.EGx9.2.m2.3.3.1.1.1.1.1.1.3.1.1.2.cmml" xref="A5.EGx9.2.m2.3.3.1.1.1.1.1.1.3.1.1.2">∇</ci><ci id="A5.EGx9.2.m2.3.3.1.1.1.1.1.1.3.1.1.3.cmml" xref="A5.EGx9.2.m2.3.3.1.1.1.1.1.1.3.1.1.3">𝜃</ci></apply><log id="A5.EGx9.2.m2.3.3.1.1.1.1.1.1.3.1.2.cmml" xref="A5.EGx9.2.m2.3.3.1.1.1.1.1.1.3.1.2"></log></apply><apply id="A5.EGx9.2.m2.3.3.1.1.1.1.1.1.3.2.cmml" xref="A5.EGx9.2.m2.3.3.1.1.1.1.1.1.3.2"><csymbol cd="ambiguous" id="A5.EGx9.2.m2.3.3.1.1.1.1.1.1.3.2.1.cmml" xref="A5.EGx9.2.m2.3.3.1.1.1.1.1.1.3.2">subscript</csymbol><ci id="A5.EGx9.2.m2.3.3.1.1.1.1.1.1.3.2.2.cmml" xref="A5.EGx9.2.m2.3.3.1.1.1.1.1.1.3.2.2">𝜋</ci><ci id="A5.EGx9.2.m2.3.3.1.1.1.1.1.1.3.2.3.cmml" xref="A5.EGx9.2.m2.3.3.1.1.1.1.1.1.3.2.3">𝜃</ci></apply></apply><apply id="A5.EGx9.2.m2.3.3.1.1.1.1.1.1.1.1.1.cmml" xref="A5.EGx9.2.m2.3.3.1.1.1.1.1.1.1.1"><csymbol cd="latexml" id="A5.EGx9.2.m2.3.3.1.1.1.1.1.1.1.1.1.3.cmml" xref="A5.EGx9.2.m2.3.3.1.1.1.1.1.1.1.1.1.3">conditional</csymbol><apply id="A5.EGx9.2.m2.3.3.1.1.1.1.1.1.1.1.1.4.cmml" xref="A5.EGx9.2.m2.3.3.1.1.1.1.1.1.1.1.1.4"><csymbol cd="ambiguous" id="A5.EGx9.2.m2.3.3.1.1.1.1.1.1.1.1.1.4.1.cmml" xref="A5.EGx9.2.m2.3.3.1.1.1.1.1.1.1.1.1.4">superscript</csymbol><apply id="A5.EGx9.2.m2.3.3.1.1.1.1.1.1.1.1.1.4.2.cmml" xref="A5.EGx9.2.m2.3.3.1.1.1.1.1.1.1.1.1.4"><csymbol cd="ambiguous" id="A5.EGx9.2.m2.3.3.1.1.1.1.1.1.1.1.1.4.2.1.cmml" xref="A5.EGx9.2.m2.3.3.1.1.1.1.1.1.1.1.1.4">subscript</csymbol><ci id="A5.EGx9.2.m2.3.3.1.1.1.1.1.1.1.1.1.4.2.2.cmml" xref="A5.EGx9.2.m2.3.3.1.1.1.1.1.1.1.1.1.4.2.2">𝑎</ci><ci id="A5.EGx9.2.m2.3.3.1.1.1.1.1.1.1.1.1.4.2.3.cmml" xref="A5.EGx9.2.m2.3.3.1.1.1.1.1.1.1.1.1.4.2.3">𝑡</ci></apply><ci id="A5.EGx9.2.m2.3.3.1.1.1.1.1.1.1.1.1.4.3.cmml" xref="A5.EGx9.2.m2.3.3.1.1.1.1.1.1.1.1.1.4.3">𝑖</ci></apply><list id="A5.EGx9.2.m2.3.3.1.1.1.1.1.1.1.1.1.2.3.cmml" xref="A5.EGx9.2.m2.3.3.1.1.1.1.1.1.1.1.1.2.2"><apply id="A5.EGx9.2.m2.3.3.1.1.1.1.1.1.1.1.1.1.1.1.cmml" xref="A5.EGx9.2.m2.3.3.1.1.1.1.1.1.1.1.1.1.1.1"><csymbol cd="ambiguous" id="A5.EGx9.2.m2.3.3.1.1.1.1.1.1.1.1.1.1.1.1.1.cmml" xref="A5.EGx9.2.m2.3.3.1.1.1.1.1.1.1.1.1.1.1.1">superscript</csymbol><ci id="A5.EGx9.2.m2.3.3.1.1.1.1.1.1.1.1.1.1.1.1.2.cmml" xref="A5.EGx9.2.m2.3.3.1.1.1.1.1.1.1.1.1.1.1.1.2">𝑥</ci><ci id="A5.EGx9.2.m2.3.3.1.1.1.1.1.1.1.1.1.1.1.1.3.cmml" xref="A5.EGx9.2.m2.3.3.1.1.1.1.1.1.1.1.1.1.1.1.3">𝑖</ci></apply><apply id="A5.EGx9.2.m2.3.3.1.1.1.1.1.1.1.1.1.2.2.2.cmml" xref="A5.EGx9.2.m2.3.3.1.1.1.1.1.1.1.1.1.2.2.2"><csymbol cd="ambiguous" id="A5.EGx9.2.m2.3.3.1.1.1.1.1.1.1.1.1.2.2.2.1.cmml" xref="A5.EGx9.2.m2.3.3.1.1.1.1.1.1.1.1.1.2.2.2">superscript</csymbol><apply id="A5.EGx9.2.m2.3.3.1.1.1.1.1.1.1.1.1.2.2.2.2.cmml" xref="A5.EGx9.2.m2.3.3.1.1.1.1.1.1.1.1.1.2.2.2"><csymbol cd="ambiguous" id="A5.EGx9.2.m2.3.3.1.1.1.1.1.1.1.1.1.2.2.2.2.1.cmml" xref="A5.EGx9.2.m2.3.3.1.1.1.1.1.1.1.1.1.2.2.2">subscript</csymbol><ci id="A5.EGx9.2.m2.3.3.1.1.1.1.1.1.1.1.1.2.2.2.2.2.cmml" xref="A5.EGx9.2.m2.3.3.1.1.1.1.1.1.1.1.1.2.2.2.2.2">𝑎</ci><apply id="A5.EGx9.2.m2.3.3.1.1.1.1.1.1.1.1.1.2.2.2.2.3.cmml" xref="A5.EGx9.2.m2.3.3.1.1.1.1.1.1.1.1.1.2.2.2.2.3"><ci id="A5.EGx9.2.m2.3.3.1.1.1.1.1.1.1.1.1.2.2.2.2.3.1.cmml" xref="A5.EGx9.2.m2.3.3.1.1.1.1.1.1.1.1.1.2.2.2.2.3.1">:</ci><cn type="integer" id="A5.EGx9.2.m2.3.3.1.1.1.1.1.1.1.1.1.2.2.2.2.3.2.cmml" xref="A5.EGx9.2.m2.3.3.1.1.1.1.1.1.1.1.1.2.2.2.2.3.2">1</cn><apply id="A5.EGx9.2.m2.3.3.1.1.1.1.1.1.1.1.1.2.2.2.2.3.3.cmml" xref="A5.EGx9.2.m2.3.3.1.1.1.1.1.1.1.1.1.2.2.2.2.3.3"><minus id="A5.EGx9.2.m2.3.3.1.1.1.1.1.1.1.1.1.2.2.2.2.3.3.1.cmml" xref="A5.EGx9.2.m2.3.3.1.1.1.1.1.1.1.1.1.2.2.2.2.3.3.1"></minus><ci id="A5.EGx9.2.m2.3.3.1.1.1.1.1.1.1.1.1.2.2.2.2.3.3.2.cmml" xref="A5.EGx9.2.m2.3.3.1.1.1.1.1.1.1.1.1.2.2.2.2.3.3.2">𝑡</ci><cn type="integer" id="A5.EGx9.2.m2.3.3.1.1.1.1.1.1.1.1.1.2.2.2.2.3.3.3.cmml" xref="A5.EGx9.2.m2.3.3.1.1.1.1.1.1.1.1.1.2.2.2.2.3.3.3">1</cn></apply></apply></apply><ci id="A5.EGx9.2.m2.3.3.1.1.1.1.1.1.1.1.1.2.2.2.3.cmml" xref="A5.EGx9.2.m2.3.3.1.1.1.1.1.1.1.1.1.2.2.2.3">𝑖</ci></apply></list></apply></apply><apply id="A5.EGx9.2.m2.3.3.1.1.1.1.1.2.1.1.cmml" xref="A5.EGx9.2.m2.3.3.1.1.1.1.1.2.1"><minus id="A5.EGx9.2.m2.3.3.1.1.1.1.1.2.1.1.3.cmml" xref="A5.EGx9.2.m2.3.3.1.1.1.1.1.2.1.1.3"></minus><apply id="A5.EGx9.2.m2.3.3.1.1.1.1.1.2.1.1.1.cmml" xref="A5.EGx9.2.m2.3.3.1.1.1.1.1.2.1.1.1"><times id="A5.EGx9.2.m2.3.3.1.1.1.1.1.2.1.1.1.2.cmml" xref="A5.EGx9.2.m2.3.3.1.1.1.1.1.2.1.1.1.2"></times><ci id="A5.EGx9.2.m2.3.3.1.1.1.1.1.2.1.1.1.3.cmml" xref="A5.EGx9.2.m2.3.3.1.1.1.1.1.2.1.1.1.3">𝑟</ci><interval closure="open" id="A5.EGx9.2.m2.3.3.1.1.1.1.1.2.1.1.1.1.2.cmml" xref="A5.EGx9.2.m2.3.3.1.1.1.1.1.2.1.1.1.1.1"><ci id="A5.EGx9.2.m2.1.1.cmml" xref="A5.EGx9.2.m2.1.1">𝑥</ci><apply id="A5.EGx9.2.m2.3.3.1.1.1.1.1.2.1.1.1.1.1.1.cmml" xref="A5.EGx9.2.m2.3.3.1.1.1.1.1.2.1.1.1.1.1.1"><csymbol cd="ambiguous" id="A5.EGx9.2.m2.3.3.1.1.1.1.1.2.1.1.1.1.1.1.1.cmml" xref="A5.EGx9.2.m2.3.3.1.1.1.1.1.2.1.1.1.1.1.1">superscript</csymbol><apply id="A5.EGx9.2.m2.3.3.1.1.1.1.1.2.1.1.1.1.1.1.2.cmml" xref="A5.EGx9.2.m2.3.3.1.1.1.1.1.2.1.1.1.1.1.1"><csymbol cd="ambiguous" id="A5.EGx9.2.m2.3.3.1.1.1.1.1.2.1.1.1.1.1.1.2.1.cmml" xref="A5.EGx9.2.m2.3.3.1.1.1.1.1.2.1.1.1.1.1.1">subscript</csymbol><ci id="A5.EGx9.2.m2.3.3.1.1.1.1.1.2.1.1.1.1.1.1.2.2.cmml" xref="A5.EGx9.2.m2.3.3.1.1.1.1.1.2.1.1.1.1.1.1.2.2">𝑎</ci><apply id="A5.EGx9.2.m2.3.3.1.1.1.1.1.2.1.1.1.1.1.1.2.3.cmml" xref="A5.EGx9.2.m2.3.3.1.1.1.1.1.2.1.1.1.1.1.1.2.3"><ci id="A5.EGx9.2.m2.3.3.1.1.1.1.1.2.1.1.1.1.1.1.2.3.1.cmml" xref="A5.EGx9.2.m2.3.3.1.1.1.1.1.2.1.1.1.1.1.1.2.3.1">:</ci><cn type="integer" id="A5.EGx9.2.m2.3.3.1.1.1.1.1.2.1.1.1.1.1.1.2.3.2.cmml" xref="A5.EGx9.2.m2.3.3.1.1.1.1.1.2.1.1.1.1.1.1.2.3.2">1</cn><ci id="A5.EGx9.2.m2.3.3.1.1.1.1.1.2.1.1.1.1.1.1.2.3.3.cmml" xref="A5.EGx9.2.m2.3.3.1.1.1.1.1.2.1.1.1.1.1.1.2.3.3">𝑇</ci></apply></apply><ci id="A5.EGx9.2.m2.3.3.1.1.1.1.1.2.1.1.1.1.1.1.3.cmml" xref="A5.EGx9.2.m2.3.3.1.1.1.1.1.2.1.1.1.1.1.1.3">𝑖</ci></apply></interval></apply><apply id="A5.EGx9.2.m2.3.3.1.1.1.1.1.2.1.1.2.cmml" xref="A5.EGx9.2.m2.3.3.1.1.1.1.1.2.1.1.2"><times id="A5.EGx9.2.m2.3.3.1.1.1.1.1.2.1.1.2.2.cmml" xref="A5.EGx9.2.m2.3.3.1.1.1.1.1.2.1.1.2.2"></times><ci id="A5.EGx9.2.m2.3.3.1.1.1.1.1.2.1.1.2.3.cmml" xref="A5.EGx9.2.m2.3.3.1.1.1.1.1.2.1.1.2.3">𝑟</ci><interval closure="open" id="A5.EGx9.2.m2.3.3.1.1.1.1.1.2.1.1.2.1.2.cmml" xref="A5.EGx9.2.m2.3.3.1.1.1.1.1.2.1.1.2.1.1"><ci id="A5.EGx9.2.m2.2.2.cmml" xref="A5.EGx9.2.m2.2.2">𝑥</ci><apply id="A5.EGx9.2.m2.3.3.1.1.1.1.1.2.1.1.2.1.1.1.cmml" xref="A5.EGx9.2.m2.3.3.1.1.1.1.1.2.1.1.2.1.1.1"><times id="A5.EGx9.2.m2.3.3.1.1.1.1.1.2.1.1.2.1.1.1.1.cmml" xref="A5.EGx9.2.m2.3.3.1.1.1.1.1.2.1.1.2.1.1.1.1"></times><ci id="A5.EGx9.2.m2.3.3.1.1.1.1.1.2.1.1.2.1.1.1.2b.cmml" xref="A5.EGx9.2.m2.3.3.1.1.1.1.1.2.1.1.2.1.1.1.2"><merror class="ltx_ERROR undefined undefined" id="A5.EGx9.2.m2.3.3.1.1.1.1.1.2.1.1.2.1.1.1.2.cmml" xref="A5.EGx9.2.m2.3.3.1.1.1.1.1.2.1.1.2.1.1.1.2"><mtext id="A5.EGx9.2.m2.3.3.1.1.1.1.1.2.1.1.2.1.1.1.2a.cmml" xref="A5.EGx9.2.m2.3.3.1.1.1.1.1.2.1.1.2.1.1.1.2">\macc@depth</mtext></merror></ci><ci id="A5.EGx9.2.m2.3.3.1.1.1.1.1.2.1.1.2.1.1.1.3.cmml" xref="A5.EGx9.2.m2.3.3.1.1.1.1.1.2.1.1.2.1.1.1.3">Δ</ci><ci id="A5.EGx9.2.m2.3.3.1.1.1.1.1.2.1.1.2.1.1.1.4b.cmml" xref="A5.EGx9.2.m2.3.3.1.1.1.1.1.2.1.1.2.1.1.1.4"><merror class="ltx_ERROR undefined undefined" id="A5.EGx9.2.m2.3.3.1.1.1.1.1.2.1.1.2.1.1.1.4.cmml" xref="A5.EGx9.2.m2.3.3.1.1.1.1.1.2.1.1.2.1.1.1.4"><mtext id="A5.EGx9.2.m2.3.3.1.1.1.1.1.2.1.1.2.1.1.1.4a.cmml" xref="A5.EGx9.2.m2.3.3.1.1.1.1.1.2.1.1.2.1.1.1.4">\frozen@everymath</mtext></merror></ci><ci id="A5.EGx9.2.m2.3.3.1.1.1.1.1.2.1.1.2.1.1.1.5b.cmml" xref="A5.EGx9.2.m2.3.3.1.1.1.1.1.2.1.1.2.1.1.1.5"><merror class="ltx_ERROR undefined undefined" id="A5.EGx9.2.m2.3.3.1.1.1.1.1.2.1.1.2.1.1.1.5.cmml" xref="A5.EGx9.2.m2.3.3.1.1.1.1.1.2.1.1.2.1.1.1.5"><mtext id="A5.EGx9.2.m2.3.3.1.1.1.1.1.2.1.1.2.1.1.1.5a.cmml" xref="A5.EGx9.2.m2.3.3.1.1.1.1.1.2.1.1.2.1.1.1.5">\macc@group</mtext></merror></ci><ci id="A5.EGx9.2.m2.3.3.1.1.1.1.1.2.1.1.2.1.1.1.6b.cmml" xref="A5.EGx9.2.m2.3.3.1.1.1.1.1.2.1.1.2.1.1.1.6"><merror class="ltx_ERROR undefined undefined" id="A5.EGx9.2.m2.3.3.1.1.1.1.1.2.1.1.2.1.1.1.6.cmml" xref="A5.EGx9.2.m2.3.3.1.1.1.1.1.2.1.1.2.1.1.1.6"><mtext id="A5.EGx9.2.m2.3.3.1.1.1.1.1.2.1.1.2.1.1.1.6a.cmml" xref="A5.EGx9.2.m2.3.3.1.1.1.1.1.2.1.1.2.1.1.1.6">\macc@set@skewchar</mtext></merror></ci><ci id="A5.EGx9.2.m2.3.3.1.1.1.1.1.2.1.1.2.1.1.1.7b.cmml" xref="A5.EGx9.2.m2.3.3.1.1.1.1.1.2.1.1.2.1.1.1.7"><merror class="ltx_ERROR undefined undefined" id="A5.EGx9.2.m2.3.3.1.1.1.1.1.2.1.1.2.1.1.1.7.cmml" xref="A5.EGx9.2.m2.3.3.1.1.1.1.1.2.1.1.2.1.1.1.7"><mtext id="A5.EGx9.2.m2.3.3.1.1.1.1.1.2.1.1.2.1.1.1.7a.cmml" xref="A5.EGx9.2.m2.3.3.1.1.1.1.1.2.1.1.2.1.1.1.7">\macc@nested@a</mtext></merror></ci><cn type="integer" id="A5.EGx9.2.m2.3.3.1.1.1.1.1.2.1.1.2.1.1.1.8.cmml" xref="A5.EGx9.2.m2.3.3.1.1.1.1.1.2.1.1.2.1.1.1.8">111</cn><apply id="A5.EGx9.2.m2.3.3.1.1.1.1.1.2.1.1.2.1.1.1.9.cmml" xref="A5.EGx9.2.m2.3.3.1.1.1.1.1.2.1.1.2.1.1.1.9"><csymbol cd="ambiguous" id="A5.EGx9.2.m2.3.3.1.1.1.1.1.2.1.1.2.1.1.1.9.1.cmml" xref="A5.EGx9.2.m2.3.3.1.1.1.1.1.2.1.1.2.1.1.1.9">superscript</csymbol><apply id="A5.EGx9.2.m2.3.3.1.1.1.1.1.2.1.1.2.1.1.1.9.2.cmml" xref="A5.EGx9.2.m2.3.3.1.1.1.1.1.2.1.1.2.1.1.1.9"><csymbol cd="ambiguous" id="A5.EGx9.2.m2.3.3.1.1.1.1.1.2.1.1.2.1.1.1.9.2.1.cmml" xref="A5.EGx9.2.m2.3.3.1.1.1.1.1.2.1.1.2.1.1.1.9">subscript</csymbol><ci id="A5.EGx9.2.m2.3.3.1.1.1.1.1.2.1.1.2.1.1.1.9.2.2.cmml" xref="A5.EGx9.2.m2.3.3.1.1.1.1.1.2.1.1.2.1.1.1.9.2.2">𝑎</ci><apply id="A5.EGx9.2.m2.3.3.1.1.1.1.1.2.1.1.2.1.1.1.9.2.3.cmml" xref="A5.EGx9.2.m2.3.3.1.1.1.1.1.2.1.1.2.1.1.1.9.2.3"><ci id="A5.EGx9.2.m2.3.3.1.1.1.1.1.2.1.1.2.1.1.1.9.2.3.1.cmml" xref="A5.EGx9.2.m2.3.3.1.1.1.1.1.2.1.1.2.1.1.1.9.2.3.1">:</ci><cn type="integer" id="A5.EGx9.2.m2.3.3.1.1.1.1.1.2.1.1.2.1.1.1.9.2.3.2.cmml" xref="A5.EGx9.2.m2.3.3.1.1.1.1.1.2.1.1.2.1.1.1.9.2.3.2">1</cn><ci id="A5.EGx9.2.m2.3.3.1.1.1.1.1.2.1.1.2.1.1.1.9.2.3.3.cmml" xref="A5.EGx9.2.m2.3.3.1.1.1.1.1.2.1.1.2.1.1.1.9.2.3.3">𝑇</ci></apply></apply><ci id="A5.EGx9.2.m2.3.3.1.1.1.1.1.2.1.1.2.1.1.1.9.3.cmml" xref="A5.EGx9.2.m2.3.3.1.1.1.1.1.2.1.1.2.1.1.1.9.3">𝑖</ci></apply></apply></interval></apply></apply></apply></apply></apply></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="A5.EGx9.2.m2.3c">\displaystyle=\sum_{i=1}^{N}\sum_{t=1}^{T}\big{[}\nabla_{\theta}\log\pi_{\theta}(a_{t}^{i}|x^{i},a_{1:t-1}^{i})\cdot\big{(}r(x,a_{1:T}^{i})-r(x,\macc@depth\char 1\relax\frozen@everymath{\macc@group}\macc@set@skewchar\macc@nested@a 111{a}_{1:T}^{i})\big{)}\big{]}</annotation></semantics></math></td>
<td class="ltx_eqn_cell ltx_eqn_center_padright"></td>
</tr></tbody>
</table>
<p id="S4.SS2.p1.3" class="ltx_p">where the action <math id="S4.SS2.p1.1.m1.1" class="ltx_math_unparsed" alttext="a_{t}^{i}\sim\pi_{\theta}(\cdot|x^{i},a_{1:t-1}^{i})" display="inline"><semantics id="S4.SS2.p1.1.m1.1a"><mrow id="S4.SS2.p1.1.m1.1b"><msubsup id="S4.SS2.p1.1.m1.1.1"><mi id="S4.SS2.p1.1.m1.1.1.2.2">a</mi><mi id="S4.SS2.p1.1.m1.1.1.2.3">t</mi><mi id="S4.SS2.p1.1.m1.1.1.3">i</mi></msubsup><mo id="S4.SS2.p1.1.m1.1.2">∼</mo><msub id="S4.SS2.p1.1.m1.1.3"><mi id="S4.SS2.p1.1.m1.1.3.2">π</mi><mi id="S4.SS2.p1.1.m1.1.3.3">θ</mi></msub><mrow id="S4.SS2.p1.1.m1.1.4"><mo stretchy="false" id="S4.SS2.p1.1.m1.1.4.1">(</mo><mo lspace="0em" rspace="0em" id="S4.SS2.p1.1.m1.1.4.2">⋅</mo><mo fence="false" rspace="0.167em" stretchy="false" id="S4.SS2.p1.1.m1.1.4.3">|</mo><msup id="S4.SS2.p1.1.m1.1.4.4"><mi id="S4.SS2.p1.1.m1.1.4.4.2">x</mi><mi id="S4.SS2.p1.1.m1.1.4.4.3">i</mi></msup><mo id="S4.SS2.p1.1.m1.1.4.5">,</mo><msubsup id="S4.SS2.p1.1.m1.1.4.6"><mi id="S4.SS2.p1.1.m1.1.4.6.2.2">a</mi><mrow id="S4.SS2.p1.1.m1.1.4.6.2.3"><mn id="S4.SS2.p1.1.m1.1.4.6.2.3.2">1</mn><mo lspace="0.278em" rspace="0.278em" id="S4.SS2.p1.1.m1.1.4.6.2.3.1">:</mo><mrow id="S4.SS2.p1.1.m1.1.4.6.2.3.3"><mi id="S4.SS2.p1.1.m1.1.4.6.2.3.3.2">t</mi><mo id="S4.SS2.p1.1.m1.1.4.6.2.3.3.1">−</mo><mn id="S4.SS2.p1.1.m1.1.4.6.2.3.3.3">1</mn></mrow></mrow><mi id="S4.SS2.p1.1.m1.1.4.6.3">i</mi></msubsup><mo stretchy="false" id="S4.SS2.p1.1.m1.1.4.7">)</mo></mrow></mrow><annotation encoding="application/x-tex" id="S4.SS2.p1.1.m1.1c">a_{t}^{i}\sim\pi_{\theta}(\cdot|x^{i},a_{1:t-1}^{i})</annotation></semantics></math> and action <math id="S4.SS2.p1.2.m2.1" class="ltx_math_unparsed" alttext="\macc@depth\char 1\relax\frozen@everymath{\macc@group}\macc@set@skewchar\macc@nested@a 111{a}_{t}^{i}\in\mathop{\rm argmax}\pi_{\theta}(\cdot|x^{i},{\macc@depth\char 1\relax\frozen@everymath{\macc@group}\macc@set@skewchar\macc@nested@a 111{a}}^{i}_{1:t-1})" display="inline"><semantics id="S4.SS2.p1.2.m2.1a"><mrow id="S4.SS2.p1.2.m2.1b"><merror class="ltx_ERROR undefined undefined" id="S4.SS2.p1.2.m2.1.1"><mtext id="S4.SS2.p1.2.m2.1.1a">\macc@depth</mtext></merror><mi mathvariant="normal" id="S4.SS2.p1.2.m2.1.2">Δ</mi><merror class="ltx_ERROR undefined undefined" id="S4.SS2.p1.2.m2.1.3"><mtext id="S4.SS2.p1.2.m2.1.3a">\frozen@everymath</mtext></merror><merror class="ltx_ERROR undefined undefined" id="S4.SS2.p1.2.m2.1.4"><mtext id="S4.SS2.p1.2.m2.1.4a">\macc@group</mtext></merror><merror class="ltx_ERROR undefined undefined" id="S4.SS2.p1.2.m2.1.5"><mtext id="S4.SS2.p1.2.m2.1.5a">\macc@set@skewchar</mtext></merror><merror class="ltx_ERROR undefined undefined" id="S4.SS2.p1.2.m2.1.6"><mtext id="S4.SS2.p1.2.m2.1.6a">\macc@nested@a</mtext></merror><mn id="S4.SS2.p1.2.m2.1.7">111</mn><msubsup id="S4.SS2.p1.2.m2.1.8"><mi id="S4.SS2.p1.2.m2.1.8.2.2">a</mi><mi id="S4.SS2.p1.2.m2.1.8.2.3">t</mi><mi id="S4.SS2.p1.2.m2.1.8.3">i</mi></msubsup><mo rspace="0.1389em" id="S4.SS2.p1.2.m2.1.9">∈</mo><mo lspace="0.1389em" rspace="0.167em" id="S4.SS2.p1.2.m2.1.10">argmax</mo><msub id="S4.SS2.p1.2.m2.1.11"><mi id="S4.SS2.p1.2.m2.1.11.2">π</mi><mi id="S4.SS2.p1.2.m2.1.11.3">θ</mi></msub><mrow id="S4.SS2.p1.2.m2.1.12"><mo stretchy="false" id="S4.SS2.p1.2.m2.1.12.1">(</mo><mo lspace="0em" rspace="0em" id="S4.SS2.p1.2.m2.1.12.2">⋅</mo><mo fence="false" rspace="0.167em" stretchy="false" id="S4.SS2.p1.2.m2.1.12.3">|</mo><msup id="S4.SS2.p1.2.m2.1.12.4"><mi id="S4.SS2.p1.2.m2.1.12.4.2">x</mi><mi id="S4.SS2.p1.2.m2.1.12.4.3">i</mi></msup><mo id="S4.SS2.p1.2.m2.1.12.5">,</mo><merror class="ltx_ERROR undefined undefined" id="S4.SS2.p1.2.m2.1.12.6"><mtext id="S4.SS2.p1.2.m2.1.12.6a">\macc@depth</mtext></merror><mi mathvariant="normal" id="S4.SS2.p1.2.m2.1.12.7">Δ</mi><merror class="ltx_ERROR undefined undefined" id="S4.SS2.p1.2.m2.1.12.8"><mtext id="S4.SS2.p1.2.m2.1.12.8a">\frozen@everymath</mtext></merror><merror class="ltx_ERROR undefined undefined" id="S4.SS2.p1.2.m2.1.12.9"><mtext id="S4.SS2.p1.2.m2.1.12.9a">\macc@group</mtext></merror><merror class="ltx_ERROR undefined undefined" id="S4.SS2.p1.2.m2.1.12.10"><mtext id="S4.SS2.p1.2.m2.1.12.10a">\macc@set@skewchar</mtext></merror><merror class="ltx_ERROR undefined undefined" id="S4.SS2.p1.2.m2.1.12.11"><mtext id="S4.SS2.p1.2.m2.1.12.11a">\macc@nested@a</mtext></merror><mn id="S4.SS2.p1.2.m2.1.12.12">111</mn><msubsup id="S4.SS2.p1.2.m2.1.12.13"><mi id="S4.SS2.p1.2.m2.1.12.13.2.2">a</mi><mrow id="S4.SS2.p1.2.m2.1.12.13.3"><mn id="S4.SS2.p1.2.m2.1.12.13.3.2">1</mn><mo lspace="0.278em" rspace="0.278em" id="S4.SS2.p1.2.m2.1.12.13.3.1">:</mo><mrow id="S4.SS2.p1.2.m2.1.12.13.3.3"><mi id="S4.SS2.p1.2.m2.1.12.13.3.3.2">t</mi><mo id="S4.SS2.p1.2.m2.1.12.13.3.3.1">−</mo><mn id="S4.SS2.p1.2.m2.1.12.13.3.3.3">1</mn></mrow></mrow><mi id="S4.SS2.p1.2.m2.1.12.13.2.3">i</mi></msubsup><mo stretchy="false" id="S4.SS2.p1.2.m2.1.12.14">)</mo></mrow></mrow><annotation encoding="application/x-tex" id="S4.SS2.p1.2.m2.1c">\macc@depth\char 1\relax\frozen@everymath{\macc@group}\macc@set@skewchar\macc@nested@a 111{a}_{t}^{i}\in\mathop{\rm argmax}\pi_{\theta}(\cdot|x^{i},{\macc@depth\char 1\relax\frozen@everymath{\macc@group}\macc@set@skewchar\macc@nested@a 111{a}}^{i}_{1:t-1})</annotation></semantics></math> for all <math id="S4.SS2.p1.3.m3.3" class="ltx_Math" alttext="t=1,\ldots,T" display="inline"><semantics id="S4.SS2.p1.3.m3.3a"><mrow id="S4.SS2.p1.3.m3.3.4" xref="S4.SS2.p1.3.m3.3.4.cmml"><mi id="S4.SS2.p1.3.m3.3.4.2" xref="S4.SS2.p1.3.m3.3.4.2.cmml">t</mi><mo id="S4.SS2.p1.3.m3.3.4.1" xref="S4.SS2.p1.3.m3.3.4.1.cmml">=</mo><mrow id="S4.SS2.p1.3.m3.3.4.3.2" xref="S4.SS2.p1.3.m3.3.4.3.1.cmml"><mn id="S4.SS2.p1.3.m3.1.1" xref="S4.SS2.p1.3.m3.1.1.cmml">1</mn><mo id="S4.SS2.p1.3.m3.3.4.3.2.1" xref="S4.SS2.p1.3.m3.3.4.3.1.cmml">,</mo><mi mathvariant="normal" id="S4.SS2.p1.3.m3.2.2" xref="S4.SS2.p1.3.m3.2.2.cmml">…</mi><mo id="S4.SS2.p1.3.m3.3.4.3.2.2" xref="S4.SS2.p1.3.m3.3.4.3.1.cmml">,</mo><mi id="S4.SS2.p1.3.m3.3.3" xref="S4.SS2.p1.3.m3.3.3.cmml">T</mi></mrow></mrow><annotation-xml encoding="MathML-Content" id="S4.SS2.p1.3.m3.3b"><apply id="S4.SS2.p1.3.m3.3.4.cmml" xref="S4.SS2.p1.3.m3.3.4"><eq id="S4.SS2.p1.3.m3.3.4.1.cmml" xref="S4.SS2.p1.3.m3.3.4.1"></eq><ci id="S4.SS2.p1.3.m3.3.4.2.cmml" xref="S4.SS2.p1.3.m3.3.4.2">𝑡</ci><list id="S4.SS2.p1.3.m3.3.4.3.1.cmml" xref="S4.SS2.p1.3.m3.3.4.3.2"><cn type="integer" id="S4.SS2.p1.3.m3.1.1.cmml" xref="S4.SS2.p1.3.m3.1.1">1</cn><ci id="S4.SS2.p1.3.m3.2.2.cmml" xref="S4.SS2.p1.3.m3.2.2">…</ci><ci id="S4.SS2.p1.3.m3.3.3.cmml" xref="S4.SS2.p1.3.m3.3.3">𝑇</ci></list></apply></annotation-xml><annotation encoding="application/x-tex" id="S4.SS2.p1.3.m3.3c">t=1,\ldots,T</annotation></semantics></math>.</p>
</div>
<div id="S4.SS2.p2" class="ltx_para">
<p id="S4.SS2.p2.4" class="ltx_p">For a given prompt <math id="S4.SS2.p2.1.m1.1" class="ltx_Math" alttext="x" display="inline"><semantics id="S4.SS2.p2.1.m1.1a"><mi id="S4.SS2.p2.1.m1.1.1" xref="S4.SS2.p2.1.m1.1.1.cmml">x</mi><annotation-xml encoding="MathML-Content" id="S4.SS2.p2.1.m1.1b"><ci id="S4.SS2.p2.1.m1.1.1.cmml" xref="S4.SS2.p2.1.m1.1.1">𝑥</ci></annotation-xml><annotation encoding="application/x-tex" id="S4.SS2.p2.1.m1.1c">x</annotation></semantics></math>, ReMax generates an alternative response <math id="S4.SS2.p2.2.m2.1" class="ltx_Math" alttext="\macc@depth\char 1\relax\frozen@everymath{\macc@group}\macc@set@skewchar\macc@nested@a 111{a}_{1:T}" display="inline"><semantics id="S4.SS2.p2.2.m2.1a"><mrow id="S4.SS2.p2.2.m2.1.1" xref="S4.SS2.p2.2.m2.1.1.cmml"><merror class="ltx_ERROR undefined undefined" id="S4.SS2.p2.2.m2.1.1.2" xref="S4.SS2.p2.2.m2.1.1.2b.cmml"><mtext id="S4.SS2.p2.2.m2.1.1.2a" xref="S4.SS2.p2.2.m2.1.1.2b.cmml">\macc@depth</mtext></merror><mo lspace="0em" rspace="0em" id="S4.SS2.p2.2.m2.1.1.1" xref="S4.SS2.p2.2.m2.1.1.1.cmml">​</mo><mi mathvariant="normal" id="S4.SS2.p2.2.m2.1.1.3" xref="S4.SS2.p2.2.m2.1.1.3.cmml">Δ</mi><mo lspace="0em" rspace="0em" id="S4.SS2.p2.2.m2.1.1.1a" xref="S4.SS2.p2.2.m2.1.1.1.cmml">​</mo><merror class="ltx_ERROR undefined undefined" id="S4.SS2.p2.2.m2.1.1.4" xref="S4.SS2.p2.2.m2.1.1.4b.cmml"><mtext id="S4.SS2.p2.2.m2.1.1.4a" xref="S4.SS2.p2.2.m2.1.1.4b.cmml">\frozen@everymath</mtext></merror><mo lspace="0em" rspace="0em" id="S4.SS2.p2.2.m2.1.1.1b" xref="S4.SS2.p2.2.m2.1.1.1.cmml">​</mo><merror class="ltx_ERROR undefined undefined" id="S4.SS2.p2.2.m2.1.1.5" xref="S4.SS2.p2.2.m2.1.1.5b.cmml"><mtext id="S4.SS2.p2.2.m2.1.1.5a" xref="S4.SS2.p2.2.m2.1.1.5b.cmml">\macc@group</mtext></merror><mo lspace="0em" rspace="0em" id="S4.SS2.p2.2.m2.1.1.1c" xref="S4.SS2.p2.2.m2.1.1.1.cmml">​</mo><merror class="ltx_ERROR undefined undefined" id="S4.SS2.p2.2.m2.1.1.6" xref="S4.SS2.p2.2.m2.1.1.6b.cmml"><mtext id="S4.SS2.p2.2.m2.1.1.6a" xref="S4.SS2.p2.2.m2.1.1.6b.cmml">\macc@set@skewchar</mtext></merror><mo lspace="0em" rspace="0em" id="S4.SS2.p2.2.m2.1.1.1d" xref="S4.SS2.p2.2.m2.1.1.1.cmml">​</mo><merror class="ltx_ERROR undefined undefined" id="S4.SS2.p2.2.m2.1.1.7" xref="S4.SS2.p2.2.m2.1.1.7b.cmml"><mtext id="S4.SS2.p2.2.m2.1.1.7a" xref="S4.SS2.p2.2.m2.1.1.7b.cmml">\macc@nested@a</mtext></merror><mo lspace="0em" rspace="0em" id="S4.SS2.p2.2.m2.1.1.1e" xref="S4.SS2.p2.2.m2.1.1.1.cmml">​</mo><mn id="S4.SS2.p2.2.m2.1.1.8" xref="S4.SS2.p2.2.m2.1.1.8.cmml">111</mn><mo lspace="0em" rspace="0em" id="S4.SS2.p2.2.m2.1.1.1f" xref="S4.SS2.p2.2.m2.1.1.1.cmml">​</mo><msub id="S4.SS2.p2.2.m2.1.1.9" xref="S4.SS2.p2.2.m2.1.1.9.cmml"><mi id="S4.SS2.p2.2.m2.1.1.9.2" xref="S4.SS2.p2.2.m2.1.1.9.2.cmml">a</mi><mrow id="S4.SS2.p2.2.m2.1.1.9.3" xref="S4.SS2.p2.2.m2.1.1.9.3.cmml"><mn id="S4.SS2.p2.2.m2.1.1.9.3.2" xref="S4.SS2.p2.2.m2.1.1.9.3.2.cmml">1</mn><mo lspace="0.278em" rspace="0.278em" id="S4.SS2.p2.2.m2.1.1.9.3.1" xref="S4.SS2.p2.2.m2.1.1.9.3.1.cmml">:</mo><mi id="S4.SS2.p2.2.m2.1.1.9.3.3" xref="S4.SS2.p2.2.m2.1.1.9.3.3.cmml">T</mi></mrow></msub></mrow><annotation-xml encoding="MathML-Content" id="S4.SS2.p2.2.m2.1b"><apply id="S4.SS2.p2.2.m2.1.1.cmml" xref="S4.SS2.p2.2.m2.1.1"><times id="S4.SS2.p2.2.m2.1.1.1.cmml" xref="S4.SS2.p2.2.m2.1.1.1"></times><ci id="S4.SS2.p2.2.m2.1.1.2b.cmml" xref="S4.SS2.p2.2.m2.1.1.2"><merror class="ltx_ERROR undefined undefined" id="S4.SS2.p2.2.m2.1.1.2.cmml" xref="S4.SS2.p2.2.m2.1.1.2"><mtext id="S4.SS2.p2.2.m2.1.1.2a.cmml" xref="S4.SS2.p2.2.m2.1.1.2">\macc@depth</mtext></merror></ci><ci id="S4.SS2.p2.2.m2.1.1.3.cmml" xref="S4.SS2.p2.2.m2.1.1.3">Δ</ci><ci id="S4.SS2.p2.2.m2.1.1.4b.cmml" xref="S4.SS2.p2.2.m2.1.1.4"><merror class="ltx_ERROR undefined undefined" id="S4.SS2.p2.2.m2.1.1.4.cmml" xref="S4.SS2.p2.2.m2.1.1.4"><mtext id="S4.SS2.p2.2.m2.1.1.4a.cmml" xref="S4.SS2.p2.2.m2.1.1.4">\frozen@everymath</mtext></merror></ci><ci id="S4.SS2.p2.2.m2.1.1.5b.cmml" xref="S4.SS2.p2.2.m2.1.1.5"><merror class="ltx_ERROR undefined undefined" id="S4.SS2.p2.2.m2.1.1.5.cmml" xref="S4.SS2.p2.2.m2.1.1.5"><mtext id="S4.SS2.p2.2.m2.1.1.5a.cmml" xref="S4.SS2.p2.2.m2.1.1.5">\macc@group</mtext></merror></ci><ci id="S4.SS2.p2.2.m2.1.1.6b.cmml" xref="S4.SS2.p2.2.m2.1.1.6"><merror class="ltx_ERROR undefined undefined" id="S4.SS2.p2.2.m2.1.1.6.cmml" xref="S4.SS2.p2.2.m2.1.1.6"><mtext id="S4.SS2.p2.2.m2.1.1.6a.cmml" xref="S4.SS2.p2.2.m2.1.1.6">\macc@set@skewchar</mtext></merror></ci><ci id="S4.SS2.p2.2.m2.1.1.7b.cmml" xref="S4.SS2.p2.2.m2.1.1.7"><merror class="ltx_ERROR undefined undefined" id="S4.SS2.p2.2.m2.1.1.7.cmml" xref="S4.SS2.p2.2.m2.1.1.7"><mtext id="S4.SS2.p2.2.m2.1.1.7a.cmml" xref="S4.SS2.p2.2.m2.1.1.7">\macc@nested@a</mtext></merror></ci><cn type="integer" id="S4.SS2.p2.2.m2.1.1.8.cmml" xref="S4.SS2.p2.2.m2.1.1.8">111</cn><apply id="S4.SS2.p2.2.m2.1.1.9.cmml" xref="S4.SS2.p2.2.m2.1.1.9"><csymbol cd="ambiguous" id="S4.SS2.p2.2.m2.1.1.9.1.cmml" xref="S4.SS2.p2.2.m2.1.1.9">subscript</csymbol><ci id="S4.SS2.p2.2.m2.1.1.9.2.cmml" xref="S4.SS2.p2.2.m2.1.1.9.2">𝑎</ci><apply id="S4.SS2.p2.2.m2.1.1.9.3.cmml" xref="S4.SS2.p2.2.m2.1.1.9.3"><ci id="S4.SS2.p2.2.m2.1.1.9.3.1.cmml" xref="S4.SS2.p2.2.m2.1.1.9.3.1">:</ci><cn type="integer" id="S4.SS2.p2.2.m2.1.1.9.3.2.cmml" xref="S4.SS2.p2.2.m2.1.1.9.3.2">1</cn><ci id="S4.SS2.p2.2.m2.1.1.9.3.3.cmml" xref="S4.SS2.p2.2.m2.1.1.9.3.3">𝑇</ci></apply></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="S4.SS2.p2.2.m2.1c">\macc@depth\char 1\relax\frozen@everymath{\macc@group}\macc@set@skewchar\macc@nested@a 111{a}_{1:T}</annotation></semantics></math> using a greedy policy based on the current model <math id="S4.SS2.p2.3.m3.1" class="ltx_Math" alttext="\pi_{\theta}" display="inline"><semantics id="S4.SS2.p2.3.m3.1a"><msub id="S4.SS2.p2.3.m3.1.1" xref="S4.SS2.p2.3.m3.1.1.cmml"><mi id="S4.SS2.p2.3.m3.1.1.2" xref="S4.SS2.p2.3.m3.1.1.2.cmml">π</mi><mi id="S4.SS2.p2.3.m3.1.1.3" xref="S4.SS2.p2.3.m3.1.1.3.cmml">θ</mi></msub><annotation-xml encoding="MathML-Content" id="S4.SS2.p2.3.m3.1b"><apply id="S4.SS2.p2.3.m3.1.1.cmml" xref="S4.SS2.p2.3.m3.1.1"><csymbol cd="ambiguous" id="S4.SS2.p2.3.m3.1.1.1.cmml" xref="S4.SS2.p2.3.m3.1.1">subscript</csymbol><ci id="S4.SS2.p2.3.m3.1.1.2.cmml" xref="S4.SS2.p2.3.m3.1.1.2">𝜋</ci><ci id="S4.SS2.p2.3.m3.1.1.3.cmml" xref="S4.SS2.p2.3.m3.1.1.3">𝜃</ci></apply></annotation-xml><annotation encoding="application/x-tex" id="S4.SS2.p2.3.m3.1c">\pi_{\theta}</annotation></semantics></math>. To stabilize training, we modify the reward score by subtracting a baseline value <math id="S4.SS2.p2.4.m4.2" class="ltx_Math" alttext="r(x,\macc@depth\char 1\relax\frozen@everymath{\macc@group}\macc@set@skewchar\macc@nested@a 111{a}_{1:T})" display="inline"><semantics id="S4.SS2.p2.4.m4.2a"><mrow id="S4.SS2.p2.4.m4.2.2" xref="S4.SS2.p2.4.m4.2.2.cmml"><mi id="S4.SS2.p2.4.m4.2.2.3" xref="S4.SS2.p2.4.m4.2.2.3.cmml">r</mi><mo lspace="0em" rspace="0em" id="S4.SS2.p2.4.m4.2.2.2" xref="S4.SS2.p2.4.m4.2.2.2.cmml">​</mo><mrow id="S4.SS2.p2.4.m4.2.2.1.1" xref="S4.SS2.p2.4.m4.2.2.1.2.cmml"><mo stretchy="false" id="S4.SS2.p2.4.m4.2.2.1.1.2" xref="S4.SS2.p2.4.m4.2.2.1.2.cmml">(</mo><mi id="S4.SS2.p2.4.m4.1.1" xref="S4.SS2.p2.4.m4.1.1.cmml">x</mi><mo id="S4.SS2.p2.4.m4.2.2.1.1.3" xref="S4.SS2.p2.4.m4.2.2.1.2.cmml">,</mo><mrow id="S4.SS2.p2.4.m4.2.2.1.1.1" xref="S4.SS2.p2.4.m4.2.2.1.1.1.cmml"><merror class="ltx_ERROR undefined undefined" id="S4.SS2.p2.4.m4.2.2.1.1.1.2" xref="S4.SS2.p2.4.m4.2.2.1.1.1.2b.cmml"><mtext id="S4.SS2.p2.4.m4.2.2.1.1.1.2a" xref="S4.SS2.p2.4.m4.2.2.1.1.1.2b.cmml">\macc@depth</mtext></merror><mo lspace="0em" rspace="0em" id="S4.SS2.p2.4.m4.2.2.1.1.1.1" xref="S4.SS2.p2.4.m4.2.2.1.1.1.1.cmml">​</mo><mi mathvariant="normal" id="S4.SS2.p2.4.m4.2.2.1.1.1.3" xref="S4.SS2.p2.4.m4.2.2.1.1.1.3.cmml">Δ</mi><mo lspace="0em" rspace="0em" id="S4.SS2.p2.4.m4.2.2.1.1.1.1a" xref="S4.SS2.p2.4.m4.2.2.1.1.1.1.cmml">​</mo><merror class="ltx_ERROR undefined undefined" id="S4.SS2.p2.4.m4.2.2.1.1.1.4" xref="S4.SS2.p2.4.m4.2.2.1.1.1.4b.cmml"><mtext id="S4.SS2.p2.4.m4.2.2.1.1.1.4a" xref="S4.SS2.p2.4.m4.2.2.1.1.1.4b.cmml">\frozen@everymath</mtext></merror><mo lspace="0em" rspace="0em" id="S4.SS2.p2.4.m4.2.2.1.1.1.1b" xref="S4.SS2.p2.4.m4.2.2.1.1.1.1.cmml">​</mo><merror class="ltx_ERROR undefined undefined" id="S4.SS2.p2.4.m4.2.2.1.1.1.5" xref="S4.SS2.p2.4.m4.2.2.1.1.1.5b.cmml"><mtext id="S4.SS2.p2.4.m4.2.2.1.1.1.5a" xref="S4.SS2.p2.4.m4.2.2.1.1.1.5b.cmml">\macc@group</mtext></merror><mo lspace="0em" rspace="0em" id="S4.SS2.p2.4.m4.2.2.1.1.1.1c" xref="S4.SS2.p2.4.m4.2.2.1.1.1.1.cmml">​</mo><merror class="ltx_ERROR undefined undefined" id="S4.SS2.p2.4.m4.2.2.1.1.1.6" xref="S4.SS2.p2.4.m4.2.2.1.1.1.6b.cmml"><mtext id="S4.SS2.p2.4.m4.2.2.1.1.1.6a" xref="S4.SS2.p2.4.m4.2.2.1.1.1.6b.cmml">\macc@set@skewchar</mtext></merror><mo lspace="0em" rspace="0em" id="S4.SS2.p2.4.m4.2.2.1.1.1.1d" xref="S4.SS2.p2.4.m4.2.2.1.1.1.1.cmml">​</mo><merror class="ltx_ERROR undefined undefined" id="S4.SS2.p2.4.m4.2.2.1.1.1.7" xref="S4.SS2.p2.4.m4.2.2.1.1.1.7b.cmml"><mtext id="S4.SS2.p2.4.m4.2.2.1.1.1.7a" xref="S4.SS2.p2.4.m4.2.2.1.1.1.7b.cmml">\macc@nested@a</mtext></merror><mo lspace="0em" rspace="0em" id="S4.SS2.p2.4.m4.2.2.1.1.1.1e" xref="S4.SS2.p2.4.m4.2.2.1.1.1.1.cmml">​</mo><mn id="S4.SS2.p2.4.m4.2.2.1.1.1.8" xref="S4.SS2.p2.4.m4.2.2.1.1.1.8.cmml">111</mn><mo lspace="0em" rspace="0em" id="S4.SS2.p2.4.m4.2.2.1.1.1.1f" xref="S4.SS2.p2.4.m4.2.2.1.1.1.1.cmml">​</mo><msub id="S4.SS2.p2.4.m4.2.2.1.1.1.9" xref="S4.SS2.p2.4.m4.2.2.1.1.1.9.cmml"><mi id="S4.SS2.p2.4.m4.2.2.1.1.1.9.2" xref="S4.SS2.p2.4.m4.2.2.1.1.1.9.2.cmml">a</mi><mrow id="S4.SS2.p2.4.m4.2.2.1.1.1.9.3" xref="S4.SS2.p2.4.m4.2.2.1.1.1.9.3.cmml"><mn id="S4.SS2.p2.4.m4.2.2.1.1.1.9.3.2" xref="S4.SS2.p2.4.m4.2.2.1.1.1.9.3.2.cmml">1</mn><mo lspace="0.278em" rspace="0.278em" id="S4.SS2.p2.4.m4.2.2.1.1.1.9.3.1" xref="S4.SS2.p2.4.m4.2.2.1.1.1.9.3.1.cmml">:</mo><mi id="S4.SS2.p2.4.m4.2.2.1.1.1.9.3.3" xref="S4.SS2.p2.4.m4.2.2.1.1.1.9.3.3.cmml">T</mi></mrow></msub></mrow><mo stretchy="false" id="S4.SS2.p2.4.m4.2.2.1.1.4" xref="S4.SS2.p2.4.m4.2.2.1.2.cmml">)</mo></mrow></mrow><annotation-xml encoding="MathML-Content" id="S4.SS2.p2.4.m4.2b"><apply id="S4.SS2.p2.4.m4.2.2.cmml" xref="S4.SS2.p2.4.m4.2.2"><times id="S4.SS2.p2.4.m4.2.2.2.cmml" xref="S4.SS2.p2.4.m4.2.2.2"></times><ci id="S4.SS2.p2.4.m4.2.2.3.cmml" xref="S4.SS2.p2.4.m4.2.2.3">𝑟</ci><interval closure="open" id="S4.SS2.p2.4.m4.2.2.1.2.cmml" xref="S4.SS2.p2.4.m4.2.2.1.1"><ci id="S4.SS2.p2.4.m4.1.1.cmml" xref="S4.SS2.p2.4.m4.1.1">𝑥</ci><apply id="S4.SS2.p2.4.m4.2.2.1.1.1.cmml" xref="S4.SS2.p2.4.m4.2.2.1.1.1"><times id="S4.SS2.p2.4.m4.2.2.1.1.1.1.cmml" xref="S4.SS2.p2.4.m4.2.2.1.1.1.1"></times><ci id="S4.SS2.p2.4.m4.2.2.1.1.1.2b.cmml" xref="S4.SS2.p2.4.m4.2.2.1.1.1.2"><merror class="ltx_ERROR undefined undefined" id="S4.SS2.p2.4.m4.2.2.1.1.1.2.cmml" xref="S4.SS2.p2.4.m4.2.2.1.1.1.2"><mtext id="S4.SS2.p2.4.m4.2.2.1.1.1.2a.cmml" xref="S4.SS2.p2.4.m4.2.2.1.1.1.2">\macc@depth</mtext></merror></ci><ci id="S4.SS2.p2.4.m4.2.2.1.1.1.3.cmml" xref="S4.SS2.p2.4.m4.2.2.1.1.1.3">Δ</ci><ci id="S4.SS2.p2.4.m4.2.2.1.1.1.4b.cmml" xref="S4.SS2.p2.4.m4.2.2.1.1.1.4"><merror class="ltx_ERROR undefined undefined" id="S4.SS2.p2.4.m4.2.2.1.1.1.4.cmml" xref="S4.SS2.p2.4.m4.2.2.1.1.1.4"><mtext id="S4.SS2.p2.4.m4.2.2.1.1.1.4a.cmml" xref="S4.SS2.p2.4.m4.2.2.1.1.1.4">\frozen@everymath</mtext></merror></ci><ci id="S4.SS2.p2.4.m4.2.2.1.1.1.5b.cmml" xref="S4.SS2.p2.4.m4.2.2.1.1.1.5"><merror class="ltx_ERROR undefined undefined" id="S4.SS2.p2.4.m4.2.2.1.1.1.5.cmml" xref="S4.SS2.p2.4.m4.2.2.1.1.1.5"><mtext id="S4.SS2.p2.4.m4.2.2.1.1.1.5a.cmml" xref="S4.SS2.p2.4.m4.2.2.1.1.1.5">\macc@group</mtext></merror></ci><ci id="S4.SS2.p2.4.m4.2.2.1.1.1.6b.cmml" xref="S4.SS2.p2.4.m4.2.2.1.1.1.6"><merror class="ltx_ERROR undefined undefined" id="S4.SS2.p2.4.m4.2.2.1.1.1.6.cmml" xref="S4.SS2.p2.4.m4.2.2.1.1.1.6"><mtext id="S4.SS2.p2.4.m4.2.2.1.1.1.6a.cmml" xref="S4.SS2.p2.4.m4.2.2.1.1.1.6">\macc@set@skewchar</mtext></merror></ci><ci id="S4.SS2.p2.4.m4.2.2.1.1.1.7b.cmml" xref="S4.SS2.p2.4.m4.2.2.1.1.1.7"><merror class="ltx_ERROR undefined undefined" id="S4.SS2.p2.4.m4.2.2.1.1.1.7.cmml" xref="S4.SS2.p2.4.m4.2.2.1.1.1.7"><mtext id="S4.SS2.p2.4.m4.2.2.1.1.1.7a.cmml" xref="S4.SS2.p2.4.m4.2.2.1.1.1.7">\macc@nested@a</mtext></merror></ci><cn type="integer" id="S4.SS2.p2.4.m4.2.2.1.1.1.8.cmml" xref="S4.SS2.p2.4.m4.2.2.1.1.1.8">111</cn><apply id="S4.SS2.p2.4.m4.2.2.1.1.1.9.cmml" xref="S4.SS2.p2.4.m4.2.2.1.1.1.9"><csymbol cd="ambiguous" id="S4.SS2.p2.4.m4.2.2.1.1.1.9.1.cmml" xref="S4.SS2.p2.4.m4.2.2.1.1.1.9">subscript</csymbol><ci id="S4.SS2.p2.4.m4.2.2.1.1.1.9.2.cmml" xref="S4.SS2.p2.4.m4.2.2.1.1.1.9.2">𝑎</ci><apply id="S4.SS2.p2.4.m4.2.2.1.1.1.9.3.cmml" xref="S4.SS2.p2.4.m4.2.2.1.1.1.9.3"><ci id="S4.SS2.p2.4.m4.2.2.1.1.1.9.3.1.cmml" xref="S4.SS2.p2.4.m4.2.2.1.1.1.9.3.1">:</ci><cn type="integer" id="S4.SS2.p2.4.m4.2.2.1.1.1.9.3.2.cmml" xref="S4.SS2.p2.4.m4.2.2.1.1.1.9.3.2">1</cn><ci id="S4.SS2.p2.4.m4.2.2.1.1.1.9.3.3.cmml" xref="S4.SS2.p2.4.m4.2.2.1.1.1.9.3.3">𝑇</ci></apply></apply></apply></interval></apply></annotation-xml><annotation encoding="application/x-tex" id="S4.SS2.p2.4.m4.2c">r(x,\macc@depth\char 1\relax\frozen@everymath{\macc@group}\macc@set@skewchar\macc@nested@a 111{a}_{1:T})</annotation></semantics></math>. The algorithm’s procedure is described in <a href="#alg1" title="In 1.1 Our Contribution ‣ 1 Introduction ‣ ReMax: A Simple, Effective, and Efficient Reinforcement Learning Method for Aligning Large Language Models" class="ltx_ref"><span class="ltx_text ltx_ref_tag">Algorithm</span> <span class="ltx_text ltx_ref_tag">1</span></a>, using a PyTorch code style. To justify the algorithm design, we provide theoretical evidence to confirm that the proposed gradient estimator remains unbiased.</p>
</div>
<div id="Thmprop1" class="ltx_theorem ltx_theorem_prop">
<h6 class="ltx_title ltx_runin ltx_title_theorem">
<span class="ltx_tag ltx_tag_theorem"><span id="Thmprop1.1.1.1" class="ltx_text ltx_font_bold">Proposition 1</span></span><span id="Thmprop1.2.2" class="ltx_text ltx_font_bold">.</span>
</h6>
<div id="Thmprop1.p1" class="ltx_para">
<p id="Thmprop1.p1.1" class="ltx_p"><span id="Thmprop1.p1.1.1" class="ltx_text ltx_font_italic">The gradient estimator in <a href="#A5.EGx9" title="4.2 From REINFORCE to ReMax ‣ 4 Proposed Method ‣ ReMax: A Simple, Effective, and Efficient Reinforcement Learning Method for Aligning Large Language Models" class="ltx_ref"><span class="ltx_text ltx_ref_tag">Section</span> <span class="ltx_text ltx_ref_tag">4.2</span></a> is unbiased for the objective function in (<a href="#S3.E1" title="Equation 1 ‣ 3 Problem Formulation ‣ ReMax: A Simple, Effective, and Efficient Reinforcement Learning Method for Aligning Large Language Models" class="ltx_ref"><span class="ltx_text ltx_ref_tag">1</span></a>),
i.e., <math id="Thmprop1.p1.1.1.m1.4" class="ltx_Math" alttext="\mathbb{E}[\widetilde{g}(\theta)]=\nabla_{\theta}\mathbb{E}_{x\sim\rho}\mathbb{E}_{a_{1:T}\sim\pi_{\theta}}[r(x,a_{1:T})]" display="inline"><semantics id="Thmprop1.p1.1.1.m1.4a"><mrow id="Thmprop1.p1.1.1.m1.4.4" xref="Thmprop1.p1.1.1.m1.4.4.cmml"><mrow id="Thmprop1.p1.1.1.m1.3.3.1" xref="Thmprop1.p1.1.1.m1.3.3.1.cmml"><mi id="Thmprop1.p1.1.1.m1.3.3.1.3" xref="Thmprop1.p1.1.1.m1.3.3.1.3.cmml">𝔼</mi><mo lspace="0em" rspace="0em" id="Thmprop1.p1.1.1.m1.3.3.1.2" xref="Thmprop1.p1.1.1.m1.3.3.1.2.cmml">​</mo><mrow id="Thmprop1.p1.1.1.m1.3.3.1.1.1" xref="Thmprop1.p1.1.1.m1.3.3.1.1.2.cmml"><mo stretchy="false" id="Thmprop1.p1.1.1.m1.3.3.1.1.1.2" xref="Thmprop1.p1.1.1.m1.3.3.1.1.2.1.cmml">[</mo><mrow id="Thmprop1.p1.1.1.m1.3.3.1.1.1.1" xref="Thmprop1.p1.1.1.m1.3.3.1.1.1.1.cmml"><mover accent="true" id="Thmprop1.p1.1.1.m1.3.3.1.1.1.1.2" xref="Thmprop1.p1.1.1.m1.3.3.1.1.1.1.2.cmml"><mi id="Thmprop1.p1.1.1.m1.3.3.1.1.1.1.2.2" xref="Thmprop1.p1.1.1.m1.3.3.1.1.1.1.2.2.cmml">g</mi><mo id="Thmprop1.p1.1.1.m1.3.3.1.1.1.1.2.1" xref="Thmprop1.p1.1.1.m1.3.3.1.1.1.1.2.1.cmml">~</mo></mover><mo lspace="0em" rspace="0em" id="Thmprop1.p1.1.1.m1.3.3.1.1.1.1.1" xref="Thmprop1.p1.1.1.m1.3.3.1.1.1.1.1.cmml">​</mo><mrow id="Thmprop1.p1.1.1.m1.3.3.1.1.1.1.3.2" xref="Thmprop1.p1.1.1.m1.3.3.1.1.1.1.cmml"><mo stretchy="false" id="Thmprop1.p1.1.1.m1.3.3.1.1.1.1.3.2.1" xref="Thmprop1.p1.1.1.m1.3.3.1.1.1.1.cmml">(</mo><mi id="Thmprop1.p1.1.1.m1.1.1" xref="Thmprop1.p1.1.1.m1.1.1.cmml">θ</mi><mo stretchy="false" id="Thmprop1.p1.1.1.m1.3.3.1.1.1.1.3.2.2" xref="Thmprop1.p1.1.1.m1.3.3.1.1.1.1.cmml">)</mo></mrow></mrow><mo stretchy="false" id="Thmprop1.p1.1.1.m1.3.3.1.1.1.3" xref="Thmprop1.p1.1.1.m1.3.3.1.1.2.1.cmml">]</mo></mrow></mrow><mo id="Thmprop1.p1.1.1.m1.4.4.3" xref="Thmprop1.p1.1.1.m1.4.4.3.cmml">=</mo><mrow id="Thmprop1.p1.1.1.m1.4.4.2" xref="Thmprop1.p1.1.1.m1.4.4.2.cmml"><mrow id="Thmprop1.p1.1.1.m1.4.4.2.3" xref="Thmprop1.p1.1.1.m1.4.4.2.3.cmml"><msub id="Thmprop1.p1.1.1.m1.4.4.2.3.1" xref="Thmprop1.p1.1.1.m1.4.4.2.3.1.cmml"><mo rspace="0.167em" id="Thmprop1.p1.1.1.m1.4.4.2.3.1.2" xref="Thmprop1.p1.1.1.m1.4.4.2.3.1.2.cmml">∇</mo><mi id="Thmprop1.p1.1.1.m1.4.4.2.3.1.3" xref="Thmprop1.p1.1.1.m1.4.4.2.3.1.3.cmml">θ</mi></msub><mrow id="Thmprop1.p1.1.1.m1.4.4.2.3.2" xref="Thmprop1.p1.1.1.m1.4.4.2.3.2.cmml"><msub id="Thmprop1.p1.1.1.m1.4.4.2.3.2.2" xref="Thmprop1.p1.1.1.m1.4.4.2.3.2.2.cmml"><mi id="Thmprop1.p1.1.1.m1.4.4.2.3.2.2.2" xref="Thmprop1.p1.1.1.m1.4.4.2.3.2.2.2.cmml">𝔼</mi><mrow id="Thmprop1.p1.1.1.m1.4.4.2.3.2.2.3" xref="Thmprop1.p1.1.1.m1.4.4.2.3.2.2.3.cmml"><mi id="Thmprop1.p1.1.1.m1.4.4.2.3.2.2.3.2" xref="Thmprop1.p1.1.1.m1.4.4.2.3.2.2.3.2.cmml">x</mi><mo id="Thmprop1.p1.1.1.m1.4.4.2.3.2.2.3.1" xref="Thmprop1.p1.1.1.m1.4.4.2.3.2.2.3.1.cmml">∼</mo><mi id="Thmprop1.p1.1.1.m1.4.4.2.3.2.2.3.3" xref="Thmprop1.p1.1.1.m1.4.4.2.3.2.2.3.3.cmml">ρ</mi></mrow></msub><mo lspace="0em" rspace="0em" id="Thmprop1.p1.1.1.m1.4.4.2.3.2.1" xref="Thmprop1.p1.1.1.m1.4.4.2.3.2.1.cmml">​</mo><msub id="Thmprop1.p1.1.1.m1.4.4.2.3.2.3" xref="Thmprop1.p1.1.1.m1.4.4.2.3.2.3.cmml"><mi id="Thmprop1.p1.1.1.m1.4.4.2.3.2.3.2" xref="Thmprop1.p1.1.1.m1.4.4.2.3.2.3.2.cmml">𝔼</mi><mrow id="Thmprop1.p1.1.1.m1.4.4.2.3.2.3.3" xref="Thmprop1.p1.1.1.m1.4.4.2.3.2.3.3.cmml"><msub id="Thmprop1.p1.1.1.m1.4.4.2.3.2.3.3.2" xref="Thmprop1.p1.1.1.m1.4.4.2.3.2.3.3.2.cmml"><mi id="Thmprop1.p1.1.1.m1.4.4.2.3.2.3.3.2.2" xref="Thmprop1.p1.1.1.m1.4.4.2.3.2.3.3.2.2.cmml">a</mi><mrow id="Thmprop1.p1.1.1.m1.4.4.2.3.2.3.3.2.3" xref="Thmprop1.p1.1.1.m1.4.4.2.3.2.3.3.2.3.cmml"><mn id="Thmprop1.p1.1.1.m1.4.4.2.3.2.3.3.2.3.2" xref="Thmprop1.p1.1.1.m1.4.4.2.3.2.3.3.2.3.2.cmml">1</mn><mo lspace="0.278em" rspace="0.278em" id="Thmprop1.p1.1.1.m1.4.4.2.3.2.3.3.2.3.1" xref="Thmprop1.p1.1.1.m1.4.4.2.3.2.3.3.2.3.1.cmml">:</mo><mi id="Thmprop1.p1.1.1.m1.4.4.2.3.2.3.3.2.3.3" xref="Thmprop1.p1.1.1.m1.4.4.2.3.2.3.3.2.3.3.cmml">T</mi></mrow></msub><mo id="Thmprop1.p1.1.1.m1.4.4.2.3.2.3.3.1" xref="Thmprop1.p1.1.1.m1.4.4.2.3.2.3.3.1.cmml">∼</mo><msub id="Thmprop1.p1.1.1.m1.4.4.2.3.2.3.3.3" xref="Thmprop1.p1.1.1.m1.4.4.2.3.2.3.3.3.cmml"><mi id="Thmprop1.p1.1.1.m1.4.4.2.3.2.3.3.3.2" xref="Thmprop1.p1.1.1.m1.4.4.2.3.2.3.3.3.2.cmml">π</mi><mi id="Thmprop1.p1.1.1.m1.4.4.2.3.2.3.3.3.3" xref="Thmprop1.p1.1.1.m1.4.4.2.3.2.3.3.3.3.cmml">θ</mi></msub></mrow></msub></mrow></mrow><mo lspace="0em" rspace="0em" id="Thmprop1.p1.1.1.m1.4.4.2.2" xref="Thmprop1.p1.1.1.m1.4.4.2.2.cmml">​</mo><mrow id="Thmprop1.p1.1.1.m1.4.4.2.1.1" xref="Thmprop1.p1.1.1.m1.4.4.2.1.2.cmml"><mo stretchy="false" id="Thmprop1.p1.1.1.m1.4.4.2.1.1.2" xref="Thmprop1.p1.1.1.m1.4.4.2.1.2.1.cmml">[</mo><mrow id="Thmprop1.p1.1.1.m1.4.4.2.1.1.1" xref="Thmprop1.p1.1.1.m1.4.4.2.1.1.1.cmml"><mi id="Thmprop1.p1.1.1.m1.4.4.2.1.1.1.3" xref="Thmprop1.p1.1.1.m1.4.4.2.1.1.1.3.cmml">r</mi><mo lspace="0em" rspace="0em" id="Thmprop1.p1.1.1.m1.4.4.2.1.1.1.2" xref="Thmprop1.p1.1.1.m1.4.4.2.1.1.1.2.cmml">​</mo><mrow id="Thmprop1.p1.1.1.m1.4.4.2.1.1.1.1.1" xref="Thmprop1.p1.1.1.m1.4.4.2.1.1.1.1.2.cmml"><mo stretchy="false" id="Thmprop1.p1.1.1.m1.4.4.2.1.1.1.1.1.2" xref="Thmprop1.p1.1.1.m1.4.4.2.1.1.1.1.2.cmml">(</mo><mi id="Thmprop1.p1.1.1.m1.2.2" xref="Thmprop1.p1.1.1.m1.2.2.cmml">x</mi><mo id="Thmprop1.p1.1.1.m1.4.4.2.1.1.1.1.1.3" xref="Thmprop1.p1.1.1.m1.4.4.2.1.1.1.1.2.cmml">,</mo><msub id="Thmprop1.p1.1.1.m1.4.4.2.1.1.1.1.1.1" xref="Thmprop1.p1.1.1.m1.4.4.2.1.1.1.1.1.1.cmml"><mi id="Thmprop1.p1.1.1.m1.4.4.2.1.1.1.1.1.1.2" xref="Thmprop1.p1.1.1.m1.4.4.2.1.1.1.1.1.1.2.cmml">a</mi><mrow id="Thmprop1.p1.1.1.m1.4.4.2.1.1.1.1.1.1.3" xref="Thmprop1.p1.1.1.m1.4.4.2.1.1.1.1.1.1.3.cmml"><mn id="Thmprop1.p1.1.1.m1.4.4.2.1.1.1.1.1.1.3.2" xref="Thmprop1.p1.1.1.m1.4.4.2.1.1.1.1.1.1.3.2.cmml">1</mn><mo lspace="0.278em" rspace="0.278em" id="Thmprop1.p1.1.1.m1.4.4.2.1.1.1.1.1.1.3.1" xref="Thmprop1.p1.1.1.m1.4.4.2.1.1.1.1.1.1.3.1.cmml">:</mo><mi id="Thmprop1.p1.1.1.m1.4.4.2.1.1.1.1.1.1.3.3" xref="Thmprop1.p1.1.1.m1.4.4.2.1.1.1.1.1.1.3.3.cmml">T</mi></mrow></msub><mo stretchy="false" id="Thmprop1.p1.1.1.m1.4.4.2.1.1.1.1.1.4" xref="Thmprop1.p1.1.1.m1.4.4.2.1.1.1.1.2.cmml">)</mo></mrow></mrow><mo stretchy="false" id="Thmprop1.p1.1.1.m1.4.4.2.1.1.3" xref="Thmprop1.p1.1.1.m1.4.4.2.1.2.1.cmml">]</mo></mrow></mrow></mrow><annotation-xml encoding="MathML-Content" id="Thmprop1.p1.1.1.m1.4b"><apply id="Thmprop1.p1.1.1.m1.4.4.cmml" xref="Thmprop1.p1.1.1.m1.4.4"><eq id="Thmprop1.p1.1.1.m1.4.4.3.cmml" xref="Thmprop1.p1.1.1.m1.4.4.3"></eq><apply id="Thmprop1.p1.1.1.m1.3.3.1.cmml" xref="Thmprop1.p1.1.1.m1.3.3.1"><times id="Thmprop1.p1.1.1.m1.3.3.1.2.cmml" xref="Thmprop1.p1.1.1.m1.3.3.1.2"></times><ci id="Thmprop1.p1.1.1.m1.3.3.1.3.cmml" xref="Thmprop1.p1.1.1.m1.3.3.1.3">𝔼</ci><apply id="Thmprop1.p1.1.1.m1.3.3.1.1.2.cmml" xref="Thmprop1.p1.1.1.m1.3.3.1.1.1"><csymbol cd="latexml" id="Thmprop1.p1.1.1.m1.3.3.1.1.2.1.cmml" xref="Thmprop1.p1.1.1.m1.3.3.1.1.1.2">delimited-[]</csymbol><apply id="Thmprop1.p1.1.1.m1.3.3.1.1.1.1.cmml" xref="Thmprop1.p1.1.1.m1.3.3.1.1.1.1"><times id="Thmprop1.p1.1.1.m1.3.3.1.1.1.1.1.cmml" xref="Thmprop1.p1.1.1.m1.3.3.1.1.1.1.1"></times><apply id="Thmprop1.p1.1.1.m1.3.3.1.1.1.1.2.cmml" xref="Thmprop1.p1.1.1.m1.3.3.1.1.1.1.2"><ci id="Thmprop1.p1.1.1.m1.3.3.1.1.1.1.2.1.cmml" xref="Thmprop1.p1.1.1.m1.3.3.1.1.1.1.2.1">~</ci><ci id="Thmprop1.p1.1.1.m1.3.3.1.1.1.1.2.2.cmml" xref="Thmprop1.p1.1.1.m1.3.3.1.1.1.1.2.2">𝑔</ci></apply><ci id="Thmprop1.p1.1.1.m1.1.1.cmml" xref="Thmprop1.p1.1.1.m1.1.1">𝜃</ci></apply></apply></apply><apply id="Thmprop1.p1.1.1.m1.4.4.2.cmml" xref="Thmprop1.p1.1.1.m1.4.4.2"><times id="Thmprop1.p1.1.1.m1.4.4.2.2.cmml" xref="Thmprop1.p1.1.1.m1.4.4.2.2"></times><apply id="Thmprop1.p1.1.1.m1.4.4.2.3.cmml" xref="Thmprop1.p1.1.1.m1.4.4.2.3"><apply id="Thmprop1.p1.1.1.m1.4.4.2.3.1.cmml" xref="Thmprop1.p1.1.1.m1.4.4.2.3.1"><csymbol cd="ambiguous" id="Thmprop1.p1.1.1.m1.4.4.2.3.1.1.cmml" xref="Thmprop1.p1.1.1.m1.4.4.2.3.1">subscript</csymbol><ci id="Thmprop1.p1.1.1.m1.4.4.2.3.1.2.cmml" xref="Thmprop1.p1.1.1.m1.4.4.2.3.1.2">∇</ci><ci id="Thmprop1.p1.1.1.m1.4.4.2.3.1.3.cmml" xref="Thmprop1.p1.1.1.m1.4.4.2.3.1.3">𝜃</ci></apply><apply id="Thmprop1.p1.1.1.m1.4.4.2.3.2.cmml" xref="Thmprop1.p1.1.1.m1.4.4.2.3.2"><times id="Thmprop1.p1.1.1.m1.4.4.2.3.2.1.cmml" xref="Thmprop1.p1.1.1.m1.4.4.2.3.2.1"></times><apply id="Thmprop1.p1.1.1.m1.4.4.2.3.2.2.cmml" xref="Thmprop1.p1.1.1.m1.4.4.2.3.2.2"><csymbol cd="ambiguous" id="Thmprop1.p1.1.1.m1.4.4.2.3.2.2.1.cmml" xref="Thmprop1.p1.1.1.m1.4.4.2.3.2.2">subscript</csymbol><ci id="Thmprop1.p1.1.1.m1.4.4.2.3.2.2.2.cmml" xref="Thmprop1.p1.1.1.m1.4.4.2.3.2.2.2">𝔼</ci><apply id="Thmprop1.p1.1.1.m1.4.4.2.3.2.2.3.cmml" xref="Thmprop1.p1.1.1.m1.4.4.2.3.2.2.3"><csymbol cd="latexml" id="Thmprop1.p1.1.1.m1.4.4.2.3.2.2.3.1.cmml" xref="Thmprop1.p1.1.1.m1.4.4.2.3.2.2.3.1">similar-to</csymbol><ci id="Thmprop1.p1.1.1.m1.4.4.2.3.2.2.3.2.cmml" xref="Thmprop1.p1.1.1.m1.4.4.2.3.2.2.3.2">𝑥</ci><ci id="Thmprop1.p1.1.1.m1.4.4.2.3.2.2.3.3.cmml" xref="Thmprop1.p1.1.1.m1.4.4.2.3.2.2.3.3">𝜌</ci></apply></apply><apply id="Thmprop1.p1.1.1.m1.4.4.2.3.2.3.cmml" xref="Thmprop1.p1.1.1.m1.4.4.2.3.2.3"><csymbol cd="ambiguous" id="Thmprop1.p1.1.1.m1.4.4.2.3.2.3.1.cmml" xref="Thmprop1.p1.1.1.m1.4.4.2.3.2.3">subscript</csymbol><ci id="Thmprop1.p1.1.1.m1.4.4.2.3.2.3.2.cmml" xref="Thmprop1.p1.1.1.m1.4.4.2.3.2.3.2">𝔼</ci><apply id="Thmprop1.p1.1.1.m1.4.4.2.3.2.3.3.cmml" xref="Thmprop1.p1.1.1.m1.4.4.2.3.2.3.3"><csymbol cd="latexml" id="Thmprop1.p1.1.1.m1.4.4.2.3.2.3.3.1.cmml" xref="Thmprop1.p1.1.1.m1.4.4.2.3.2.3.3.1">similar-to</csymbol><apply id="Thmprop1.p1.1.1.m1.4.4.2.3.2.3.3.2.cmml" xref="Thmprop1.p1.1.1.m1.4.4.2.3.2.3.3.2"><csymbol cd="ambiguous" id="Thmprop1.p1.1.1.m1.4.4.2.3.2.3.3.2.1.cmml" xref="Thmprop1.p1.1.1.m1.4.4.2.3.2.3.3.2">subscript</csymbol><ci id="Thmprop1.p1.1.1.m1.4.4.2.3.2.3.3.2.2.cmml" xref="Thmprop1.p1.1.1.m1.4.4.2.3.2.3.3.2.2">𝑎</ci><apply id="Thmprop1.p1.1.1.m1.4.4.2.3.2.3.3.2.3.cmml" xref="Thmprop1.p1.1.1.m1.4.4.2.3.2.3.3.2.3"><ci id="Thmprop1.p1.1.1.m1.4.4.2.3.2.3.3.2.3.1.cmml" xref="Thmprop1.p1.1.1.m1.4.4.2.3.2.3.3.2.3.1">:</ci><cn type="integer" id="Thmprop1.p1.1.1.m1.4.4.2.3.2.3.3.2.3.2.cmml" xref="Thmprop1.p1.1.1.m1.4.4.2.3.2.3.3.2.3.2">1</cn><ci id="Thmprop1.p1.1.1.m1.4.4.2.3.2.3.3.2.3.3.cmml" xref="Thmprop1.p1.1.1.m1.4.4.2.3.2.3.3.2.3.3">𝑇</ci></apply></apply><apply id="Thmprop1.p1.1.1.m1.4.4.2.3.2.3.3.3.cmml" xref="Thmprop1.p1.1.1.m1.4.4.2.3.2.3.3.3"><csymbol cd="ambiguous" id="Thmprop1.p1.1.1.m1.4.4.2.3.2.3.3.3.1.cmml" xref="Thmprop1.p1.1.1.m1.4.4.2.3.2.3.3.3">subscript</csymbol><ci id="Thmprop1.p1.1.1.m1.4.4.2.3.2.3.3.3.2.cmml" xref="Thmprop1.p1.1.1.m1.4.4.2.3.2.3.3.3.2">𝜋</ci><ci id="Thmprop1.p1.1.1.m1.4.4.2.3.2.3.3.3.3.cmml" xref="Thmprop1.p1.1.1.m1.4.4.2.3.2.3.3.3.3">𝜃</ci></apply></apply></apply></apply></apply><apply id="Thmprop1.p1.1.1.m1.4.4.2.1.2.cmml" xref="Thmprop1.p1.1.1.m1.4.4.2.1.1"><csymbol cd="latexml" id="Thmprop1.p1.1.1.m1.4.4.2.1.2.1.cmml" xref="Thmprop1.p1.1.1.m1.4.4.2.1.1.2">delimited-[]</csymbol><apply id="Thmprop1.p1.1.1.m1.4.4.2.1.1.1.cmml" xref="Thmprop1.p1.1.1.m1.4.4.2.1.1.1"><times id="Thmprop1.p1.1.1.m1.4.4.2.1.1.1.2.cmml" xref="Thmprop1.p1.1.1.m1.4.4.2.1.1.1.2"></times><ci id="Thmprop1.p1.1.1.m1.4.4.2.1.1.1.3.cmml" xref="Thmprop1.p1.1.1.m1.4.4.2.1.1.1.3">𝑟</ci><interval closure="open" id="Thmprop1.p1.1.1.m1.4.4.2.1.1.1.1.2.cmml" xref="Thmprop1.p1.1.1.m1.4.4.2.1.1.1.1.1"><ci id="Thmprop1.p1.1.1.m1.2.2.cmml" xref="Thmprop1.p1.1.1.m1.2.2">𝑥</ci><apply id="Thmprop1.p1.1.1.m1.4.4.2.1.1.1.1.1.1.cmml" xref="Thmprop1.p1.1.1.m1.4.4.2.1.1.1.1.1.1"><csymbol cd="ambiguous" id="Thmprop1.p1.1.1.m1.4.4.2.1.1.1.1.1.1.1.cmml" xref="Thmprop1.p1.1.1.m1.4.4.2.1.1.1.1.1.1">subscript</csymbol><ci id="Thmprop1.p1.1.1.m1.4.4.2.1.1.1.1.1.1.2.cmml" xref="Thmprop1.p1.1.1.m1.4.4.2.1.1.1.1.1.1.2">𝑎</ci><apply id="Thmprop1.p1.1.1.m1.4.4.2.1.1.1.1.1.1.3.cmml" xref="Thmprop1.p1.1.1.m1.4.4.2.1.1.1.1.1.1.3"><ci id="Thmprop1.p1.1.1.m1.4.4.2.1.1.1.1.1.1.3.1.cmml" xref="Thmprop1.p1.1.1.m1.4.4.2.1.1.1.1.1.1.3.1">:</ci><cn type="integer" id="Thmprop1.p1.1.1.m1.4.4.2.1.1.1.1.1.1.3.2.cmml" xref="Thmprop1.p1.1.1.m1.4.4.2.1.1.1.1.1.1.3.2">1</cn><ci id="Thmprop1.p1.1.1.m1.4.4.2.1.1.1.1.1.1.3.3.cmml" xref="Thmprop1.p1.1.1.m1.4.4.2.1.1.1.1.1.1.3.3">𝑇</ci></apply></apply></interval></apply></apply></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="Thmprop1.p1.1.1.m1.4c">\mathbb{E}[\widetilde{g}(\theta)]=\nabla_{\theta}\mathbb{E}_{x\sim\rho}\mathbb{E}_{a_{1:T}\sim\pi_{\theta}}[r(x,a_{1:T})]</annotation></semantics></math>.</span></p>
</div>
</div>
<div id="S4.SS2.p3" class="ltx_para">
<p id="S4.SS2.p3.2" class="ltx_p">Proof of <a href="#Thmprop1" title="Proposition 1. ‣ 4.2 From REINFORCE to ReMax ‣ 4 Proposed Method ‣ ReMax: A Simple, Effective, and Efficient Reinforcement Learning Method for Aligning Large Language Models" class="ltx_ref"><span class="ltx_text ltx_ref_tag">Proposition</span> <span class="ltx_text ltx_ref_tag">1</span></a> is deferred to <a href="#A2.SS1" title="B.1 Proof of Proposition 1 ‣ Appendix B Proofs ‣ ReMax: A Simple, Effective, and Efficient Reinforcement Learning Method for Aligning Large Language Models" class="ltx_ref"><span class="ltx_text ltx_ref_tag">Section</span> <span class="ltx_text ltx_ref_tag">B.1</span></a>. From the proof, readers may notice that not only the proposed baseline value, but any constant baseline value can yield an unbiased gradient estimator. In fact, the vanilla approach corresponds to the scenario where the baseline value is set to 0. So, what makes the proposed method potentially outperform the vanilla one? The key difference lies in the fact that our proposed baseline value is <em id="S4.SS2.p3.2.1" class="ltx_emph ltx_font_italic">adaptive</em> to the specific prompt <math id="S4.SS2.p3.1.m1.1" class="ltx_Math" alttext="x" display="inline"><semantics id="S4.SS2.p3.1.m1.1a"><mi id="S4.SS2.p3.1.m1.1.1" xref="S4.SS2.p3.1.m1.1.1.cmml">x</mi><annotation-xml encoding="MathML-Content" id="S4.SS2.p3.1.m1.1b"><ci id="S4.SS2.p3.1.m1.1.1.cmml" xref="S4.SS2.p3.1.m1.1.1">𝑥</ci></annotation-xml><annotation encoding="application/x-tex" id="S4.SS2.p3.1.m1.1c">x</annotation></semantics></math> and the current status of the language model <math id="S4.SS2.p3.2.m2.1" class="ltx_Math" alttext="\pi_{\theta}" display="inline"><semantics id="S4.SS2.p3.2.m2.1a"><msub id="S4.SS2.p3.2.m2.1.1" xref="S4.SS2.p3.2.m2.1.1.cmml"><mi id="S4.SS2.p3.2.m2.1.1.2" xref="S4.SS2.p3.2.m2.1.1.2.cmml">π</mi><mi id="S4.SS2.p3.2.m2.1.1.3" xref="S4.SS2.p3.2.m2.1.1.3.cmml">θ</mi></msub><annotation-xml encoding="MathML-Content" id="S4.SS2.p3.2.m2.1b"><apply id="S4.SS2.p3.2.m2.1.1.cmml" xref="S4.SS2.p3.2.m2.1.1"><csymbol cd="ambiguous" id="S4.SS2.p3.2.m2.1.1.1.cmml" xref="S4.SS2.p3.2.m2.1.1">subscript</csymbol><ci id="S4.SS2.p3.2.m2.1.1.2.cmml" xref="S4.SS2.p3.2.m2.1.1.2">𝜋</ci><ci id="S4.SS2.p3.2.m2.1.1.3.cmml" xref="S4.SS2.p3.2.m2.1.1.3">𝜃</ci></apply></annotation-xml><annotation encoding="application/x-tex" id="S4.SS2.p3.2.m2.1c">\pi_{\theta}</annotation></semantics></math>. Following the same assumption in <cite class="ltx_cite ltx_citemacro_citep">(Dayan, <a href="#bib.bib8" title="" class="ltx_ref">1991</a>)</cite>, we explore the theoretical foundation of ReMax below.</p>
</div>
<div id="Thmprop2" class="ltx_theorem ltx_theorem_prop">
<h6 class="ltx_title ltx_runin ltx_title_theorem">
<span class="ltx_tag ltx_tag_theorem"><span id="Thmprop2.1.1.1" class="ltx_text ltx_font_bold">Proposition 2</span></span><span id="Thmprop2.2.2" class="ltx_text ltx_font_bold">.</span>
</h6>
<div id="Thmprop2.p1" class="ltx_para">
<p id="Thmprop2.p1.3" class="ltx_p"><span id="Thmprop2.p1.3.3" class="ltx_text ltx_font_italic">For tasks with length <math id="Thmprop2.p1.1.1.m1.1" class="ltx_Math" alttext="T=1" display="inline"><semantics id="Thmprop2.p1.1.1.m1.1a"><mrow id="Thmprop2.p1.1.1.m1.1.1" xref="Thmprop2.p1.1.1.m1.1.1.cmml"><mi id="Thmprop2.p1.1.1.m1.1.1.2" xref="Thmprop2.p1.1.1.m1.1.1.2.cmml">T</mi><mo id="Thmprop2.p1.1.1.m1.1.1.1" xref="Thmprop2.p1.1.1.m1.1.1.1.cmml">=</mo><mn id="Thmprop2.p1.1.1.m1.1.1.3" xref="Thmprop2.p1.1.1.m1.1.1.3.cmml">1</mn></mrow><annotation-xml encoding="MathML-Content" id="Thmprop2.p1.1.1.m1.1b"><apply id="Thmprop2.p1.1.1.m1.1.1.cmml" xref="Thmprop2.p1.1.1.m1.1.1"><eq id="Thmprop2.p1.1.1.m1.1.1.1.cmml" xref="Thmprop2.p1.1.1.m1.1.1.1"></eq><ci id="Thmprop2.p1.1.1.m1.1.1.2.cmml" xref="Thmprop2.p1.1.1.m1.1.1.2">𝑇</ci><cn type="integer" id="Thmprop2.p1.1.1.m1.1.1.3.cmml" xref="Thmprop2.p1.1.1.m1.1.1.3">1</cn></apply></annotation-xml><annotation encoding="application/x-tex" id="Thmprop2.p1.1.1.m1.1c">T=1</annotation></semantics></math> and action (token) size <math id="Thmprop2.p1.2.2.m2.1" class="ltx_Math" alttext="|{\mathcal{A}}|=2" display="inline"><semantics id="Thmprop2.p1.2.2.m2.1a"><mrow id="Thmprop2.p1.2.2.m2.1.2" xref="Thmprop2.p1.2.2.m2.1.2.cmml"><mrow id="Thmprop2.p1.2.2.m2.1.2.2.2" xref="Thmprop2.p1.2.2.m2.1.2.2.1.cmml"><mo stretchy="false" id="Thmprop2.p1.2.2.m2.1.2.2.2.1" xref="Thmprop2.p1.2.2.m2.1.2.2.1.1.cmml">|</mo><mi class="ltx_font_mathcaligraphic" id="Thmprop2.p1.2.2.m2.1.1" xref="Thmprop2.p1.2.2.m2.1.1.cmml">𝒜</mi><mo stretchy="false" id="Thmprop2.p1.2.2.m2.1.2.2.2.2" xref="Thmprop2.p1.2.2.m2.1.2.2.1.1.cmml">|</mo></mrow><mo id="Thmprop2.p1.2.2.m2.1.2.1" xref="Thmprop2.p1.2.2.m2.1.2.1.cmml">=</mo><mn id="Thmprop2.p1.2.2.m2.1.2.3" xref="Thmprop2.p1.2.2.m2.1.2.3.cmml">2</mn></mrow><annotation-xml encoding="MathML-Content" id="Thmprop2.p1.2.2.m2.1b"><apply id="Thmprop2.p1.2.2.m2.1.2.cmml" xref="Thmprop2.p1.2.2.m2.1.2"><eq id="Thmprop2.p1.2.2.m2.1.2.1.cmml" xref="Thmprop2.p1.2.2.m2.1.2.1"></eq><apply id="Thmprop2.p1.2.2.m2.1.2.2.1.cmml" xref="Thmprop2.p1.2.2.m2.1.2.2.2"><abs id="Thmprop2.p1.2.2.m2.1.2.2.1.1.cmml" xref="Thmprop2.p1.2.2.m2.1.2.2.2.1"></abs><ci id="Thmprop2.p1.2.2.m2.1.1.cmml" xref="Thmprop2.p1.2.2.m2.1.1">𝒜</ci></apply><cn type="integer" id="Thmprop2.p1.2.2.m2.1.2.3.cmml" xref="Thmprop2.p1.2.2.m2.1.2.3">2</cn></apply></annotation-xml><annotation encoding="application/x-tex" id="Thmprop2.p1.2.2.m2.1c">|{\mathcal{A}}|=2</annotation></semantics></math>, assume we use the parameterization <math id="Thmprop2.p1.3.3.m3.9" class="ltx_Math" alttext="\pi_{\theta}(a|x)=\exp(\theta_{x,a})/\sum_{a^{\prime}}\exp(\theta_{x,a^{\prime}})" display="inline"><semantics id="Thmprop2.p1.3.3.m3.9a"><mrow id="Thmprop2.p1.3.3.m3.9.9" xref="Thmprop2.p1.3.3.m3.9.9.cmml"><mrow id="Thmprop2.p1.3.3.m3.7.7.1" xref="Thmprop2.p1.3.3.m3.7.7.1.cmml"><msub id="Thmprop2.p1.3.3.m3.7.7.1.3" xref="Thmprop2.p1.3.3.m3.7.7.1.3.cmml"><mi id="Thmprop2.p1.3.3.m3.7.7.1.3.2" xref="Thmprop2.p1.3.3.m3.7.7.1.3.2.cmml">π</mi><mi id="Thmprop2.p1.3.3.m3.7.7.1.3.3" xref="Thmprop2.p1.3.3.m3.7.7.1.3.3.cmml">θ</mi></msub><mo lspace="0em" rspace="0em" id="Thmprop2.p1.3.3.m3.7.7.1.2" xref="Thmprop2.p1.3.3.m3.7.7.1.2.cmml">​</mo><mrow id="Thmprop2.p1.3.3.m3.7.7.1.1.1" xref="Thmprop2.p1.3.3.m3.7.7.1.1.1.1.cmml"><mo stretchy="false" id="Thmprop2.p1.3.3.m3.7.7.1.1.1.2" xref="Thmprop2.p1.3.3.m3.7.7.1.1.1.1.cmml">(</mo><mrow id="Thmprop2.p1.3.3.m3.7.7.1.1.1.1" xref="Thmprop2.p1.3.3.m3.7.7.1.1.1.1.cmml"><mi id="Thmprop2.p1.3.3.m3.7.7.1.1.1.1.2" xref="Thmprop2.p1.3.3.m3.7.7.1.1.1.1.2.cmml">a</mi><mo fence="false" id="Thmprop2.p1.3.3.m3.7.7.1.1.1.1.1" xref="Thmprop2.p1.3.3.m3.7.7.1.1.1.1.1.cmml">|</mo><mi id="Thmprop2.p1.3.3.m3.7.7.1.1.1.1.3" xref="Thmprop2.p1.3.3.m3.7.7.1.1.1.1.3.cmml">x</mi></mrow><mo stretchy="false" id="Thmprop2.p1.3.3.m3.7.7.1.1.1.3" xref="Thmprop2.p1.3.3.m3.7.7.1.1.1.1.cmml">)</mo></mrow></mrow><mo id="Thmprop2.p1.3.3.m3.9.9.4" xref="Thmprop2.p1.3.3.m3.9.9.4.cmml">=</mo><mrow id="Thmprop2.p1.3.3.m3.9.9.3" xref="Thmprop2.p1.3.3.m3.9.9.3.cmml"><mrow id="Thmprop2.p1.3.3.m3.8.8.2.1.1" xref="Thmprop2.p1.3.3.m3.8.8.2.1.2.cmml"><mi id="Thmprop2.p1.3.3.m3.5.5" xref="Thmprop2.p1.3.3.m3.5.5.cmml">exp</mi><mo id="Thmprop2.p1.3.3.m3.8.8.2.1.1a" xref="Thmprop2.p1.3.3.m3.8.8.2.1.2.cmml">⁡</mo><mrow id="Thmprop2.p1.3.3.m3.8.8.2.1.1.1" xref="Thmprop2.p1.3.3.m3.8.8.2.1.2.cmml"><mo stretchy="false" id="Thmprop2.p1.3.3.m3.8.8.2.1.1.1.2" xref="Thmprop2.p1.3.3.m3.8.8.2.1.2.cmml">(</mo><msub id="Thmprop2.p1.3.3.m3.8.8.2.1.1.1.1" xref="Thmprop2.p1.3.3.m3.8.8.2.1.1.1.1.cmml"><mi id="Thmprop2.p1.3.3.m3.8.8.2.1.1.1.1.2" xref="Thmprop2.p1.3.3.m3.8.8.2.1.1.1.1.2.cmml">θ</mi><mrow id="Thmprop2.p1.3.3.m3.2.2.2.4" xref="Thmprop2.p1.3.3.m3.2.2.2.3.cmml"><mi id="Thmprop2.p1.3.3.m3.1.1.1.1" xref="Thmprop2.p1.3.3.m3.1.1.1.1.cmml">x</mi><mo id="Thmprop2.p1.3.3.m3.2.2.2.4.1" xref="Thmprop2.p1.3.3.m3.2.2.2.3.cmml">,</mo><mi id="Thmprop2.p1.3.3.m3.2.2.2.2" xref="Thmprop2.p1.3.3.m3.2.2.2.2.cmml">a</mi></mrow></msub><mo stretchy="false" id="Thmprop2.p1.3.3.m3.8.8.2.1.1.1.3" xref="Thmprop2.p1.3.3.m3.8.8.2.1.2.cmml">)</mo></mrow></mrow><mo rspace="0.055em" id="Thmprop2.p1.3.3.m3.9.9.3.3" xref="Thmprop2.p1.3.3.m3.9.9.3.3.cmml">/</mo><mrow id="Thmprop2.p1.3.3.m3.9.9.3.2" xref="Thmprop2.p1.3.3.m3.9.9.3.2.cmml"><msub id="Thmprop2.p1.3.3.m3.9.9.3.2.2" xref="Thmprop2.p1.3.3.m3.9.9.3.2.2.cmml"><mo id="Thmprop2.p1.3.3.m3.9.9.3.2.2.2" xref="Thmprop2.p1.3.3.m3.9.9.3.2.2.2.cmml">∑</mo><msup id="Thmprop2.p1.3.3.m3.9.9.3.2.2.3" xref="Thmprop2.p1.3.3.m3.9.9.3.2.2.3.cmml"><mi id="Thmprop2.p1.3.3.m3.9.9.3.2.2.3.2" xref="Thmprop2.p1.3.3.m3.9.9.3.2.2.3.2.cmml">a</mi><mo id="Thmprop2.p1.3.3.m3.9.9.3.2.2.3.3" xref="Thmprop2.p1.3.3.m3.9.9.3.2.2.3.3.cmml">′</mo></msup></msub><mrow id="Thmprop2.p1.3.3.m3.9.9.3.2.1.1" xref="Thmprop2.p1.3.3.m3.9.9.3.2.1.2.cmml"><mi id="Thmprop2.p1.3.3.m3.6.6" xref="Thmprop2.p1.3.3.m3.6.6.cmml">exp</mi><mo id="Thmprop2.p1.3.3.m3.9.9.3.2.1.1a" xref="Thmprop2.p1.3.3.m3.9.9.3.2.1.2.cmml">⁡</mo><mrow id="Thmprop2.p1.3.3.m3.9.9.3.2.1.1.1" xref="Thmprop2.p1.3.3.m3.9.9.3.2.1.2.cmml"><mo stretchy="false" id="Thmprop2.p1.3.3.m3.9.9.3.2.1.1.1.2" xref="Thmprop2.p1.3.3.m3.9.9.3.2.1.2.cmml">(</mo><msub id="Thmprop2.p1.3.3.m3.9.9.3.2.1.1.1.1" xref="Thmprop2.p1.3.3.m3.9.9.3.2.1.1.1.1.cmml"><mi id="Thmprop2.p1.3.3.m3.9.9.3.2.1.1.1.1.2" xref="Thmprop2.p1.3.3.m3.9.9.3.2.1.1.1.1.2.cmml">θ</mi><mrow id="Thmprop2.p1.3.3.m3.4.4.2.2" xref="Thmprop2.p1.3.3.m3.4.4.2.3.cmml"><mi id="Thmprop2.p1.3.3.m3.3.3.1.1" xref="Thmprop2.p1.3.3.m3.3.3.1.1.cmml">x</mi><mo id="Thmprop2.p1.3.3.m3.4.4.2.2.2" xref="Thmprop2.p1.3.3.m3.4.4.2.3.cmml">,</mo><msup id="Thmprop2.p1.3.3.m3.4.4.2.2.1" xref="Thmprop2.p1.3.3.m3.4.4.2.2.1.cmml"><mi id="Thmprop2.p1.3.3.m3.4.4.2.2.1.2" xref="Thmprop2.p1.3.3.m3.4.4.2.2.1.2.cmml">a</mi><mo id="Thmprop2.p1.3.3.m3.4.4.2.2.1.3" xref="Thmprop2.p1.3.3.m3.4.4.2.2.1.3.cmml">′</mo></msup></mrow></msub><mo stretchy="false" id="Thmprop2.p1.3.3.m3.9.9.3.2.1.1.1.3" xref="Thmprop2.p1.3.3.m3.9.9.3.2.1.2.cmml">)</mo></mrow></mrow></mrow></mrow></mrow><annotation-xml encoding="MathML-Content" id="Thmprop2.p1.3.3.m3.9b"><apply id="Thmprop2.p1.3.3.m3.9.9.cmml" xref="Thmprop2.p1.3.3.m3.9.9"><eq id="Thmprop2.p1.3.3.m3.9.9.4.cmml" xref="Thmprop2.p1.3.3.m3.9.9.4"></eq><apply id="Thmprop2.p1.3.3.m3.7.7.1.cmml" xref="Thmprop2.p1.3.3.m3.7.7.1"><times id="Thmprop2.p1.3.3.m3.7.7.1.2.cmml" xref="Thmprop2.p1.3.3.m3.7.7.1.2"></times><apply id="Thmprop2.p1.3.3.m3.7.7.1.3.cmml" xref="Thmprop2.p1.3.3.m3.7.7.1.3"><csymbol cd="ambiguous" id="Thmprop2.p1.3.3.m3.7.7.1.3.1.cmml" xref="Thmprop2.p1.3.3.m3.7.7.1.3">subscript</csymbol><ci id="Thmprop2.p1.3.3.m3.7.7.1.3.2.cmml" xref="Thmprop2.p1.3.3.m3.7.7.1.3.2">𝜋</ci><ci id="Thmprop2.p1.3.3.m3.7.7.1.3.3.cmml" xref="Thmprop2.p1.3.3.m3.7.7.1.3.3">𝜃</ci></apply><apply id="Thmprop2.p1.3.3.m3.7.7.1.1.1.1.cmml" xref="Thmprop2.p1.3.3.m3.7.7.1.1.1"><csymbol cd="latexml" id="Thmprop2.p1.3.3.m3.7.7.1.1.1.1.1.cmml" xref="Thmprop2.p1.3.3.m3.7.7.1.1.1.1.1">conditional</csymbol><ci id="Thmprop2.p1.3.3.m3.7.7.1.1.1.1.2.cmml" xref="Thmprop2.p1.3.3.m3.7.7.1.1.1.1.2">𝑎</ci><ci id="Thmprop2.p1.3.3.m3.7.7.1.1.1.1.3.cmml" xref="Thmprop2.p1.3.3.m3.7.7.1.1.1.1.3">𝑥</ci></apply></apply><apply id="Thmprop2.p1.3.3.m3.9.9.3.cmml" xref="Thmprop2.p1.3.3.m3.9.9.3"><divide id="Thmprop2.p1.3.3.m3.9.9.3.3.cmml" xref="Thmprop2.p1.3.3.m3.9.9.3.3"></divide><apply id="Thmprop2.p1.3.3.m3.8.8.2.1.2.cmml" xref="Thmprop2.p1.3.3.m3.8.8.2.1.1"><exp id="Thmprop2.p1.3.3.m3.5.5.cmml" xref="Thmprop2.p1.3.3.m3.5.5"></exp><apply id="Thmprop2.p1.3.3.m3.8.8.2.1.1.1.1.cmml" xref="Thmprop2.p1.3.3.m3.8.8.2.1.1.1.1"><csymbol cd="ambiguous" id="Thmprop2.p1.3.3.m3.8.8.2.1.1.1.1.1.cmml" xref="Thmprop2.p1.3.3.m3.8.8.2.1.1.1.1">subscript</csymbol><ci id="Thmprop2.p1.3.3.m3.8.8.2.1.1.1.1.2.cmml" xref="Thmprop2.p1.3.3.m3.8.8.2.1.1.1.1.2">𝜃</ci><list id="Thmprop2.p1.3.3.m3.2.2.2.3.cmml" xref="Thmprop2.p1.3.3.m3.2.2.2.4"><ci id="Thmprop2.p1.3.3.m3.1.1.1.1.cmml" xref="Thmprop2.p1.3.3.m3.1.1.1.1">𝑥</ci><ci id="Thmprop2.p1.3.3.m3.2.2.2.2.cmml" xref="Thmprop2.p1.3.3.m3.2.2.2.2">𝑎</ci></list></apply></apply><apply id="Thmprop2.p1.3.3.m3.9.9.3.2.cmml" xref="Thmprop2.p1.3.3.m3.9.9.3.2"><apply id="Thmprop2.p1.3.3.m3.9.9.3.2.2.cmml" xref="Thmprop2.p1.3.3.m3.9.9.3.2.2"><csymbol cd="ambiguous" id="Thmprop2.p1.3.3.m3.9.9.3.2.2.1.cmml" xref="Thmprop2.p1.3.3.m3.9.9.3.2.2">subscript</csymbol><sum id="Thmprop2.p1.3.3.m3.9.9.3.2.2.2.cmml" xref="Thmprop2.p1.3.3.m3.9.9.3.2.2.2"></sum><apply id="Thmprop2.p1.3.3.m3.9.9.3.2.2.3.cmml" xref="Thmprop2.p1.3.3.m3.9.9.3.2.2.3"><csymbol cd="ambiguous" id="Thmprop2.p1.3.3.m3.9.9.3.2.2.3.1.cmml" xref="Thmprop2.p1.3.3.m3.9.9.3.2.2.3">superscript</csymbol><ci id="Thmprop2.p1.3.3.m3.9.9.3.2.2.3.2.cmml" xref="Thmprop2.p1.3.3.m3.9.9.3.2.2.3.2">𝑎</ci><ci id="Thmprop2.p1.3.3.m3.9.9.3.2.2.3.3.cmml" xref="Thmprop2.p1.3.3.m3.9.9.3.2.2.3.3">′</ci></apply></apply><apply id="Thmprop2.p1.3.3.m3.9.9.3.2.1.2.cmml" xref="Thmprop2.p1.3.3.m3.9.9.3.2.1.1"><exp id="Thmprop2.p1.3.3.m3.6.6.cmml" xref="Thmprop2.p1.3.3.m3.6.6"></exp><apply id="Thmprop2.p1.3.3.m3.9.9.3.2.1.1.1.1.cmml" xref="Thmprop2.p1.3.3.m3.9.9.3.2.1.1.1.1"><csymbol cd="ambiguous" id="Thmprop2.p1.3.3.m3.9.9.3.2.1.1.1.1.1.cmml" xref="Thmprop2.p1.3.3.m3.9.9.3.2.1.1.1.1">subscript</csymbol><ci id="Thmprop2.p1.3.3.m3.9.9.3.2.1.1.1.1.2.cmml" xref="Thmprop2.p1.3.3.m3.9.9.3.2.1.1.1.1.2">𝜃</ci><list id="Thmprop2.p1.3.3.m3.4.4.2.3.cmml" xref="Thmprop2.p1.3.3.m3.4.4.2.2"><ci id="Thmprop2.p1.3.3.m3.3.3.1.1.cmml" xref="Thmprop2.p1.3.3.m3.3.3.1.1">𝑥</ci><apply id="Thmprop2.p1.3.3.m3.4.4.2.2.1.cmml" xref="Thmprop2.p1.3.3.m3.4.4.2.2.1"><csymbol cd="ambiguous" id="Thmprop2.p1.3.3.m3.4.4.2.2.1.1.cmml" xref="Thmprop2.p1.3.3.m3.4.4.2.2.1">superscript</csymbol><ci id="Thmprop2.p1.3.3.m3.4.4.2.2.1.2.cmml" xref="Thmprop2.p1.3.3.m3.4.4.2.2.1.2">𝑎</ci><ci id="Thmprop2.p1.3.3.m3.4.4.2.2.1.3.cmml" xref="Thmprop2.p1.3.3.m3.4.4.2.2.1.3">′</ci></apply></list></apply></apply></apply></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="Thmprop2.p1.3.3.m3.9c">\pi_{\theta}(a|x)=\exp(\theta_{x,a})/\sum_{a^{\prime}}\exp(\theta_{x,a^{\prime}})</annotation></semantics></math>. Then we have that</span></p>
<table id="A5.EGx10" class="ltx_equationgroup ltx_eqn_align ltx_eqn_table">

<tbody id="S4.Ex6"><tr class="ltx_equation ltx_eqn_row ltx_align_baseline">
<td class="ltx_eqn_cell ltx_eqn_center_padleft"></td>
<td class="ltx_td ltx_align_right ltx_eqn_cell"><math id="S4.Ex6.m1.3" class="ltx_Math" alttext="\displaystyle\mathrm{Var}[\widetilde{g}(\theta)]&lt;\mathrm{Var}[\widehat{g}(\theta)]," display="inline"><semantics id="S4.Ex6.m1.3a"><mrow id="S4.Ex6.m1.3.3.1" xref="S4.Ex6.m1.3.3.1.1.cmml"><mrow id="S4.Ex6.m1.3.3.1.1" xref="S4.Ex6.m1.3.3.1.1.cmml"><mrow id="S4.Ex6.m1.3.3.1.1.1" xref="S4.Ex6.m1.3.3.1.1.1.cmml"><mi id="S4.Ex6.m1.3.3.1.1.1.3" xref="S4.Ex6.m1.3.3.1.1.1.3.cmml">Var</mi><mo lspace="0em" rspace="0em" id="S4.Ex6.m1.3.3.1.1.1.2" xref="S4.Ex6.m1.3.3.1.1.1.2.cmml">​</mo><mrow id="S4.Ex6.m1.3.3.1.1.1.1.1" xref="S4.Ex6.m1.3.3.1.1.1.1.2.cmml"><mo stretchy="false" id="S4.Ex6.m1.3.3.1.1.1.1.1.2" xref="S4.Ex6.m1.3.3.1.1.1.1.2.1.cmml">[</mo><mrow id="S4.Ex6.m1.3.3.1.1.1.1.1.1" xref="S4.Ex6.m1.3.3.1.1.1.1.1.1.cmml"><mover accent="true" id="S4.Ex6.m1.3.3.1.1.1.1.1.1.2" xref="S4.Ex6.m1.3.3.1.1.1.1.1.1.2.cmml"><mi id="S4.Ex6.m1.3.3.1.1.1.1.1.1.2.2" xref="S4.Ex6.m1.3.3.1.1.1.1.1.1.2.2.cmml">g</mi><mo id="S4.Ex6.m1.3.3.1.1.1.1.1.1.2.1" xref="S4.Ex6.m1.3.3.1.1.1.1.1.1.2.1.cmml">~</mo></mover><mo lspace="0em" rspace="0em" id="S4.Ex6.m1.3.3.1.1.1.1.1.1.1" xref="S4.Ex6.m1.3.3.1.1.1.1.1.1.1.cmml">​</mo><mrow id="S4.Ex6.m1.3.3.1.1.1.1.1.1.3.2" xref="S4.Ex6.m1.3.3.1.1.1.1.1.1.cmml"><mo stretchy="false" id="S4.Ex6.m1.3.3.1.1.1.1.1.1.3.2.1" xref="S4.Ex6.m1.3.3.1.1.1.1.1.1.cmml">(</mo><mi id="S4.Ex6.m1.1.1" xref="S4.Ex6.m1.1.1.cmml">θ</mi><mo stretchy="false" id="S4.Ex6.m1.3.3.1.1.1.1.1.1.3.2.2" xref="S4.Ex6.m1.3.3.1.1.1.1.1.1.cmml">)</mo></mrow></mrow><mo stretchy="false" id="S4.Ex6.m1.3.3.1.1.1.1.1.3" xref="S4.Ex6.m1.3.3.1.1.1.1.2.1.cmml">]</mo></mrow></mrow><mo id="S4.Ex6.m1.3.3.1.1.3" xref="S4.Ex6.m1.3.3.1.1.3.cmml">&lt;</mo><mrow id="S4.Ex6.m1.3.3.1.1.2" xref="S4.Ex6.m1.3.3.1.1.2.cmml"><mi id="S4.Ex6.m1.3.3.1.1.2.3" xref="S4.Ex6.m1.3.3.1.1.2.3.cmml">Var</mi><mo lspace="0em" rspace="0em" id="S4.Ex6.m1.3.3.1.1.2.2" xref="S4.Ex6.m1.3.3.1.1.2.2.cmml">​</mo><mrow id="S4.Ex6.m1.3.3.1.1.2.1.1" xref="S4.Ex6.m1.3.3.1.1.2.1.2.cmml"><mo stretchy="false" id="S4.Ex6.m1.3.3.1.1.2.1.1.2" xref="S4.Ex6.m1.3.3.1.1.2.1.2.1.cmml">[</mo><mrow id="S4.Ex6.m1.3.3.1.1.2.1.1.1" xref="S4.Ex6.m1.3.3.1.1.2.1.1.1.cmml"><mover accent="true" id="S4.Ex6.m1.3.3.1.1.2.1.1.1.2" xref="S4.Ex6.m1.3.3.1.1.2.1.1.1.2.cmml"><mi id="S4.Ex6.m1.3.3.1.1.2.1.1.1.2.2" xref="S4.Ex6.m1.3.3.1.1.2.1.1.1.2.2.cmml">g</mi><mo id="S4.Ex6.m1.3.3.1.1.2.1.1.1.2.1" xref="S4.Ex6.m1.3.3.1.1.2.1.1.1.2.1.cmml">^</mo></mover><mo lspace="0em" rspace="0em" id="S4.Ex6.m1.3.3.1.1.2.1.1.1.1" xref="S4.Ex6.m1.3.3.1.1.2.1.1.1.1.cmml">​</mo><mrow id="S4.Ex6.m1.3.3.1.1.2.1.1.1.3.2" xref="S4.Ex6.m1.3.3.1.1.2.1.1.1.cmml"><mo stretchy="false" id="S4.Ex6.m1.3.3.1.1.2.1.1.1.3.2.1" xref="S4.Ex6.m1.3.3.1.1.2.1.1.1.cmml">(</mo><mi id="S4.Ex6.m1.2.2" xref="S4.Ex6.m1.2.2.cmml">θ</mi><mo stretchy="false" id="S4.Ex6.m1.3.3.1.1.2.1.1.1.3.2.2" xref="S4.Ex6.m1.3.3.1.1.2.1.1.1.cmml">)</mo></mrow></mrow><mo stretchy="false" id="S4.Ex6.m1.3.3.1.1.2.1.1.3" xref="S4.Ex6.m1.3.3.1.1.2.1.2.1.cmml">]</mo></mrow></mrow></mrow><mo id="S4.Ex6.m1.3.3.1.2" xref="S4.Ex6.m1.3.3.1.1.cmml">,</mo></mrow><annotation-xml encoding="MathML-Content" id="S4.Ex6.m1.3b"><apply id="S4.Ex6.m1.3.3.1.1.cmml" xref="S4.Ex6.m1.3.3.1"><lt id="S4.Ex6.m1.3.3.1.1.3.cmml" xref="S4.Ex6.m1.3.3.1.1.3"></lt><apply id="S4.Ex6.m1.3.3.1.1.1.cmml" xref="S4.Ex6.m1.3.3.1.1.1"><times id="S4.Ex6.m1.3.3.1.1.1.2.cmml" xref="S4.Ex6.m1.3.3.1.1.1.2"></times><ci id="S4.Ex6.m1.3.3.1.1.1.3.cmml" xref="S4.Ex6.m1.3.3.1.1.1.3">Var</ci><apply id="S4.Ex6.m1.3.3.1.1.1.1.2.cmml" xref="S4.Ex6.m1.3.3.1.1.1.1.1"><csymbol cd="latexml" id="S4.Ex6.m1.3.3.1.1.1.1.2.1.cmml" xref="S4.Ex6.m1.3.3.1.1.1.1.1.2">delimited-[]</csymbol><apply id="S4.Ex6.m1.3.3.1.1.1.1.1.1.cmml" xref="S4.Ex6.m1.3.3.1.1.1.1.1.1"><times id="S4.Ex6.m1.3.3.1.1.1.1.1.1.1.cmml" xref="S4.Ex6.m1.3.3.1.1.1.1.1.1.1"></times><apply id="S4.Ex6.m1.3.3.1.1.1.1.1.1.2.cmml" xref="S4.Ex6.m1.3.3.1.1.1.1.1.1.2"><ci id="S4.Ex6.m1.3.3.1.1.1.1.1.1.2.1.cmml" xref="S4.Ex6.m1.3.3.1.1.1.1.1.1.2.1">~</ci><ci id="S4.Ex6.m1.3.3.1.1.1.1.1.1.2.2.cmml" xref="S4.Ex6.m1.3.3.1.1.1.1.1.1.2.2">𝑔</ci></apply><ci id="S4.Ex6.m1.1.1.cmml" xref="S4.Ex6.m1.1.1">𝜃</ci></apply></apply></apply><apply id="S4.Ex6.m1.3.3.1.1.2.cmml" xref="S4.Ex6.m1.3.3.1.1.2"><times id="S4.Ex6.m1.3.3.1.1.2.2.cmml" xref="S4.Ex6.m1.3.3.1.1.2.2"></times><ci id="S4.Ex6.m1.3.3.1.1.2.3.cmml" xref="S4.Ex6.m1.3.3.1.1.2.3">Var</ci><apply id="S4.Ex6.m1.3.3.1.1.2.1.2.cmml" xref="S4.Ex6.m1.3.3.1.1.2.1.1"><csymbol cd="latexml" id="S4.Ex6.m1.3.3.1.1.2.1.2.1.cmml" xref="S4.Ex6.m1.3.3.1.1.2.1.1.2">delimited-[]</csymbol><apply id="S4.Ex6.m1.3.3.1.1.2.1.1.1.cmml" xref="S4.Ex6.m1.3.3.1.1.2.1.1.1"><times id="S4.Ex6.m1.3.3.1.1.2.1.1.1.1.cmml" xref="S4.Ex6.m1.3.3.1.1.2.1.1.1.1"></times><apply id="S4.Ex6.m1.3.3.1.1.2.1.1.1.2.cmml" xref="S4.Ex6.m1.3.3.1.1.2.1.1.1.2"><ci id="S4.Ex6.m1.3.3.1.1.2.1.1.1.2.1.cmml" xref="S4.Ex6.m1.3.3.1.1.2.1.1.1.2.1">^</ci><ci id="S4.Ex6.m1.3.3.1.1.2.1.1.1.2.2.cmml" xref="S4.Ex6.m1.3.3.1.1.2.1.1.1.2.2">𝑔</ci></apply><ci id="S4.Ex6.m1.2.2.cmml" xref="S4.Ex6.m1.2.2">𝜃</ci></apply></apply></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="S4.Ex6.m1.3c">\displaystyle\mathrm{Var}[\widetilde{g}(\theta)]&lt;\mathrm{Var}[\widehat{g}(\theta)],</annotation></semantics></math></td>
<td class="ltx_eqn_cell ltx_eqn_center_padright"></td>
</tr></tbody>
</table>
<p id="Thmprop2.p1.5" class="ltx_p"><span id="Thmprop2.p1.5.2" class="ltx_text ltx_font_italic">whenever the optimal action has not yet dominated, i.e., <math id="Thmprop2.p1.4.1.m1.1" class="ltx_Math" alttext="\pi_{\theta}(a^{\star}|x)\leq 0.5" display="inline"><semantics id="Thmprop2.p1.4.1.m1.1a"><mrow id="Thmprop2.p1.4.1.m1.1.1" xref="Thmprop2.p1.4.1.m1.1.1.cmml"><mrow id="Thmprop2.p1.4.1.m1.1.1.1" xref="Thmprop2.p1.4.1.m1.1.1.1.cmml"><msub id="Thmprop2.p1.4.1.m1.1.1.1.3" xref="Thmprop2.p1.4.1.m1.1.1.1.3.cmml"><mi id="Thmprop2.p1.4.1.m1.1.1.1.3.2" xref="Thmprop2.p1.4.1.m1.1.1.1.3.2.cmml">π</mi><mi id="Thmprop2.p1.4.1.m1.1.1.1.3.3" xref="Thmprop2.p1.4.1.m1.1.1.1.3.3.cmml">θ</mi></msub><mo lspace="0em" rspace="0em" id="Thmprop2.p1.4.1.m1.1.1.1.2" xref="Thmprop2.p1.4.1.m1.1.1.1.2.cmml">​</mo><mrow id="Thmprop2.p1.4.1.m1.1.1.1.1.1" xref="Thmprop2.p1.4.1.m1.1.1.1.1.1.1.cmml"><mo stretchy="false" id="Thmprop2.p1.4.1.m1.1.1.1.1.1.2" xref="Thmprop2.p1.4.1.m1.1.1.1.1.1.1.cmml">(</mo><mrow id="Thmprop2.p1.4.1.m1.1.1.1.1.1.1" xref="Thmprop2.p1.4.1.m1.1.1.1.1.1.1.cmml"><msup id="Thmprop2.p1.4.1.m1.1.1.1.1.1.1.2" xref="Thmprop2.p1.4.1.m1.1.1.1.1.1.1.2.cmml"><mi id="Thmprop2.p1.4.1.m1.1.1.1.1.1.1.2.2" xref="Thmprop2.p1.4.1.m1.1.1.1.1.1.1.2.2.cmml">a</mi><mo id="Thmprop2.p1.4.1.m1.1.1.1.1.1.1.2.3" xref="Thmprop2.p1.4.1.m1.1.1.1.1.1.1.2.3.cmml">⋆</mo></msup><mo fence="false" id="Thmprop2.p1.4.1.m1.1.1.1.1.1.1.1" xref="Thmprop2.p1.4.1.m1.1.1.1.1.1.1.1.cmml">|</mo><mi id="Thmprop2.p1.4.1.m1.1.1.1.1.1.1.3" xref="Thmprop2.p1.4.1.m1.1.1.1.1.1.1.3.cmml">x</mi></mrow><mo stretchy="false" id="Thmprop2.p1.4.1.m1.1.1.1.1.1.3" xref="Thmprop2.p1.4.1.m1.1.1.1.1.1.1.cmml">)</mo></mrow></mrow><mo id="Thmprop2.p1.4.1.m1.1.1.2" xref="Thmprop2.p1.4.1.m1.1.1.2.cmml">≤</mo><mn id="Thmprop2.p1.4.1.m1.1.1.3" xref="Thmprop2.p1.4.1.m1.1.1.3.cmml">0.5</mn></mrow><annotation-xml encoding="MathML-Content" id="Thmprop2.p1.4.1.m1.1b"><apply id="Thmprop2.p1.4.1.m1.1.1.cmml" xref="Thmprop2.p1.4.1.m1.1.1"><leq id="Thmprop2.p1.4.1.m1.1.1.2.cmml" xref="Thmprop2.p1.4.1.m1.1.1.2"></leq><apply id="Thmprop2.p1.4.1.m1.1.1.1.cmml" xref="Thmprop2.p1.4.1.m1.1.1.1"><times id="Thmprop2.p1.4.1.m1.1.1.1.2.cmml" xref="Thmprop2.p1.4.1.m1.1.1.1.2"></times><apply id="Thmprop2.p1.4.1.m1.1.1.1.3.cmml" xref="Thmprop2.p1.4.1.m1.1.1.1.3"><csymbol cd="ambiguous" id="Thmprop2.p1.4.1.m1.1.1.1.3.1.cmml" xref="Thmprop2.p1.4.1.m1.1.1.1.3">subscript</csymbol><ci id="Thmprop2.p1.4.1.m1.1.1.1.3.2.cmml" xref="Thmprop2.p1.4.1.m1.1.1.1.3.2">𝜋</ci><ci id="Thmprop2.p1.4.1.m1.1.1.1.3.3.cmml" xref="Thmprop2.p1.4.1.m1.1.1.1.3.3">𝜃</ci></apply><apply id="Thmprop2.p1.4.1.m1.1.1.1.1.1.1.cmml" xref="Thmprop2.p1.4.1.m1.1.1.1.1.1"><csymbol cd="latexml" id="Thmprop2.p1.4.1.m1.1.1.1.1.1.1.1.cmml" xref="Thmprop2.p1.4.1.m1.1.1.1.1.1.1.1">conditional</csymbol><apply id="Thmprop2.p1.4.1.m1.1.1.1.1.1.1.2.cmml" xref="Thmprop2.p1.4.1.m1.1.1.1.1.1.1.2"><csymbol cd="ambiguous" id="Thmprop2.p1.4.1.m1.1.1.1.1.1.1.2.1.cmml" xref="Thmprop2.p1.4.1.m1.1.1.1.1.1.1.2">superscript</csymbol><ci id="Thmprop2.p1.4.1.m1.1.1.1.1.1.1.2.2.cmml" xref="Thmprop2.p1.4.1.m1.1.1.1.1.1.1.2.2">𝑎</ci><ci id="Thmprop2.p1.4.1.m1.1.1.1.1.1.1.2.3.cmml" xref="Thmprop2.p1.4.1.m1.1.1.1.1.1.1.2.3">⋆</ci></apply><ci id="Thmprop2.p1.4.1.m1.1.1.1.1.1.1.3.cmml" xref="Thmprop2.p1.4.1.m1.1.1.1.1.1.1.3">𝑥</ci></apply></apply><cn type="float" id="Thmprop2.p1.4.1.m1.1.1.3.cmml" xref="Thmprop2.p1.4.1.m1.1.1.3">0.5</cn></apply></annotation-xml><annotation encoding="application/x-tex" id="Thmprop2.p1.4.1.m1.1c">\pi_{\theta}(a^{\star}|x)\leq 0.5</annotation></semantics></math>, where <math id="Thmprop2.p1.5.2.m2.2" class="ltx_Math" alttext="a^{\star}\in\mathop{\rm argmax}_{a}r(x,a)" display="inline"><semantics id="Thmprop2.p1.5.2.m2.2a"><mrow id="Thmprop2.p1.5.2.m2.2.3" xref="Thmprop2.p1.5.2.m2.2.3.cmml"><msup id="Thmprop2.p1.5.2.m2.2.3.2" xref="Thmprop2.p1.5.2.m2.2.3.2.cmml"><mi id="Thmprop2.p1.5.2.m2.2.3.2.2" xref="Thmprop2.p1.5.2.m2.2.3.2.2.cmml">a</mi><mo id="Thmprop2.p1.5.2.m2.2.3.2.3" xref="Thmprop2.p1.5.2.m2.2.3.2.3.cmml">⋆</mo></msup><mo rspace="0.1389em" id="Thmprop2.p1.5.2.m2.2.3.1" xref="Thmprop2.p1.5.2.m2.2.3.1.cmml">∈</mo><mrow id="Thmprop2.p1.5.2.m2.2.3.3" xref="Thmprop2.p1.5.2.m2.2.3.3.cmml"><msub id="Thmprop2.p1.5.2.m2.2.3.3.1" xref="Thmprop2.p1.5.2.m2.2.3.3.1.cmml"><mo lspace="0.1389em" rspace="0.167em" id="Thmprop2.p1.5.2.m2.2.3.3.1.2" xref="Thmprop2.p1.5.2.m2.2.3.3.1.2.cmml">argmax</mo><mi id="Thmprop2.p1.5.2.m2.2.3.3.1.3" xref="Thmprop2.p1.5.2.m2.2.3.3.1.3.cmml">a</mi></msub><mrow id="Thmprop2.p1.5.2.m2.2.3.3.2" xref="Thmprop2.p1.5.2.m2.2.3.3.2.cmml"><mi id="Thmprop2.p1.5.2.m2.2.3.3.2.2" xref="Thmprop2.p1.5.2.m2.2.3.3.2.2.cmml">r</mi><mo lspace="0em" rspace="0em" id="Thmprop2.p1.5.2.m2.2.3.3.2.1" xref="Thmprop2.p1.5.2.m2.2.3.3.2.1.cmml">​</mo><mrow id="Thmprop2.p1.5.2.m2.2.3.3.2.3.2" xref="Thmprop2.p1.5.2.m2.2.3.3.2.3.1.cmml"><mo stretchy="false" id="Thmprop2.p1.5.2.m2.2.3.3.2.3.2.1" xref="Thmprop2.p1.5.2.m2.2.3.3.2.3.1.cmml">(</mo><mi id="Thmprop2.p1.5.2.m2.1.1" xref="Thmprop2.p1.5.2.m2.1.1.cmml">x</mi><mo id="Thmprop2.p1.5.2.m2.2.3.3.2.3.2.2" xref="Thmprop2.p1.5.2.m2.2.3.3.2.3.1.cmml">,</mo><mi id="Thmprop2.p1.5.2.m2.2.2" xref="Thmprop2.p1.5.2.m2.2.2.cmml">a</mi><mo stretchy="false" id="Thmprop2.p1.5.2.m2.2.3.3.2.3.2.3" xref="Thmprop2.p1.5.2.m2.2.3.3.2.3.1.cmml">)</mo></mrow></mrow></mrow></mrow><annotation-xml encoding="MathML-Content" id="Thmprop2.p1.5.2.m2.2b"><apply id="Thmprop2.p1.5.2.m2.2.3.cmml" xref="Thmprop2.p1.5.2.m2.2.3"><in id="Thmprop2.p1.5.2.m2.2.3.1.cmml" xref="Thmprop2.p1.5.2.m2.2.3.1"></in><apply id="Thmprop2.p1.5.2.m2.2.3.2.cmml" xref="Thmprop2.p1.5.2.m2.2.3.2"><csymbol cd="ambiguous" id="Thmprop2.p1.5.2.m2.2.3.2.1.cmml" xref="Thmprop2.p1.5.2.m2.2.3.2">superscript</csymbol><ci id="Thmprop2.p1.5.2.m2.2.3.2.2.cmml" xref="Thmprop2.p1.5.2.m2.2.3.2.2">𝑎</ci><ci id="Thmprop2.p1.5.2.m2.2.3.2.3.cmml" xref="Thmprop2.p1.5.2.m2.2.3.2.3">⋆</ci></apply><apply id="Thmprop2.p1.5.2.m2.2.3.3.cmml" xref="Thmprop2.p1.5.2.m2.2.3.3"><apply id="Thmprop2.p1.5.2.m2.2.3.3.1.cmml" xref="Thmprop2.p1.5.2.m2.2.3.3.1"><csymbol cd="ambiguous" id="Thmprop2.p1.5.2.m2.2.3.3.1.1.cmml" xref="Thmprop2.p1.5.2.m2.2.3.3.1">subscript</csymbol><ci id="Thmprop2.p1.5.2.m2.2.3.3.1.2.cmml" xref="Thmprop2.p1.5.2.m2.2.3.3.1.2">argmax</ci><ci id="Thmprop2.p1.5.2.m2.2.3.3.1.3.cmml" xref="Thmprop2.p1.5.2.m2.2.3.3.1.3">𝑎</ci></apply><apply id="Thmprop2.p1.5.2.m2.2.3.3.2.cmml" xref="Thmprop2.p1.5.2.m2.2.3.3.2"><times id="Thmprop2.p1.5.2.m2.2.3.3.2.1.cmml" xref="Thmprop2.p1.5.2.m2.2.3.3.2.1"></times><ci id="Thmprop2.p1.5.2.m2.2.3.3.2.2.cmml" xref="Thmprop2.p1.5.2.m2.2.3.3.2.2">𝑟</ci><interval closure="open" id="Thmprop2.p1.5.2.m2.2.3.3.2.3.1.cmml" xref="Thmprop2.p1.5.2.m2.2.3.3.2.3.2"><ci id="Thmprop2.p1.5.2.m2.1.1.cmml" xref="Thmprop2.p1.5.2.m2.1.1">𝑥</ci><ci id="Thmprop2.p1.5.2.m2.2.2.cmml" xref="Thmprop2.p1.5.2.m2.2.2">𝑎</ci></interval></apply></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="Thmprop2.p1.5.2.m2.2c">a^{\star}\in\mathop{\rm argmax}_{a}r(x,a)</annotation></semantics></math>.</span></p>
</div>
</div>
<div id="S4.SS2.p4" class="ltx_para">
<p id="S4.SS2.p4.1" class="ltx_p">The proof of <a href="#Thmprop2" title="Proposition 2. ‣ 4.2 From REINFORCE to ReMax ‣ 4 Proposed Method ‣ ReMax: A Simple, Effective, and Efficient Reinforcement Learning Method for Aligning Large Language Models" class="ltx_ref"><span class="ltx_text ltx_ref_tag">Proposition</span> <span class="ltx_text ltx_ref_tag">2</span></a> is provided in <a href="#A2.SS2" title="B.2 Proof of Proposition 2 ‣ Appendix B Proofs ‣ ReMax: A Simple, Effective, and Efficient Reinforcement Learning Method for Aligning Large Language Models" class="ltx_ref"><span class="ltx_text ltx_ref_tag">Section</span> <span class="ltx_text ltx_ref_tag">B.2</span></a>. It is important to note that the design of a <em id="S4.SS2.p4.1.1" class="ltx_emph ltx_font_italic">practical</em> baseline value for variance reduction has remained an open problem since the work of <cite class="ltx_cite ltx_citemacro_citep">(Williams, <a href="#bib.bib40" title="" class="ltx_ref">1992</a>)</cite>. In particular, theoretically sound baseline values, such as the maximum variance reduction proposed by <cite class="ltx_cite ltx_citemacro_citep">(Greensmith et al., <a href="#bib.bib13" title="" class="ltx_ref">2004</a>)</cite> (provided in <a href="#A2.SS3" title="B.3 Baseline Value with Maximum Variance Reduction ‣ Appendix B Proofs ‣ ReMax: A Simple, Effective, and Efficient Reinforcement Learning Method for Aligning Large Language Models" class="ltx_ref"><span class="ltx_text ltx_ref_tag">Section</span> <span class="ltx_text ltx_ref_tag">B.3</span></a> for interested readers) and the intuitive baseline of expected reward, are not computationally tractable in practice. We conjecture that <a href="#Thmprop2" title="Proposition 2. ‣ 4.2 From REINFORCE to ReMax ‣ 4 Proposed Method ‣ ReMax: A Simple, Effective, and Efficient Reinforcement Learning Method for Aligning Large Language Models" class="ltx_ref"><span class="ltx_text ltx_ref_tag">Proposition</span> <span class="ltx_text ltx_ref_tag">2</span></a> holds true for general cases and leave its verification for future work.</p>
</div>
<div id="S4.SS2.p5" class="ltx_para">
<p id="S4.SS2.p5.1" class="ltx_p">We highlight that ReMax inherits the computational efficiency of REINFORCE, and is more effective in task performance. Compared with PPO that employs 4 models (a trainable language model, a fixed reference model, a fixed reward model, and a trainable value model), ReMax removes the need of training a value model. This, as a beneficial side effect, increases computation speed since backpropagation for the value model is not needed.</p>
</div>
</section>
</section>
<section id="S5" class="ltx_section">
<h2 class="ltx_title ltx_title_section">
<span class="ltx_tag ltx_tag_section">5 </span>Experiments</h2>

<div id="S5.p1" class="ltx_para">
<p id="S5.p1.1" class="ltx_p">In this section, we conduct experiments to validate the superiority of ReMax when used in RLHF. Note that, as a generic algorithm, ReMax could also be applied to traditional NLP tasks and we explore such an application on GPT-2 in <a href="#A4" title="Appendix D Additional Results ‣ ReMax: A Simple, Effective, and Efficient Reinforcement Learning Method for Aligning Large Language Models" class="ltx_ref"><span class="ltx_text ltx_ref_tag">Appendix</span> <span class="ltx_text ltx_ref_tag">D</span></a>.</p>
</div>
<div id="S5.p2" class="ltx_para">
<p id="S5.p2.1" class="ltx_p">We implement RLHF by using the DeepSpeed-Chat framework <cite class="ltx_cite ltx_citemacro_citep">(Yao et al., <a href="#bib.bib41" title="" class="ltx_ref">2023</a>)</cite>, where PPO serves as the default algorithm in the third step. Note that, according to the evaluation in <cite class="ltx_cite ltx_citemacro_citep">(Dubois et al., <a href="#bib.bib10" title="" class="ltx_ref">2023</a>)</cite>, PPO is the most effective approach when used in the third step of RLHF. We study the <em id="S5.p2.1.1" class="ltx_emph ltx_font_italic">full-hh-rlhf</em> dataset released by Anthropic <cite class="ltx_cite ltx_citemacro_citep">(Bai et al., <a href="#bib.bib1" title="" class="ltx_ref">2022a</a>)</cite>, which consists of 112k instances for training and 12.5k for evaluation. Following <cite class="ltx_cite ltx_citemacro_citep">(Yao et al., <a href="#bib.bib41" title="" class="ltx_ref">2023</a>)</cite>, we divide this dataset into three parts: 20% for supervised fine-tuning (SFT), 40% for reward learning, and the remaining 40% for reward maximization through RL. In addition to baselines such as SFT and PPO, we also examine the approach Direct Preference Optimization (DPO) <cite class="ltx_cite ltx_citemacro_citep">(Rafailov et al., <a href="#bib.bib23" title="" class="ltx_ref">2023</a>)</cite>, which can learn directly from preference data without a reward model.</p>
</div>
<div id="S5.p3" class="ltx_para">
<p id="S5.p3.1" class="ltx_p">All experiments are conducted by using 3 different random seeds, and the averaged results are reported. Our experiments are executed on 4<math id="S5.p3.1.m1.1" class="ltx_Math" alttext="\times" display="inline"><semantics id="S5.p3.1.m1.1a"><mo id="S5.p3.1.m1.1.1" xref="S5.p3.1.m1.1.1.cmml">×</mo><annotation-xml encoding="MathML-Content" id="S5.p3.1.m1.1b"><times id="S5.p3.1.m1.1.1.cmml" xref="S5.p3.1.m1.1.1"></times></annotation-xml><annotation encoding="application/x-tex" id="S5.p3.1.m1.1c">\times</annotation></semantics></math>A100-80GB GPUs with half-precision training. More experiment details are given in <a href="#A3" title="Appendix C Experiment Details ‣ ReMax: A Simple, Effective, and Efficient Reinforcement Learning Method for Aligning Large Language Models" class="ltx_ref"><span class="ltx_text ltx_ref_tag">Appendix</span> <span class="ltx_text ltx_ref_tag">C</span></a>.</p>
</div>
<section id="S5.SS1" class="ltx_subsection">
<h3 class="ltx_title ltx_title_subsection">
<span class="ltx_tag ltx_tag_subsection">5.1 </span>On the Effectiveness of ReMax</h3>

<div id="S5.SS1.p1" class="ltx_para">
<p id="S5.SS1.p1.1" class="ltx_p">Here we show that ReMax is effective in maximizing reward and improving response quality. First, we display the reward training curves in <a href="#S5.F4" title="In 5.1 On the Effectiveness of ReMax ‣ 5 Experiments ‣ ReMax: A Simple, Effective, and Efficient Reinforcement Learning Method for Aligning Large Language Models" class="ltx_ref"><span class="ltx_text ltx_ref_tag">Figure</span> <span class="ltx_text ltx_ref_tag">4</span></a>, where we observe that ReMax is stable in training dynamics and offers a 2.1<math id="S5.SS1.p1.1.m1.1" class="ltx_Math" alttext="\times" display="inline"><semantics id="S5.SS1.p1.1.m1.1a"><mo id="S5.SS1.p1.1.m1.1.1" xref="S5.SS1.p1.1.m1.1.1.cmml">×</mo><annotation-xml encoding="MathML-Content" id="S5.SS1.p1.1.m1.1b"><times id="S5.SS1.p1.1.m1.1.1.cmml" xref="S5.SS1.p1.1.m1.1.1"></times></annotation-xml><annotation encoding="application/x-tex" id="S5.SS1.p1.1.m1.1c">\times</annotation></semantics></math> speed-up.</p>
</div>
<figure id="S5.F4" class="ltx_figure"><img src="/html/2310.10505/assets/x5.png" id="S5.F4.g1" class="ltx_graphics ltx_centering ltx_img_landscape" width="230" height="145" alt="Refer to caption">
<figcaption class="ltx_caption ltx_centering"><span class="ltx_tag ltx_tag_figure"><span id="S5.F4.2.1.1" class="ltx_text" style="font-size:90%;">Figure 4</span>: </span><span id="S5.F4.3.2" class="ltx_text" style="font-size:90%;">Evaluation rewards for fine-tuning an Llama2-7B model on the full-hh-rlhf dataset. To achieve comparable performance, ReMax offers a 2.1x speed-up.</span></figcaption>
</figure>
<div id="S5.SS1.p2" class="ltx_para">
<p id="S5.SS1.p2.1" class="ltx_p">Then, we consider assessing the response quality. We report three metrics: the reward score (evaluated by the trained reward model in the second step of RLHF), perplexity, and response length; see <a href="#S5.T1" title="In 5.1 On the Effectiveness of ReMax ‣ 5 Experiments ‣ ReMax: A Simple, Effective, and Efficient Reinforcement Learning Method for Aligning Large Language Models" class="ltx_ref"><span class="ltx_text ltx_ref_tag">Table</span> <span class="ltx_text ltx_ref_tag">1</span></a> for reference. In particular, we observe that alignment methods have higher perplexities, and ReMax has a longer response length.<span id="footnote5" class="ltx_note ltx_role_footnote"><sup class="ltx_note_mark">5</sup><span class="ltx_note_outer"><span class="ltx_note_content"><sup class="ltx_note_mark">5</sup><span class="ltx_tag ltx_tag_note">5</span>This is likely due to data bias in reward learning, rather than to reward optimization methods <cite class="ltx_cite ltx_citemacro_citep">(Singhal et al., <a href="#bib.bib32" title="" class="ltx_ref">2023</a>)</cite>.</span></span></span> More evaluation results can be found in <a href="#A4" title="Appendix D Additional Results ‣ ReMax: A Simple, Effective, and Efficient Reinforcement Learning Method for Aligning Large Language Models" class="ltx_ref"><span class="ltx_text ltx_ref_tag">Appendix</span> <span class="ltx_text ltx_ref_tag">D</span></a>.</p>
</div>
<figure id="S5.T1" class="ltx_table">
<table id="S5.T1.2" class="ltx_tabular ltx_centering ltx_align_middle">
<tr id="S5.Ex7" class="ltx_tr">
<td id="S5.Ex7.1" class="ltx_td ltx_align_center ltx_border_rr ltx_border_tt">Method</td>
<td id="S5.Ex7.2" class="ltx_td ltx_align_center ltx_border_r ltx_border_tt">Reward</td>
<td id="S5.Ex7.3" class="ltx_td ltx_align_center ltx_border_r ltx_border_tt">Perplexity</td>
<td id="S5.Ex7.4" class="ltx_td ltx_align_center ltx_border_tt">Length</td>
</tr>
<tr id="S5.Ex8" class="ltx_tr">
<td id="S5.Ex8.1" class="ltx_td ltx_align_center ltx_border_rr ltx_border_tt">SFT</td>
<td id="S5.Ex8.2" class="ltx_td ltx_align_center ltx_border_r ltx_border_tt">0.27</td>
<td id="S5.Ex8.3" class="ltx_td ltx_align_center ltx_border_r ltx_border_tt">4.68</td>
<td id="S5.Ex8.4" class="ltx_td ltx_align_center ltx_border_tt">90</td>
</tr>
<tr id="S5.Ex9" class="ltx_tr">
<td id="S5.Ex9.1" class="ltx_td ltx_align_center ltx_border_rr">DPO</td>
<td id="S5.Ex9.2" class="ltx_td ltx_align_center ltx_border_r">2.63</td>
<td id="S5.Ex9.3" class="ltx_td ltx_align_center ltx_border_r">4.74</td>
<td id="S5.Ex9.4" class="ltx_td ltx_align_center">125</td>
</tr>
<tr id="S5.Ex10" class="ltx_tr">
<td id="S5.Ex10.1" class="ltx_td ltx_align_center ltx_border_rr">PPO</td>
<td id="S5.Ex10.2" class="ltx_td ltx_align_center ltx_border_r">5.13</td>
<td id="S5.Ex10.3" class="ltx_td ltx_align_center ltx_border_r">5.30</td>
<td id="S5.Ex10.4" class="ltx_td ltx_align_center">132</td>
</tr>
<tr id="S5.Ex11" class="ltx_tr">
<td id="S5.Ex11.1" class="ltx_td ltx_align_center ltx_border_bb ltx_border_rr">ReMax</td>
<td id="S5.Ex11.2" class="ltx_td ltx_align_center ltx_border_bb ltx_border_r">5.13</td>
<td id="S5.Ex11.3" class="ltx_td ltx_align_center ltx_border_bb ltx_border_r">6.15</td>
<td id="S5.Ex11.4" class="ltx_td ltx_align_center ltx_border_bb">178</td>
</tr>
</table>
<figcaption class="ltx_caption ltx_centering"><span class="ltx_tag ltx_tag_table"><span id="S5.T1.3.1.1" class="ltx_text" style="font-size:90%;">Table 1</span>: </span><span id="S5.T1.4.2" class="ltx_text" style="font-size:90%;">Statistics for trained LLMs on the full-hh-rlhf evaluation dataset.</span></figcaption>
</figure>
<div id="S5.SS1.p3" class="ltx_para">
<p id="S5.SS1.p3.1" class="ltx_p">In addition, we also consider the AlpacaEval dataset <cite class="ltx_cite ltx_citemacro_citep">(Li et al., <a href="#bib.bib16" title="" class="ltx_ref">2023</a>)</cite> to assess the quality of the generated responses, which can be viewed as a kind of out-of-distribution measurement since methods are not directly trained on such a dataset. Because there is no reference for these test questions, we use a strong LLM model, GPT-4, to evaluate the binary win rate. We present the results in <a href="#S5.F5" title="In 5.1 On the Effectiveness of ReMax ‣ 5 Experiments ‣ ReMax: A Simple, Effective, and Efficient Reinforcement Learning Method for Aligning Large Language Models" class="ltx_ref"><span class="ltx_text ltx_ref_tag">Figure</span> <span class="ltx_text ltx_ref_tag">5</span></a>. We find that ReMax outperforms all baselines in average win rate. Samples of generated responses are given in <a href="#A5" title="Appendix E Samples of Response ‣ ReMax: A Simple, Effective, and Efficient Reinforcement Learning Method for Aligning Large Language Models" class="ltx_ref"><span class="ltx_text ltx_ref_tag">Appendix</span> <span class="ltx_text ltx_ref_tag">E</span></a>.</p>
</div>
<figure id="S5.F5" class="ltx_figure"><img src="/html/2310.10505/assets/x6.png" id="S5.F5.g1" class="ltx_graphics ltx_centering ltx_img_landscape" width="277" height="97" alt="Refer to caption">
<figcaption class="ltx_caption ltx_centering"><span class="ltx_tag ltx_tag_figure"><span id="S5.F5.2.1.1" class="ltx_text" style="font-size:90%;">Figure 5</span>: </span><span id="S5.F5.3.2" class="ltx_text" style="font-size:90%;">Evaluation on 805 test questions from the AlpacaEval dataset <cite class="ltx_cite ltx_citemacro_citep">(Li et al., <a href="#bib.bib16" title="" class="ltx_ref">2023</a>)</cite>, as rated by GPT-4. ReMax achieves win rates of 84.22%, 75.28%, and 63.60% over SFT, DPO, and PPO, respectively.</span></figcaption>
</figure>
<div id="S5.SS1.p4" class="ltx_para">
<p id="S5.SS1.p4.1" class="ltx_p">To summarize, our results suggest that ReMax is an effective reward maximization algorithm for RLHF. We believe the performance improvement of ReMax may be due to the fewer hyper-parameters it requires, which simplifies tuning.<span id="footnote6" class="ltx_note ltx_role_footnote"><sup class="ltx_note_mark">6</sup><span class="ltx_note_outer"><span class="ltx_note_content"><sup class="ltx_note_mark">6</sup><span class="ltx_tag ltx_tag_note">6</span>In our experiments, we used the same common hyperparameters, such as learning rate, across all methods and used the tuned algorithm-specific hyper-parameters from previous literature for the baselines.</span></span></span></p>
</div>
</section>
<section id="S5.SS2" class="ltx_subsection">
<h3 class="ltx_title ltx_title_subsection">
<span class="ltx_tag ltx_tag_subsection">5.2 </span>On the Efficiency of ReMax</h3>

<div id="S5.SS2.p1" class="ltx_para">
<p id="S5.SS2.p1.1" class="ltx_p">In this section, we show that in addition to the effectiveness, ReMax also exhibits computational efficiency in terms of memory and training speed.</p>
</div>
<div id="S5.SS2.p2" class="ltx_para">
<p id="S5.SS2.p2.1" class="ltx_p"><span id="S5.SS2.p2.1.1" class="ltx_text ltx_font_bold">Training memory improvement.</span> As discussed in <a href="#S4.SS2" title="4.2 From REINFORCE to ReMax ‣ 4 Proposed Method ‣ ReMax: A Simple, Effective, and Efficient Reinforcement Learning Method for Aligning Large Language Models" class="ltx_ref"><span class="ltx_text ltx_ref_tag">Section</span> <span class="ltx_text ltx_ref_tag">4.2</span></a>, ReMax can save about 50% memory usage compared with PPO, which is achieved by eliminating the need of training a value model. This bring two benefits. First, ReMax can support training when GPU memory resources are limited, whereas PPO may not in the same setting. Second, the memory savings from ReMax can be allocated to larger batch size training, which is crucial for increasing throughput and speeding up the entire training process on modern GPUs.</p>
</div>
<div id="S5.SS2.p3" class="ltx_para">
<p id="S5.SS2.p3.1" class="ltx_p">To demonstrate the memory improvement, we report the maximum batch size allowed when fine-tuning a Llama2-7B model on A100-80GB GPUs. Please refer to <a href="#S5.T2" title="In 5.2 On the Efficiency of ReMax ‣ 5 Experiments ‣ ReMax: A Simple, Effective, and Efficient Reinforcement Learning Method for Aligning Large Language Models" class="ltx_ref"><span class="ltx_text ltx_ref_tag">Table</span> <span class="ltx_text ltx_ref_tag">2</span></a>. Note that we conduct experiments with 4 GPUs and the offload technique described in <a href="#S5.SS1" title="5.1 On the Effectiveness of ReMax ‣ 5 Experiments ‣ ReMax: A Simple, Effective, and Efficient Reinforcement Learning Method for Aligning Large Language Models" class="ltx_ref"><span class="ltx_text ltx_ref_tag">Section</span> <span class="ltx_text ltx_ref_tag">5.1</span></a>, but performance in the single GPU case is also reported.</p>
</div>
<figure id="S5.T2" class="ltx_table">
<table id="S5.T2.2" class="ltx_tabular ltx_centering ltx_align_middle">
<tr id="S5.Ex12" class="ltx_tr">
<td id="S5.Ex12.1" class="ltx_td ltx_align_center ltx_border_r ltx_border_tt">GPUs</td>
<td id="S5.Ex12.2" class="ltx_td ltx_align_center ltx_border_r ltx_border_tt">Offload</td>
<td id="S5.Ex12.3" class="ltx_td ltx_align_center ltx_border_rr ltx_border_tt">Method</td>
<td id="S5.Ex12.4" class="ltx_td ltx_align_center ltx_border_tt">Max Batch Size</td>
</tr>
<tr id="S5.Ex13" class="ltx_tr">
<td id="S5.Ex13.1" class="ltx_td ltx_align_center ltx_border_r ltx_border_tt">4</td>
<td id="S5.Ex13.2" class="ltx_td ltx_align_center ltx_border_r ltx_border_tt">False</td>
<td id="S5.Ex13.3" class="ltx_td ltx_align_center ltx_border_rr ltx_border_tt">PPO</td>
<td id="S5.Ex13.4" class="ltx_td ltx_align_center ltx_border_tt">✗</td>
</tr>
<tr id="S5.Ex14" class="ltx_tr">
<td id="S5.Ex14.2" class="ltx_td ltx_align_center ltx_border_r">4</td>
<td id="S5.Ex14.3" class="ltx_td ltx_align_center ltx_border_r">False</td>
<td id="S5.Ex14.4" class="ltx_td ltx_align_center ltx_border_rr">ReMax</td>
<td id="S5.Ex14.1" class="ltx_td ltx_align_center">4<math id="S5.Ex14.1.m1.1" class="ltx_Math" alttext="\times" display="inline"><semantics id="S5.Ex14.1.m1.1a"><mo id="S5.Ex14.1.m1.1.1" xref="S5.Ex14.1.m1.1.1.cmml">×</mo><annotation-xml encoding="MathML-Content" id="S5.Ex14.1.m1.1b"><times id="S5.Ex14.1.m1.1.1.cmml" xref="S5.Ex14.1.m1.1.1"></times></annotation-xml><annotation encoding="application/x-tex" id="S5.Ex14.1.m1.1c">\times</annotation></semantics></math>26=104</td>
</tr>
<tr id="S5.Ex15" class="ltx_tr">
<td id="S5.Ex15.2" class="ltx_td ltx_align_center ltx_border_r ltx_border_t">4</td>
<td id="S5.Ex15.3" class="ltx_td ltx_align_center ltx_border_r ltx_border_t">True</td>
<td id="S5.Ex15.4" class="ltx_td ltx_align_center ltx_border_rr ltx_border_t">PPO</td>
<td id="S5.Ex15.1" class="ltx_td ltx_align_center ltx_border_t">4<math id="S5.Ex15.1.m1.1" class="ltx_Math" alttext="\times" display="inline"><semantics id="S5.Ex15.1.m1.1a"><mo id="S5.Ex15.1.m1.1.1" xref="S5.Ex15.1.m1.1.1.cmml">×</mo><annotation-xml encoding="MathML-Content" id="S5.Ex15.1.m1.1b"><times id="S5.Ex15.1.m1.1.1.cmml" xref="S5.Ex15.1.m1.1.1"></times></annotation-xml><annotation encoding="application/x-tex" id="S5.Ex15.1.m1.1c">\times</annotation></semantics></math>30=120</td>
</tr>
<tr id="S5.Ex16" class="ltx_tr">
<td id="S5.Ex16.2" class="ltx_td ltx_align_center ltx_border_r">4</td>
<td id="S5.Ex16.3" class="ltx_td ltx_align_center ltx_border_r">True</td>
<td id="S5.Ex16.4" class="ltx_td ltx_align_center ltx_border_rr">ReMax</td>
<td id="S5.Ex16.1" class="ltx_td ltx_align_center">4<math id="S5.Ex16.1.m1.1" class="ltx_Math" alttext="\times" display="inline"><semantics id="S5.Ex16.1.m1.1a"><mo id="S5.Ex16.1.m1.1.1" xref="S5.Ex16.1.m1.1.1.cmml">×</mo><annotation-xml encoding="MathML-Content" id="S5.Ex16.1.m1.1b"><times id="S5.Ex16.1.m1.1.1.cmml" xref="S5.Ex16.1.m1.1.1"></times></annotation-xml><annotation encoding="application/x-tex" id="S5.Ex16.1.m1.1c">\times</annotation></semantics></math>40=160</td>
</tr>
<tr id="S5.Ex17" class="ltx_tr">
<td id="S5.Ex17.1" class="ltx_td ltx_align_center ltx_border_r ltx_border_t">1</td>
<td id="S5.Ex17.2" class="ltx_td ltx_align_center ltx_border_r ltx_border_t">False</td>
<td id="S5.Ex17.3" class="ltx_td ltx_align_center ltx_border_rr ltx_border_t">PPO</td>
<td id="S5.Ex17.4" class="ltx_td ltx_align_center ltx_border_t">✗</td>
</tr>
<tr id="S5.Ex18" class="ltx_tr">
<td id="S5.Ex18.1" class="ltx_td ltx_align_center ltx_border_r">1</td>
<td id="S5.Ex18.2" class="ltx_td ltx_align_center ltx_border_r">False</td>
<td id="S5.Ex18.3" class="ltx_td ltx_align_center ltx_border_rr">ReMax</td>
<td id="S5.Ex18.4" class="ltx_td ltx_align_center">✗</td>
</tr>
<tr id="S5.Ex19" class="ltx_tr">
<td id="S5.Ex19.2" class="ltx_td ltx_align_center ltx_border_r ltx_border_t">1</td>
<td id="S5.Ex19.3" class="ltx_td ltx_align_center ltx_border_r ltx_border_t">True</td>
<td id="S5.Ex19.4" class="ltx_td ltx_align_center ltx_border_rr ltx_border_t">PPO</td>
<td id="S5.Ex19.1" class="ltx_td ltx_align_center ltx_border_t">1<math id="S5.Ex19.1.m1.1" class="ltx_Math" alttext="\times" display="inline"><semantics id="S5.Ex19.1.m1.1a"><mo id="S5.Ex19.1.m1.1.1" xref="S5.Ex19.1.m1.1.1.cmml">×</mo><annotation-xml encoding="MathML-Content" id="S5.Ex19.1.m1.1b"><times id="S5.Ex19.1.m1.1.1.cmml" xref="S5.Ex19.1.m1.1.1"></times></annotation-xml><annotation encoding="application/x-tex" id="S5.Ex19.1.m1.1c">\times</annotation></semantics></math>32=32</td>
</tr>
<tr id="S5.Ex20" class="ltx_tr">
<td id="S5.Ex20.2" class="ltx_td ltx_align_center ltx_border_bb ltx_border_r">1</td>
<td id="S5.Ex20.3" class="ltx_td ltx_align_center ltx_border_bb ltx_border_r">True</td>
<td id="S5.Ex20.4" class="ltx_td ltx_align_center ltx_border_bb ltx_border_rr">ReMax</td>
<td id="S5.Ex20.1" class="ltx_td ltx_align_center ltx_border_bb">1<math id="S5.Ex20.1.m1.1" class="ltx_Math" alttext="\times" display="inline"><semantics id="S5.Ex20.1.m1.1a"><mo id="S5.Ex20.1.m1.1.1" xref="S5.Ex20.1.m1.1.1.cmml">×</mo><annotation-xml encoding="MathML-Content" id="S5.Ex20.1.m1.1b"><times id="S5.Ex20.1.m1.1.1.cmml" xref="S5.Ex20.1.m1.1.1"></times></annotation-xml><annotation encoding="application/x-tex" id="S5.Ex20.1.m1.1c">\times</annotation></semantics></math>42=42</td>
</tr>
</table>
<figcaption class="ltx_caption ltx_centering"><span class="ltx_tag ltx_tag_table"><span id="S5.T2.3.1.1" class="ltx_text" style="font-size:90%;">Table 2</span>: </span><span id="S5.T2.4.2" class="ltx_text" style="font-size:90%;">Maximum of batch size allowed when fine-tuning Llama2-7B on A100-80GB GPUs. The symbol ✗ means that the algorithm cannot afford training due to the out-of-memory issue. The gradient checkpointing and ZeRO-2 technique are considered in both methods.</span></figcaption>
</figure>
<div id="S5.SS2.p4" class="ltx_para">
<p id="S5.SS2.p4.1" class="ltx_p"><span id="S5.SS2.p4.1.1" class="ltx_text ltx_font_bold">Training speed improvement.</span> The entire training time mainly depends on two factors: the batch size and the per-iteration training time. We have shown that ReMax outperforms PPO in the first aspect. For the second point, even both methods can use a same batch size, ReMax may be still superior. In particular, we have a rough estimate of per-iteration training time:<span id="footnote7" class="ltx_note ltx_role_footnote"><sup class="ltx_note_mark">7</sup><span class="ltx_note_outer"><span class="ltx_note_content"><sup class="ltx_note_mark">7</sup><span class="ltx_tag ltx_tag_note">7</span>For the off-policy training epoch hyper-parameter in PPO, we assume it takes the value of 1. Using a larger value makes PPO slower and may cause divergence. </span></span></span></p>
<table id="A5.EGx11" class="ltx_equationgroup ltx_eqn_align ltx_eqn_table">

<tbody id="S5.Ex21"><tr class="ltx_equation ltx_eqn_row ltx_align_baseline">
<td class="ltx_eqn_cell ltx_eqn_center_padleft"></td>
<td class="ltx_td ltx_align_right ltx_eqn_cell"><math id="S5.Ex21.m1.1" class="ltx_Math" alttext="\displaystyle\operatorname{PPO}" display="inline"><semantics id="S5.Ex21.m1.1a"><mi id="S5.Ex21.m1.1.1" xref="S5.Ex21.m1.1.1.cmml">PPO</mi><annotation-xml encoding="MathML-Content" id="S5.Ex21.m1.1b"><ci id="S5.Ex21.m1.1.1.cmml" xref="S5.Ex21.m1.1.1">PPO</ci></annotation-xml><annotation encoding="application/x-tex" id="S5.Ex21.m1.1c">\displaystyle\operatorname{PPO}</annotation></semantics></math></td>
<td class="ltx_td ltx_align_left ltx_eqn_cell"><math id="S5.Ex21.m2.1" class="ltx_Math" alttext="\displaystyle:t_{\operatorname{generation}}+2t_{\operatorname{backpropagation}}," display="inline"><semantics id="S5.Ex21.m2.1a"><mrow id="S5.Ex21.m2.1.1.1" xref="S5.Ex21.m2.1.1.1.1.cmml"><mrow id="S5.Ex21.m2.1.1.1.1" xref="S5.Ex21.m2.1.1.1.1.cmml"><mi id="S5.Ex21.m2.1.1.1.1.2" xref="S5.Ex21.m2.1.1.1.1.2.cmml"></mi><mo lspace="0.278em" rspace="0.278em" id="S5.Ex21.m2.1.1.1.1.1" xref="S5.Ex21.m2.1.1.1.1.1.cmml">:</mo><mrow id="S5.Ex21.m2.1.1.1.1.3" xref="S5.Ex21.m2.1.1.1.1.3.cmml"><msub id="S5.Ex21.m2.1.1.1.1.3.2" xref="S5.Ex21.m2.1.1.1.1.3.2.cmml"><mi id="S5.Ex21.m2.1.1.1.1.3.2.2" xref="S5.Ex21.m2.1.1.1.1.3.2.2.cmml">t</mi><mi id="S5.Ex21.m2.1.1.1.1.3.2.3" xref="S5.Ex21.m2.1.1.1.1.3.2.3.cmml">generation</mi></msub><mo id="S5.Ex21.m2.1.1.1.1.3.1" xref="S5.Ex21.m2.1.1.1.1.3.1.cmml">+</mo><mrow id="S5.Ex21.m2.1.1.1.1.3.3" xref="S5.Ex21.m2.1.1.1.1.3.3.cmml"><mn id="S5.Ex21.m2.1.1.1.1.3.3.2" xref="S5.Ex21.m2.1.1.1.1.3.3.2.cmml">2</mn><mo lspace="0em" rspace="0em" id="S5.Ex21.m2.1.1.1.1.3.3.1" xref="S5.Ex21.m2.1.1.1.1.3.3.1.cmml">​</mo><msub id="S5.Ex21.m2.1.1.1.1.3.3.3" xref="S5.Ex21.m2.1.1.1.1.3.3.3.cmml"><mi id="S5.Ex21.m2.1.1.1.1.3.3.3.2" xref="S5.Ex21.m2.1.1.1.1.3.3.3.2.cmml">t</mi><mi id="S5.Ex21.m2.1.1.1.1.3.3.3.3" xref="S5.Ex21.m2.1.1.1.1.3.3.3.3.cmml">backpropagation</mi></msub></mrow></mrow></mrow><mo id="S5.Ex21.m2.1.1.1.2" xref="S5.Ex21.m2.1.1.1.1.cmml">,</mo></mrow><annotation-xml encoding="MathML-Content" id="S5.Ex21.m2.1b"><apply id="S5.Ex21.m2.1.1.1.1.cmml" xref="S5.Ex21.m2.1.1.1"><ci id="S5.Ex21.m2.1.1.1.1.1.cmml" xref="S5.Ex21.m2.1.1.1.1.1">:</ci><csymbol cd="latexml" id="S5.Ex21.m2.1.1.1.1.2.cmml" xref="S5.Ex21.m2.1.1.1.1.2">absent</csymbol><apply id="S5.Ex21.m2.1.1.1.1.3.cmml" xref="S5.Ex21.m2.1.1.1.1.3"><plus id="S5.Ex21.m2.1.1.1.1.3.1.cmml" xref="S5.Ex21.m2.1.1.1.1.3.1"></plus><apply id="S5.Ex21.m2.1.1.1.1.3.2.cmml" xref="S5.Ex21.m2.1.1.1.1.3.2"><csymbol cd="ambiguous" id="S5.Ex21.m2.1.1.1.1.3.2.1.cmml" xref="S5.Ex21.m2.1.1.1.1.3.2">subscript</csymbol><ci id="S5.Ex21.m2.1.1.1.1.3.2.2.cmml" xref="S5.Ex21.m2.1.1.1.1.3.2.2">𝑡</ci><ci id="S5.Ex21.m2.1.1.1.1.3.2.3.cmml" xref="S5.Ex21.m2.1.1.1.1.3.2.3">generation</ci></apply><apply id="S5.Ex21.m2.1.1.1.1.3.3.cmml" xref="S5.Ex21.m2.1.1.1.1.3.3"><times id="S5.Ex21.m2.1.1.1.1.3.3.1.cmml" xref="S5.Ex21.m2.1.1.1.1.3.3.1"></times><cn type="integer" id="S5.Ex21.m2.1.1.1.1.3.3.2.cmml" xref="S5.Ex21.m2.1.1.1.1.3.3.2">2</cn><apply id="S5.Ex21.m2.1.1.1.1.3.3.3.cmml" xref="S5.Ex21.m2.1.1.1.1.3.3.3"><csymbol cd="ambiguous" id="S5.Ex21.m2.1.1.1.1.3.3.3.1.cmml" xref="S5.Ex21.m2.1.1.1.1.3.3.3">subscript</csymbol><ci id="S5.Ex21.m2.1.1.1.1.3.3.3.2.cmml" xref="S5.Ex21.m2.1.1.1.1.3.3.3.2">𝑡</ci><ci id="S5.Ex21.m2.1.1.1.1.3.3.3.3.cmml" xref="S5.Ex21.m2.1.1.1.1.3.3.3.3">backpropagation</ci></apply></apply></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="S5.Ex21.m2.1c">\displaystyle:t_{\operatorname{generation}}+2t_{\operatorname{backpropagation}},</annotation></semantics></math></td>
<td class="ltx_eqn_cell ltx_eqn_center_padright"></td>
</tr></tbody>
<tbody id="S5.Ex22"><tr class="ltx_equation ltx_eqn_row ltx_align_baseline">
<td class="ltx_eqn_cell ltx_eqn_center_padleft"></td>
<td class="ltx_td ltx_align_right ltx_eqn_cell"><math id="S5.Ex22.m1.1" class="ltx_Math" alttext="\displaystyle\operatorname{ReMax}" display="inline"><semantics id="S5.Ex22.m1.1a"><mi id="S5.Ex22.m1.1.1" xref="S5.Ex22.m1.1.1.cmml">ReMax</mi><annotation-xml encoding="MathML-Content" id="S5.Ex22.m1.1b"><ci id="S5.Ex22.m1.1.1.cmml" xref="S5.Ex22.m1.1.1">ReMax</ci></annotation-xml><annotation encoding="application/x-tex" id="S5.Ex22.m1.1c">\displaystyle\operatorname{ReMax}</annotation></semantics></math></td>
<td class="ltx_td ltx_align_left ltx_eqn_cell"><math id="S5.Ex22.m2.1" class="ltx_Math" alttext="\displaystyle:2t_{\operatorname{generation}}+t_{\operatorname{backpropagation}}." display="inline"><semantics id="S5.Ex22.m2.1a"><mrow id="S5.Ex22.m2.1.1.1" xref="S5.Ex22.m2.1.1.1.1.cmml"><mrow id="S5.Ex22.m2.1.1.1.1" xref="S5.Ex22.m2.1.1.1.1.cmml"><mi id="S5.Ex22.m2.1.1.1.1.2" xref="S5.Ex22.m2.1.1.1.1.2.cmml"></mi><mo lspace="0.278em" rspace="0.278em" id="S5.Ex22.m2.1.1.1.1.1" xref="S5.Ex22.m2.1.1.1.1.1.cmml">:</mo><mrow id="S5.Ex22.m2.1.1.1.1.3" xref="S5.Ex22.m2.1.1.1.1.3.cmml"><mrow id="S5.Ex22.m2.1.1.1.1.3.2" xref="S5.Ex22.m2.1.1.1.1.3.2.cmml"><mn id="S5.Ex22.m2.1.1.1.1.3.2.2" xref="S5.Ex22.m2.1.1.1.1.3.2.2.cmml">2</mn><mo lspace="0em" rspace="0em" id="S5.Ex22.m2.1.1.1.1.3.2.1" xref="S5.Ex22.m2.1.1.1.1.3.2.1.cmml">​</mo><msub id="S5.Ex22.m2.1.1.1.1.3.2.3" xref="S5.Ex22.m2.1.1.1.1.3.2.3.cmml"><mi id="S5.Ex22.m2.1.1.1.1.3.2.3.2" xref="S5.Ex22.m2.1.1.1.1.3.2.3.2.cmml">t</mi><mi id="S5.Ex22.m2.1.1.1.1.3.2.3.3" xref="S5.Ex22.m2.1.1.1.1.3.2.3.3.cmml">generation</mi></msub></mrow><mo id="S5.Ex22.m2.1.1.1.1.3.1" xref="S5.Ex22.m2.1.1.1.1.3.1.cmml">+</mo><msub id="S5.Ex22.m2.1.1.1.1.3.3" xref="S5.Ex22.m2.1.1.1.1.3.3.cmml"><mi id="S5.Ex22.m2.1.1.1.1.3.3.2" xref="S5.Ex22.m2.1.1.1.1.3.3.2.cmml">t</mi><mi id="S5.Ex22.m2.1.1.1.1.3.3.3" xref="S5.Ex22.m2.1.1.1.1.3.3.3.cmml">backpropagation</mi></msub></mrow></mrow><mo lspace="0em" id="S5.Ex22.m2.1.1.1.2" xref="S5.Ex22.m2.1.1.1.1.cmml">.</mo></mrow><annotation-xml encoding="MathML-Content" id="S5.Ex22.m2.1b"><apply id="S5.Ex22.m2.1.1.1.1.cmml" xref="S5.Ex22.m2.1.1.1"><ci id="S5.Ex22.m2.1.1.1.1.1.cmml" xref="S5.Ex22.m2.1.1.1.1.1">:</ci><csymbol cd="latexml" id="S5.Ex22.m2.1.1.1.1.2.cmml" xref="S5.Ex22.m2.1.1.1.1.2">absent</csymbol><apply id="S5.Ex22.m2.1.1.1.1.3.cmml" xref="S5.Ex22.m2.1.1.1.1.3"><plus id="S5.Ex22.m2.1.1.1.1.3.1.cmml" xref="S5.Ex22.m2.1.1.1.1.3.1"></plus><apply id="S5.Ex22.m2.1.1.1.1.3.2.cmml" xref="S5.Ex22.m2.1.1.1.1.3.2"><times id="S5.Ex22.m2.1.1.1.1.3.2.1.cmml" xref="S5.Ex22.m2.1.1.1.1.3.2.1"></times><cn type="integer" id="S5.Ex22.m2.1.1.1.1.3.2.2.cmml" xref="S5.Ex22.m2.1.1.1.1.3.2.2">2</cn><apply id="S5.Ex22.m2.1.1.1.1.3.2.3.cmml" xref="S5.Ex22.m2.1.1.1.1.3.2.3"><csymbol cd="ambiguous" id="S5.Ex22.m2.1.1.1.1.3.2.3.1.cmml" xref="S5.Ex22.m2.1.1.1.1.3.2.3">subscript</csymbol><ci id="S5.Ex22.m2.1.1.1.1.3.2.3.2.cmml" xref="S5.Ex22.m2.1.1.1.1.3.2.3.2">𝑡</ci><ci id="S5.Ex22.m2.1.1.1.1.3.2.3.3.cmml" xref="S5.Ex22.m2.1.1.1.1.3.2.3.3">generation</ci></apply></apply><apply id="S5.Ex22.m2.1.1.1.1.3.3.cmml" xref="S5.Ex22.m2.1.1.1.1.3.3"><csymbol cd="ambiguous" id="S5.Ex22.m2.1.1.1.1.3.3.1.cmml" xref="S5.Ex22.m2.1.1.1.1.3.3">subscript</csymbol><ci id="S5.Ex22.m2.1.1.1.1.3.3.2.cmml" xref="S5.Ex22.m2.1.1.1.1.3.3.2">𝑡</ci><ci id="S5.Ex22.m2.1.1.1.1.3.3.3.cmml" xref="S5.Ex22.m2.1.1.1.1.3.3.3">backpropagation</ci></apply></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="S5.Ex22.m2.1c">\displaystyle:2t_{\operatorname{generation}}+t_{\operatorname{backpropagation}}.</annotation></semantics></math></td>
<td class="ltx_eqn_cell ltx_eqn_center_padright"></td>
</tr></tbody>
</table>
<p id="S5.SS2.p4.2" class="ltx_p">The first line follows that in each iteration, PPO needs to generate a response and train two neural networks: the language model and the value model. According to <a href="#alg1" title="In 1.1 Our Contribution ‣ 1 Introduction ‣ ReMax: A Simple, Effective, and Efficient Reinforcement Learning Method for Aligning Large Language Models" class="ltx_ref"><span class="ltx_text ltx_ref_tag">Algorithm</span> <span class="ltx_text ltx_ref_tag">1</span></a>, ReMax needs to additionally generate a response for variance-reduction, but does not require training of a value model. In our experiments, we find that the generation time is significantly less than the backpropagation time used to a train a model. Please refer to <a href="#S5.T3" title="In 5.2 On the Efficiency of ReMax ‣ 5 Experiments ‣ ReMax: A Simple, Effective, and Efficient Reinforcement Learning Method for Aligning Large Language Models" class="ltx_ref"><span class="ltx_text ltx_ref_tag">Table</span> <span class="ltx_text ltx_ref_tag">3</span></a>.</p>
</div>
<figure id="S5.T3" class="ltx_table">
<table id="S5.T3.2" class="ltx_tabular ltx_centering ltx_align_middle">
<tr id="S5.Ex23" class="ltx_tr">
<td id="S5.Ex23.1" class="ltx_td ltx_align_center ltx_border_r ltx_border_tt">GPUs</td>
<td id="S5.Ex23.2" class="ltx_td ltx_align_center ltx_border_r ltx_border_tt">Offload</td>
<td id="S5.Ex23.3" class="ltx_td ltx_align_center ltx_border_rr ltx_border_tt">Method</td>
<td id="S5.Ex23.4" class="ltx_td ltx_align_center ltx_border_r ltx_border_tt">G</td>
<td id="S5.Ex23.5" class="ltx_td ltx_align_center ltx_border_r ltx_border_tt">B</td>
<td id="S5.Ex23.6" class="ltx_td ltx_align_center ltx_border_tt">T</td>
</tr>
<tr id="S5.Ex24" class="ltx_tr">
<td id="S5.Ex24.1" class="ltx_td ltx_align_center ltx_border_r ltx_border_tt">4</td>
<td id="S5.Ex24.2" class="ltx_td ltx_align_center ltx_border_r ltx_border_tt">False</td>
<td id="S5.Ex24.3" class="ltx_td ltx_align_center ltx_border_rr ltx_border_tt">PPO</td>
<td id="S5.Ex24.4" class="ltx_td ltx_align_center ltx_border_r ltx_border_tt">✗</td>
<td id="S5.Ex24.5" class="ltx_td ltx_align_center ltx_border_r ltx_border_tt">✗</td>
<td id="S5.Ex24.6" class="ltx_td ltx_align_center ltx_border_tt">✗</td>
</tr>
<tr id="S5.Ex25" class="ltx_tr">
<td id="S5.Ex25.1" class="ltx_td ltx_align_center ltx_border_r">4</td>
<td id="S5.Ex25.2" class="ltx_td ltx_align_center ltx_border_r">False</td>
<td id="S5.Ex25.3" class="ltx_td ltx_align_center ltx_border_rr">ReMax</td>
<td id="S5.Ex25.4" class="ltx_td ltx_align_center ltx_border_r">9.3s</td>
<td id="S5.Ex25.5" class="ltx_td ltx_align_center ltx_border_r">10.9s</td>
<td id="S5.Ex25.6" class="ltx_td ltx_align_center">2.4h</td>
</tr>
<tr id="S5.Ex26" class="ltx_tr">
<td id="S5.Ex26.1" class="ltx_td ltx_align_center ltx_border_r ltx_border_t">4</td>
<td id="S5.Ex26.2" class="ltx_td ltx_align_center ltx_border_r ltx_border_t">True</td>
<td id="S5.Ex26.3" class="ltx_td ltx_align_center ltx_border_rr ltx_border_t">PPO</td>
<td id="S5.Ex26.4" class="ltx_td ltx_align_center ltx_border_r ltx_border_t">5.1s</td>
<td id="S5.Ex26.5" class="ltx_td ltx_align_center ltx_border_r ltx_border_t">52.9s</td>
<td id="S5.Ex26.6" class="ltx_td ltx_align_center ltx_border_t">6.0h</td>
</tr>
<tr id="S5.Ex27" class="ltx_tr">
<td id="S5.Ex27.1" class="ltx_td ltx_align_center ltx_border_r">4</td>
<td id="S5.Ex27.2" class="ltx_td ltx_align_center ltx_border_r">True</td>
<td id="S5.Ex27.3" class="ltx_td ltx_align_center ltx_border_rr">ReMax</td>
<td id="S5.Ex27.4" class="ltx_td ltx_align_center ltx_border_r">10.6s</td>
<td id="S5.Ex27.5" class="ltx_td ltx_align_center ltx_border_r">25.8s</td>
<td id="S5.Ex27.6" class="ltx_td ltx_align_center">2.8h</td>
</tr>
<tr id="S5.Ex28" class="ltx_tr">
<td id="S5.Ex28.1" class="ltx_td ltx_align_center ltx_border_r ltx_border_t">1</td>
<td id="S5.Ex28.2" class="ltx_td ltx_align_center ltx_border_r ltx_border_t">False</td>
<td id="S5.Ex28.3" class="ltx_td ltx_align_center ltx_border_rr ltx_border_t">PPO</td>
<td id="S5.Ex28.4" class="ltx_td ltx_align_center ltx_border_r ltx_border_t">✗</td>
<td id="S5.Ex28.5" class="ltx_td ltx_align_center ltx_border_r ltx_border_t">✗</td>
<td id="S5.Ex28.6" class="ltx_td ltx_align_center ltx_border_t">✗</td>
</tr>
<tr id="S5.Ex29" class="ltx_tr">
<td id="S5.Ex29.1" class="ltx_td ltx_align_center ltx_border_r">1</td>
<td id="S5.Ex29.2" class="ltx_td ltx_align_center ltx_border_r">False</td>
<td id="S5.Ex29.3" class="ltx_td ltx_align_center ltx_border_rr">ReMax</td>
<td id="S5.Ex29.4" class="ltx_td ltx_align_center ltx_border_r">✗</td>
<td id="S5.Ex29.5" class="ltx_td ltx_align_center ltx_border_r">✗</td>
<td id="S5.Ex29.6" class="ltx_td ltx_align_center">✗</td>
</tr>
<tr id="S5.Ex30" class="ltx_tr">
<td id="S5.Ex30.1" class="ltx_td ltx_align_center ltx_border_r ltx_border_t">1</td>
<td id="S5.Ex30.2" class="ltx_td ltx_align_center ltx_border_r ltx_border_t">True</td>
<td id="S5.Ex30.3" class="ltx_td ltx_align_center ltx_border_rr ltx_border_t">PPO</td>
<td id="S5.Ex30.4" class="ltx_td ltx_align_center ltx_border_r ltx_border_t">5.6s</td>
<td id="S5.Ex30.5" class="ltx_td ltx_align_center ltx_border_r ltx_border_t">51.0s</td>
<td id="S5.Ex30.6" class="ltx_td ltx_align_center ltx_border_t">22.0h</td>
</tr>
<tr id="S5.Ex31" class="ltx_tr">
<td id="S5.Ex31.1" class="ltx_td ltx_align_center ltx_border_bb ltx_border_r">1</td>
<td id="S5.Ex31.2" class="ltx_td ltx_align_center ltx_border_bb ltx_border_r">True</td>
<td id="S5.Ex31.3" class="ltx_td ltx_align_center ltx_border_bb ltx_border_rr">ReMax</td>
<td id="S5.Ex31.4" class="ltx_td ltx_align_center ltx_border_bb ltx_border_r">11.3s</td>
<td id="S5.Ex31.5" class="ltx_td ltx_align_center ltx_border_bb ltx_border_r">23.1s</td>
<td id="S5.Ex31.6" class="ltx_td ltx_align_center ltx_border_bb">10.2h</td>
</tr>
</table>
<figcaption class="ltx_caption ltx_centering"><span class="ltx_tag ltx_tag_table"><span id="S5.T3.3.1.1" class="ltx_text" style="font-size:90%;">Table 3</span>: </span><span id="S5.T3.4.2" class="ltx_text" style="font-size:90%;">Training time for fine-tuning Llama2-7B on A100-80GB GPUs with 45k samples of length 512. The symbols “G” and “B” correspond to the generation time and backpropagation time for all models used in 1 iteration, respectively. The symbol “T” indicates the total training time of 1 epoch.</span></figcaption>
</figure>
<div id="S5.SS2.p5" class="ltx_para">
<p id="S5.SS2.p5.1" class="ltx_p">From <a href="#S5.T3" title="In 5.2 On the Efficiency of ReMax ‣ 5 Experiments ‣ ReMax: A Simple, Effective, and Efficient Reinforcement Learning Method for Aligning Large Language Models" class="ltx_ref"><span class="ltx_text ltx_ref_tag">Table</span> <span class="ltx_text ltx_ref_tag">3</span></a>, we observe that with 4 GPUs, ReMax can support training and offer a 2.5<math id="S5.SS2.p5.1.m1.1" class="ltx_Math" alttext="\times" display="inline"><semantics id="S5.SS2.p5.1.m1.1a"><mo id="S5.SS2.p5.1.m1.1.1" xref="S5.SS2.p5.1.m1.1.1.cmml">×</mo><annotation-xml encoding="MathML-Content" id="S5.SS2.p5.1.m1.1b"><times id="S5.SS2.p5.1.m1.1.1.cmml" xref="S5.SS2.p5.1.m1.1.1"></times></annotation-xml><annotation encoding="application/x-tex" id="S5.SS2.p5.1.m1.1c">\times</annotation></semantics></math> speed-up by eliminating the need for the offload technique, which slows down computation.</p>
</div>
<div id="S5.SS2.p6" class="ltx_para">
<p id="S5.SS2.p6.1" class="ltx_p">The main limitation of ReMax is its use of an additional response for gradient estimation. Nevertheless, we note that this limitation is not significant because, in larger-scale models, the forward process (corresponding to generation) should be faster than the backward process (corresponding to training) in properly designed neural networks.</p>
</div>
</section>
</section>
<section id="S6" class="ltx_section">
<h2 class="ltx_title ltx_title_section">
<span class="ltx_tag ltx_tag_section">6 </span>Conclusion</h2>

<div id="S6.p1" class="ltx_para">
<p id="S6.p1.1" class="ltx_p">In this paper, we introduce a new method called ReMax, which offers several advantages, including simple implementation, reduced memory usage, fewer hyper-parameters, accelerated training speed, and better task performance compared with the prevalent practice of using PPO. Overall, ReMax makes RLHF easier and cheaper to use for LLMs.</p>
</div>
<div id="S6.p2" class="ltx_para">
<p id="S6.p2.1" class="ltx_p">We acknowledge that ReMax does not address all challenges. Issues like reward hacking <cite class="ltx_cite ltx_citemacro_citep">(Skalse et al., <a href="#bib.bib33" title="" class="ltx_ref">2022</a>)</cite> and mis-alignment <cite class="ltx_cite ltx_citemacro_citep">(Pang et al., <a href="#bib.bib20" title="" class="ltx_ref">2023</a>)</cite> require careful data collection and the design of reward learning objectives. Nevertheless, an efficient reward maximization method like ReMax aids in quickly identifying issues in RLHF and LLMs.</p>
</div>
</section>
<section id="bib" class="ltx_bibliography">
<h2 class="ltx_title ltx_title_bibliography">References</h2>

<ul class="ltx_biblist">
<li id="bib.bib1" class="ltx_bibitem">
<span class="ltx_tag ltx_role_refnum ltx_tag_bibitem">Bai et al. [2022a]</span>
<span class="ltx_bibblock">
Y. Bai, A. Jones, K. Ndousse, A. Askell, A. Chen, N. DasSarma, D. Drain, S. Fort, D. Ganguli, T. Henighan, et al.

</span>
<span class="ltx_bibblock">Training a helpful and harmless assistant with reinforcement learning from human feedback.

</span>
<span class="ltx_bibblock"><em id="bib.bib1.1.1" class="ltx_emph ltx_font_italic">arXiv preprint arXiv:2204.05862</em>, 2022a.

</span>
</li>
<li id="bib.bib2" class="ltx_bibitem">
<span class="ltx_tag ltx_role_refnum ltx_tag_bibitem">Bai et al. [2022b]</span>
<span class="ltx_bibblock">
Y. Bai, S. Kadavath, S. Kundu, A. Askell, J. Kernion, A. Jones, A. Chen, A. Goldie, A. Mirhoseini, C. McKinnon, et al.

</span>
<span class="ltx_bibblock">Constitutional ai: Harmlessness from ai feedback.

</span>
<span class="ltx_bibblock"><em id="bib.bib2.1.1" class="ltx_emph ltx_font_italic">arXiv preprint arXiv:2212.08073</em>, 2022b.

</span>
</li>
<li id="bib.bib3" class="ltx_bibitem">
<span class="ltx_tag ltx_role_refnum ltx_tag_bibitem">Bartlett [1953]</span>
<span class="ltx_bibblock">
M. Bartlett.

</span>
<span class="ltx_bibblock">Approximate confidence intervals.

</span>
<span class="ltx_bibblock"><em id="bib.bib3.1.1" class="ltx_emph ltx_font_italic">Biometrika</em>, 40(1/2):12–19, 1953.

</span>
</li>
<li id="bib.bib4" class="ltx_bibitem">
<span class="ltx_tag ltx_role_refnum ltx_tag_bibitem">Bommasani et al. [2021]</span>
<span class="ltx_bibblock">
R. Bommasani, D. A. Hudson, E. Adeli, R. Altman, S. Arora, S. von Arx, M. S. Bernstein, J. Bohg, A. Bosselut, E. Brunskill, et al.

</span>
<span class="ltx_bibblock">On the opportunities and risks of foundation models.

</span>
<span class="ltx_bibblock"><em id="bib.bib4.1.1" class="ltx_emph ltx_font_italic">arXiv preprint arXiv:2108.07258</em>, 2021.

</span>
</li>
<li id="bib.bib5" class="ltx_bibitem">
<span class="ltx_tag ltx_role_refnum ltx_tag_bibitem">Brown et al. [2020]</span>
<span class="ltx_bibblock">
T. Brown, B. Mann, N. Ryder, M. Subbiah, J. D. Kaplan, P. Dhariwal, A. Neelakantan, P. Shyam, G. Sastry, A. Askell, et al.

</span>
<span class="ltx_bibblock">Language models are few-shot learners.

</span>
<span class="ltx_bibblock"><em id="bib.bib5.1.1" class="ltx_emph ltx_font_italic">Advances in Neural Information Processing Systems 33</em>, pages 1877–1901, 2020.

</span>
</li>
<li id="bib.bib6" class="ltx_bibitem">
<span class="ltx_tag ltx_role_refnum ltx_tag_bibitem">Cai et al. [2020]</span>
<span class="ltx_bibblock">
Q. Cai, Z. Yang, C. Jin, and Z. Wang.

</span>
<span class="ltx_bibblock">Provably efficient exploration in policy optimization.

</span>
<span class="ltx_bibblock">In <em id="bib.bib6.1.1" class="ltx_emph ltx_font_italic">Proceedings of the 37th International Conference on Machine Learning</em>, pages 1283–1294, 2020.

</span>
</li>
<li id="bib.bib7" class="ltx_bibitem">
<span class="ltx_tag ltx_role_refnum ltx_tag_bibitem">Casper et al. [2023]</span>
<span class="ltx_bibblock">
S. Casper, X. Davies, C. Shi, T. K. Gilbert, J. Scheurer, J. Rando, R. Freedman, T. Korbak, D. Lindner, P. Freire, et al.

</span>
<span class="ltx_bibblock">Open problems and fundamental limitations of reinforcement learning from human feedback.

</span>
<span class="ltx_bibblock"><em id="bib.bib7.1.1" class="ltx_emph ltx_font_italic">arXiv preprint arXiv:2307.15217</em>, 2023.

</span>
</li>
<li id="bib.bib8" class="ltx_bibitem">
<span class="ltx_tag ltx_role_refnum ltx_tag_bibitem">Dayan [1991]</span>
<span class="ltx_bibblock">
P. Dayan.

</span>
<span class="ltx_bibblock">Reinforcement comparison.

</span>
<span class="ltx_bibblock">In <em id="bib.bib8.1.1" class="ltx_emph ltx_font_italic">Connectionist Models</em>, pages 45–51. Elsevier, 1991.

</span>
</li>
<li id="bib.bib9" class="ltx_bibitem">
<span class="ltx_tag ltx_role_refnum ltx_tag_bibitem">Dong et al. [2023]</span>
<span class="ltx_bibblock">
H. Dong, W. Xiong, D. Goyal, R. Pan, S. Diao, J. Zhang, K. Shum, and T. Zhang.

</span>
<span class="ltx_bibblock">Raft: Reward ranked finetuning for generative foundation model alignment.

</span>
<span class="ltx_bibblock"><em id="bib.bib9.1.1" class="ltx_emph ltx_font_italic">arXiv preprint arXiv:2304.06767</em>, 2023.

</span>
</li>
<li id="bib.bib10" class="ltx_bibitem">
<span class="ltx_tag ltx_role_refnum ltx_tag_bibitem">Dubois et al. [2023]</span>
<span class="ltx_bibblock">
Y. Dubois, X. Li, R. Taori, T. Zhang, I. Gulrajani, J. Ba, C. Guestrin, P. Liang, and T. B. Hashimoto.

</span>
<span class="ltx_bibblock">Alpacafarm: A simulation framework for methods that learn from human feedback.

</span>
<span class="ltx_bibblock"><em id="bib.bib10.1.1" class="ltx_emph ltx_font_italic">arXiv preprint arXiv:2305.14387</em>, 2023.

</span>
</li>
<li id="bib.bib11" class="ltx_bibitem">
<span class="ltx_tag ltx_role_refnum ltx_tag_bibitem">Engstrom et al. [2020]</span>
<span class="ltx_bibblock">
L. Engstrom, A. Ilyas, S. Santurkar, D. Tsipras, F. Janoos, L. Rudolph, and A. Madry.

</span>
<span class="ltx_bibblock">Implementation matters in deep policy gradients: A case study on ppo and trpo.

</span>
<span class="ltx_bibblock"><em id="bib.bib11.1.1" class="ltx_emph ltx_font_italic">arXiv preprint arXiv:2005.12729</em>, 2020.

</span>
</li>
<li id="bib.bib12" class="ltx_bibitem">
<span class="ltx_tag ltx_role_refnum ltx_tag_bibitem">Gao et al. [2023]</span>
<span class="ltx_bibblock">
L. Gao, J. Schulman, and J. Hilton.

</span>
<span class="ltx_bibblock">Scaling laws for reward model overoptimization.

</span>
<span class="ltx_bibblock">In <em id="bib.bib12.1.1" class="ltx_emph ltx_font_italic">Proceedings of the 40th International Conference on Machine Learning</em>, pages 10835–10866, 2023.

</span>
</li>
<li id="bib.bib13" class="ltx_bibitem">
<span class="ltx_tag ltx_role_refnum ltx_tag_bibitem">Greensmith et al. [2004]</span>
<span class="ltx_bibblock">
E. Greensmith, P. L. Bartlett, and J. Baxter.

</span>
<span class="ltx_bibblock">Variance reduction techniques for gradient estimates in reinforcement learning.

</span>
<span class="ltx_bibblock"><em id="bib.bib13.1.1" class="ltx_emph ltx_font_italic">Journal of Machine Learning Research</em>, 5(9), 2004.

</span>
</li>
<li id="bib.bib14" class="ltx_bibitem">
<span class="ltx_tag ltx_role_refnum ltx_tag_bibitem">Hu et al. [2022]</span>
<span class="ltx_bibblock">
E. J. Hu, Y. Shen, P. Wallis, Z. Allen-Zhu, Y. Li, S. Wang, L. Wang, and W. Chen.

</span>
<span class="ltx_bibblock">Lora: Low-rank adaptation of large language models.

</span>
<span class="ltx_bibblock">In <em id="bib.bib14.1.1" class="ltx_emph ltx_font_italic">Proceedings of the 10th International Conference on Learning Representations</em>, 2022.

</span>
</li>
<li id="bib.bib15" class="ltx_bibitem">
<span class="ltx_tag ltx_role_refnum ltx_tag_bibitem">Lee et al. [2023]</span>
<span class="ltx_bibblock">
H. Lee, S. Phatale, H. Mansoor, K. Lu, T. Mesnard, C. Bishop, V. Carbune, and A. Rastogi.

</span>
<span class="ltx_bibblock">Rlaif: Scaling reinforcement learning from human feedback with ai feedback.

</span>
<span class="ltx_bibblock"><em id="bib.bib15.1.1" class="ltx_emph ltx_font_italic">arXiv preprint arXiv:2309.00267</em>, 2023.

</span>
</li>
<li id="bib.bib16" class="ltx_bibitem">
<span class="ltx_tag ltx_role_refnum ltx_tag_bibitem">Li et al. [2023]</span>
<span class="ltx_bibblock">
X. Li, T. Zhang, Y. Dubois, R. Taori, I. Gulrajani, C. Guestrin, P. Liang, and T. B. Hashimoto.

</span>
<span class="ltx_bibblock">Alpacaeval: An automatic evaluator of instruction-following models.

</span>
<span class="ltx_bibblock"><a target="_blank" href="https://github.com/tatsu-lab/alpaca_eval" title="" class="ltx_ref ltx_url ltx_font_typewriter">https://github.com/tatsu-lab/alpaca_eval</a>, 2023.

</span>
</li>
<li id="bib.bib17" class="ltx_bibitem">
<span class="ltx_tag ltx_role_refnum ltx_tag_bibitem">Mohamed et al. [2020]</span>
<span class="ltx_bibblock">
S. Mohamed, M. Rosca, M. Figurnov, and A. Mnih.

</span>
<span class="ltx_bibblock">Monte carlo gradient estimation in machine learning.

</span>
<span class="ltx_bibblock"><em id="bib.bib17.1.1" class="ltx_emph ltx_font_italic">Journal of Machine Learning Research</em>, 21(132):1–62, 2020.

</span>
</li>
<li id="bib.bib18" class="ltx_bibitem">
<span class="ltx_tag ltx_role_refnum ltx_tag_bibitem">OpenAI [2023]</span>
<span class="ltx_bibblock">
OpenAI.

</span>
<span class="ltx_bibblock">Gpt-4 technical report.

</span>
<span class="ltx_bibblock"><em id="bib.bib18.1.1" class="ltx_emph ltx_font_italic">arXiv preprint arXiv:2303.08774</em>, 2023.

</span>
</li>
<li id="bib.bib19" class="ltx_bibitem">
<span class="ltx_tag ltx_role_refnum ltx_tag_bibitem">Ouyang et al. [2022]</span>
<span class="ltx_bibblock">
L. Ouyang, J. Wu, X. Jiang, D. Almeida, C. Wainwright, P. Mishkin, C. Zhang, S. Agarwal, K. Slama, A. Ray, et al.

</span>
<span class="ltx_bibblock">Training language models to follow instructions with human feedback.

</span>
<span class="ltx_bibblock"><em id="bib.bib19.1.1" class="ltx_emph ltx_font_italic">Advances in Neural Information Processing Systems 35</em>, pages 27730–27744, 2022.

</span>
</li>
<li id="bib.bib20" class="ltx_bibitem">
<span class="ltx_tag ltx_role_refnum ltx_tag_bibitem">Pang et al. [2023]</span>
<span class="ltx_bibblock">
R. Y. Pang, V. Padmakumar, T. Sellam, A. Parikh, and H. He.

</span>
<span class="ltx_bibblock">Reward gaming in conditional text generation.

</span>
<span class="ltx_bibblock">In <em id="bib.bib20.1.1" class="ltx_emph ltx_font_italic">Proceedings of the 61st Annual Meeting of the Association for Computational Linguistics</em>, pages 4746–4763, 2023.

</span>
</li>
<li id="bib.bib21" class="ltx_bibitem">
<span class="ltx_tag ltx_role_refnum ltx_tag_bibitem">Puterman [2014]</span>
<span class="ltx_bibblock">
M. L. Puterman.

</span>
<span class="ltx_bibblock"><em id="bib.bib21.1.1" class="ltx_emph ltx_font_italic">Markov Decision Processes: Discrete Stochastic Dynamic Programming</em>.

</span>
<span class="ltx_bibblock">John Wiley &amp; Sons, 2014.

</span>
</li>
<li id="bib.bib22" class="ltx_bibitem">
<span class="ltx_tag ltx_role_refnum ltx_tag_bibitem">Radford et al. [2019]</span>
<span class="ltx_bibblock">
A. Radford, J. Wu, R. Child, D. Luan, D. Amodei, I. Sutskever, et al.

</span>
<span class="ltx_bibblock">Language models are unsupervised multitask learners.

</span>
<span class="ltx_bibblock"><em id="bib.bib22.1.1" class="ltx_emph ltx_font_italic">OpenAI blog</em>, 2019.

</span>
</li>
<li id="bib.bib23" class="ltx_bibitem">
<span class="ltx_tag ltx_role_refnum ltx_tag_bibitem">Rafailov et al. [2023]</span>
<span class="ltx_bibblock">
R. Rafailov, A. Sharma, E. Mitchell, S. Ermon, C. D. Manning, and C. Finn.

</span>
<span class="ltx_bibblock">Direct preference optimization: Your language model is secretly a reward model.

</span>
<span class="ltx_bibblock"><em id="bib.bib23.1.1" class="ltx_emph ltx_font_italic">arXiv preprint arXiv:2305.18290</em>, 2023.

</span>
</li>
<li id="bib.bib24" class="ltx_bibitem">
<span class="ltx_tag ltx_role_refnum ltx_tag_bibitem">Rajbhandari et al. [2020]</span>
<span class="ltx_bibblock">
S. Rajbhandari, J. Rasley, O. Ruwase, and Y. He.

</span>
<span class="ltx_bibblock">Zero: Memory optimizations toward training trillion parameter models.

</span>
<span class="ltx_bibblock">In <em id="bib.bib24.1.1" class="ltx_emph ltx_font_italic">SC20: International Conference for High Performance Computing, Networking, Storage and Analysis</em>, pages 1–16, 2020.

</span>
</li>
<li id="bib.bib25" class="ltx_bibitem">
<span class="ltx_tag ltx_role_refnum ltx_tag_bibitem">Ramamurthy et al. [2023]</span>
<span class="ltx_bibblock">
R. Ramamurthy, P. Ammanabrolu, K. Brantley, J. Hessel, R. Sifa, C. Bauckhage, H. Hajishirzi, and Y. Choi.

</span>
<span class="ltx_bibblock">Is reinforcement learning (not) for natural language processing: Benchmarks, baselines, and building blocks for natural language policy optimization.

</span>
<span class="ltx_bibblock">In <em id="bib.bib25.1.1" class="ltx_emph ltx_font_italic">Proceedings of 11th International Conference on Learning Representations</em>, 2023.

</span>
</li>
<li id="bib.bib26" class="ltx_bibitem">
<span class="ltx_tag ltx_role_refnum ltx_tag_bibitem">Ren et al. [2021]</span>
<span class="ltx_bibblock">
J. Ren, S. Rajbhandari, R. Y. Aminabadi, O. Ruwase, S. Yang, M. Zhang, D. Li, and Y. He.

</span>
<span class="ltx_bibblock"><math id="bib.bib26.1.m1.1" class="ltx_Math" alttext="\{" display="inline"><semantics id="bib.bib26.1.m1.1a"><mo stretchy="false" id="bib.bib26.1.m1.1.1" xref="bib.bib26.1.m1.1.1.cmml">{</mo><annotation-xml encoding="MathML-Content" id="bib.bib26.1.m1.1b"><ci id="bib.bib26.1.m1.1.1.cmml" xref="bib.bib26.1.m1.1.1">{</ci></annotation-xml><annotation encoding="application/x-tex" id="bib.bib26.1.m1.1c">\{</annotation></semantics></math>ZeRO-Offload<math id="bib.bib26.2.m2.1" class="ltx_Math" alttext="\}" display="inline"><semantics id="bib.bib26.2.m2.1a"><mo stretchy="false" id="bib.bib26.2.m2.1.1" xref="bib.bib26.2.m2.1.1.cmml">}</mo><annotation-xml encoding="MathML-Content" id="bib.bib26.2.m2.1b"><ci id="bib.bib26.2.m2.1.1.cmml" xref="bib.bib26.2.m2.1.1">}</ci></annotation-xml><annotation encoding="application/x-tex" id="bib.bib26.2.m2.1c">\}</annotation></semantics></math>: Democratizing <math id="bib.bib26.3.m3.1" class="ltx_Math" alttext="\{" display="inline"><semantics id="bib.bib26.3.m3.1a"><mo stretchy="false" id="bib.bib26.3.m3.1.1" xref="bib.bib26.3.m3.1.1.cmml">{</mo><annotation-xml encoding="MathML-Content" id="bib.bib26.3.m3.1b"><ci id="bib.bib26.3.m3.1.1.cmml" xref="bib.bib26.3.m3.1.1">{</ci></annotation-xml><annotation encoding="application/x-tex" id="bib.bib26.3.m3.1c">\{</annotation></semantics></math>Billion-Scale<math id="bib.bib26.4.m4.1" class="ltx_Math" alttext="\}" display="inline"><semantics id="bib.bib26.4.m4.1a"><mo stretchy="false" id="bib.bib26.4.m4.1.1" xref="bib.bib26.4.m4.1.1.cmml">}</mo><annotation-xml encoding="MathML-Content" id="bib.bib26.4.m4.1b"><ci id="bib.bib26.4.m4.1.1.cmml" xref="bib.bib26.4.m4.1.1">}</ci></annotation-xml><annotation encoding="application/x-tex" id="bib.bib26.4.m4.1c">\}</annotation></semantics></math> model training.

</span>
<span class="ltx_bibblock">In <em id="bib.bib26.5.1" class="ltx_emph ltx_font_italic">Proceedings of the 2021 USENIX Annual Technical Conference</em>, pages 551–564, 2021.

</span>
</li>
<li id="bib.bib27" class="ltx_bibitem">
<span class="ltx_tag ltx_role_refnum ltx_tag_bibitem">Sanh et al. [2019]</span>
<span class="ltx_bibblock">
V. Sanh, L. Debut, J. Chaumond, and T. Wolf.

</span>
<span class="ltx_bibblock">Distilbert, a distilled version of bert: smaller, faster, cheaper and lighter.

</span>
<span class="ltx_bibblock"><em id="bib.bib27.1.1" class="ltx_emph ltx_font_italic">arXiv preprint arXiv:1910.01108</em>, 2019.

</span>
</li>
<li id="bib.bib28" class="ltx_bibitem">
<span class="ltx_tag ltx_role_refnum ltx_tag_bibitem">Santacroce et al. [2023]</span>
<span class="ltx_bibblock">
M. Santacroce, Y. Lu, H. Yu, Y. Li, and Y. Shen.

</span>
<span class="ltx_bibblock">Efficient rlhf: Reducing the memory usage of ppo.

</span>
<span class="ltx_bibblock"><em id="bib.bib28.1.1" class="ltx_emph ltx_font_italic">arXiv preprint arXiv:2309.00754</em>, 2023.

</span>
</li>
<li id="bib.bib29" class="ltx_bibitem">
<span class="ltx_tag ltx_role_refnum ltx_tag_bibitem">Schulman et al. [2016]</span>
<span class="ltx_bibblock">
J. Schulman, P. Moritz, S. Levine, M. I. Jordan, and P. Abbeel.

</span>
<span class="ltx_bibblock">High-dimensional continuous control using generalized advantage estimation.

</span>
<span class="ltx_bibblock">In <em id="bib.bib29.1.1" class="ltx_emph ltx_font_italic">Proceedings of the 4th International Conference on Learning Representations</em>, 2016.

</span>
</li>
<li id="bib.bib30" class="ltx_bibitem">
<span class="ltx_tag ltx_role_refnum ltx_tag_bibitem">Schulman et al. [2017]</span>
<span class="ltx_bibblock">
J. Schulman, F. Wolski, P. Dhariwal, A. Radford, and O. Klimov.

</span>
<span class="ltx_bibblock">Proximal policy optimization algorithms.

</span>
<span class="ltx_bibblock"><em id="bib.bib30.1.1" class="ltx_emph ltx_font_italic">arXiv</em>, 1707.06347, 2017.

</span>
</li>
<li id="bib.bib31" class="ltx_bibitem">
<span class="ltx_tag ltx_role_refnum ltx_tag_bibitem">Silver et al. [2016]</span>
<span class="ltx_bibblock">
D. Silver, A. Huang, C. J. Maddison, A. Guez, L. Sifre, G. Van Den Driessche, J. Schrittwieser, I. Antonoglou, V. Panneershelvam, M. Lanctot, et al.

</span>
<span class="ltx_bibblock">Mastering the game of go with deep neural networks and tree search.

</span>
<span class="ltx_bibblock"><em id="bib.bib31.1.1" class="ltx_emph ltx_font_italic">nature</em>, 529(7587):484–489, 2016.

</span>
</li>
<li id="bib.bib32" class="ltx_bibitem">
<span class="ltx_tag ltx_role_refnum ltx_tag_bibitem">Singhal et al. [2023]</span>
<span class="ltx_bibblock">
P. Singhal, T. Goyal, J. Xu, and G. Durrett.

</span>
<span class="ltx_bibblock">A long way to go: Investigating length correlations in rlhf.

</span>
<span class="ltx_bibblock"><em id="bib.bib32.1.1" class="ltx_emph ltx_font_italic">arXiv preprint arXiv:2310.03716</em>, 2023.

</span>
</li>
<li id="bib.bib33" class="ltx_bibitem">
<span class="ltx_tag ltx_role_refnum ltx_tag_bibitem">Skalse et al. [2022]</span>
<span class="ltx_bibblock">
J. Skalse, N. Howe, D. Krasheninnikov, and D. Krueger.

</span>
<span class="ltx_bibblock">Defining and characterizing reward gaming.

</span>
<span class="ltx_bibblock">In <em id="bib.bib33.1.1" class="ltx_emph ltx_font_italic">Advances in Neural Information Processing Systems 35</em>, pages 9460–9471, 2022.

</span>
</li>
<li id="bib.bib34" class="ltx_bibitem">
<span class="ltx_tag ltx_role_refnum ltx_tag_bibitem">Sohoni et al. [2019]</span>
<span class="ltx_bibblock">
N. S. Sohoni, C. R. Aberger, M. Leszczynski, J. Zhang, and C. Ré.

</span>
<span class="ltx_bibblock">Low-memory neural network training: A technical report.

</span>
<span class="ltx_bibblock"><em id="bib.bib34.1.1" class="ltx_emph ltx_font_italic">arXiv preprint arXiv:1904.10631</em>, 2019.

</span>
</li>
<li id="bib.bib35" class="ltx_bibitem">
<span class="ltx_tag ltx_role_refnum ltx_tag_bibitem">Stiennon et al. [2020]</span>
<span class="ltx_bibblock">
N. Stiennon, L. Ouyang, J. Wu, D. Ziegler, R. Lowe, C. Voss, A. Radford, D. Amodei, and P. F. Christiano.

</span>
<span class="ltx_bibblock">Learning to summarize with human feedback.

</span>
<span class="ltx_bibblock"><em id="bib.bib35.1.1" class="ltx_emph ltx_font_italic">Advances in Neural Information Processing Systems</em>, 33:3008–3021, 2020.

</span>
</li>
<li id="bib.bib36" class="ltx_bibitem">
<span class="ltx_tag ltx_role_refnum ltx_tag_bibitem">Sutton [1988]</span>
<span class="ltx_bibblock">
R. Sutton.

</span>
<span class="ltx_bibblock">Learning to predict by the methods of temporal differences.

</span>
<span class="ltx_bibblock"><em id="bib.bib36.1.1" class="ltx_emph ltx_font_italic">Machine learning</em>, 3:9–44, 1988.

</span>
</li>
<li id="bib.bib37" class="ltx_bibitem">
<span class="ltx_tag ltx_role_refnum ltx_tag_bibitem">Sutton and Barto [2018]</span>
<span class="ltx_bibblock">
R. S. Sutton and A. G. Barto.

</span>
<span class="ltx_bibblock"><em id="bib.bib37.1.1" class="ltx_emph ltx_font_italic">Reinforcement Learning: An Introduction</em>.

</span>
<span class="ltx_bibblock">MIT press, 2018.

</span>
</li>
<li id="bib.bib38" class="ltx_bibitem">
<span class="ltx_tag ltx_role_refnum ltx_tag_bibitem">Touvron et al. [2023]</span>
<span class="ltx_bibblock">
H. Touvron, L. Martin, K. Stone, P. Albert, A. Almahairi, Y. Babaei, N. Bashlykov, S. Batra, P. Bhargava, S. Bhosale, et al.

</span>
<span class="ltx_bibblock">Llama 2: Open foundation and fine-tuned chat models.

</span>
<span class="ltx_bibblock"><em id="bib.bib38.1.1" class="ltx_emph ltx_font_italic">arXiv preprint arXiv:2307.09288</em>, 2023.

</span>
</li>
<li id="bib.bib39" class="ltx_bibitem">
<span class="ltx_tag ltx_role_refnum ltx_tag_bibitem">Weaver and Tao [2001]</span>
<span class="ltx_bibblock">
L. Weaver and N. Tao.

</span>
<span class="ltx_bibblock">The optimal reward baseline for gradient-based reinforcement learning.

</span>
<span class="ltx_bibblock">In <em id="bib.bib39.1.1" class="ltx_emph ltx_font_italic">Proceedings of the 17th Conference in Uncertainty in Artificial Intelligence</em>, pages 538–545, 2001.

</span>
</li>
<li id="bib.bib40" class="ltx_bibitem">
<span class="ltx_tag ltx_role_refnum ltx_tag_bibitem">Williams [1992]</span>
<span class="ltx_bibblock">
R. J. Williams.

</span>
<span class="ltx_bibblock">Simple statistical gradient-following algorithms for connectionist reinforcement learning.

</span>
<span class="ltx_bibblock"><em id="bib.bib40.1.1" class="ltx_emph ltx_font_italic">Machine learning</em>, 8:229–256, 1992.

</span>
</li>
<li id="bib.bib41" class="ltx_bibitem">
<span class="ltx_tag ltx_role_refnum ltx_tag_bibitem">Yao et al. [2023]</span>
<span class="ltx_bibblock">
Z. Yao, R. Y. Aminabadi, O. Ruwase, S. Rajbhandari, X. Wu, A. A. Awan, J. Rasley, M. Zhang, C. Li, C. Holmes, et al.

</span>
<span class="ltx_bibblock">Deepspeed-chat: Easy, fast and affordable rlhf training of chatgpt-like models at all scales.

</span>
<span class="ltx_bibblock"><em id="bib.bib41.1.1" class="ltx_emph ltx_font_italic">arXiv preprint arXiv:2308.01320</em>, 2023.

</span>
</li>
<li id="bib.bib42" class="ltx_bibitem">
<span class="ltx_tag ltx_role_refnum ltx_tag_bibitem">Zhang et al. [2022]</span>
<span class="ltx_bibblock">
S. Zhang, S. Roller, N. Goyal, M. Artetxe, M. Chen, S. Chen, C. Dewan, M. Diab, X. Li, X. V. Lin, et al.

</span>
<span class="ltx_bibblock">Opt: Open pre-trained transformer language models.

</span>
<span class="ltx_bibblock"><em id="bib.bib42.1.1" class="ltx_emph ltx_font_italic">arXiv preprint arXiv:2205.01068</em>, 2022.

</span>
</li>
<li id="bib.bib43" class="ltx_bibitem">
<span class="ltx_tag ltx_role_refnum ltx_tag_bibitem">Zhao et al. [2023]</span>
<span class="ltx_bibblock">
W. X. Zhao, K. Zhou, J. Li, T. Tang, X. Wang, Y. Hou, Y. Min, B. Zhang, J. Zhang, Z. Dong, et al.

</span>
<span class="ltx_bibblock">A survey of large language models.

</span>
<span class="ltx_bibblock"><em id="bib.bib43.1.1" class="ltx_emph ltx_font_italic">arXiv preprint arXiv:2303.18223</em>, 2023.

</span>
</li>
<li id="bib.bib44" class="ltx_bibitem">
<span class="ltx_tag ltx_role_refnum ltx_tag_bibitem">Zheng et al. [2023]</span>
<span class="ltx_bibblock">
R. Zheng, S. Dou, S. Gao, W. Shen, B. Wang, Y. Liu, S. Jin, Q. Liu, L. Xiong, L. Chen, et al.

</span>
<span class="ltx_bibblock">Secrets of rlhf in large language models part i: Ppo.

</span>
<span class="ltx_bibblock"><em id="bib.bib44.1.1" class="ltx_emph ltx_font_italic">arXiv preprint arXiv:2307.04964</em>, 2023.

</span>
</li>
<li id="bib.bib45" class="ltx_bibitem">
<span class="ltx_tag ltx_role_refnum ltx_tag_bibitem">Zhu et al. [2023a]</span>
<span class="ltx_bibblock">
B. Zhu, M. I. Jordan, and J. Jiao.

</span>
<span class="ltx_bibblock">Principled reinforcement learning with human feedback from pairwise or k-wise comparisons.

</span>
<span class="ltx_bibblock">In <em id="bib.bib45.1.1" class="ltx_emph ltx_font_italic">Proceedings of the 40th International Conference on Machine Learning</em>, pages 43037–43067, 2023a.

</span>
</li>
<li id="bib.bib46" class="ltx_bibitem">
<span class="ltx_tag ltx_role_refnum ltx_tag_bibitem">Zhu et al. [2023b]</span>
<span class="ltx_bibblock">
B. Zhu, H. Sharma, F. V. Frujeri, S. Dong, C. Zhu, M. I. Jordan, and J. Jiao.

</span>
<span class="ltx_bibblock">Fine-tuning language models with advantage-induced policy alignment.

</span>
<span class="ltx_bibblock"><em id="bib.bib46.1.1" class="ltx_emph ltx_font_italic">arXiv preprint arXiv:2306.02231</em>, 2023b.

</span>
</li>
</ul>
</section>
<section id="A1" class="ltx_appendix">
<h2 class="ltx_title ltx_title_appendix">
<span class="ltx_tag ltx_tag_appendix">Appendix A </span>Handling KL Regularization</h2>

<div id="A1.p1" class="ltx_para">
<p id="A1.p1.1" class="ltx_p">Since the reward model is imperfect and may introduce bias, the induced optimal response may not be expected. To address this issue, practitioners often incorporate KL regularization between a trainable language model and a fixed reference language model. This can be integrated into our framework by a reward value <math id="A1.p1.1.m1.1" class="ltx_Math" alttext="\widetilde{r}" display="inline"><semantics id="A1.p1.1.m1.1a"><mover accent="true" id="A1.p1.1.m1.1.1" xref="A1.p1.1.m1.1.1.cmml"><mi id="A1.p1.1.m1.1.1.2" xref="A1.p1.1.m1.1.1.2.cmml">r</mi><mo id="A1.p1.1.m1.1.1.1" xref="A1.p1.1.m1.1.1.1.cmml">~</mo></mover><annotation-xml encoding="MathML-Content" id="A1.p1.1.m1.1b"><apply id="A1.p1.1.m1.1.1.cmml" xref="A1.p1.1.m1.1.1"><ci id="A1.p1.1.m1.1.1.1.cmml" xref="A1.p1.1.m1.1.1.1">~</ci><ci id="A1.p1.1.m1.1.1.2.cmml" xref="A1.p1.1.m1.1.1.2">𝑟</ci></apply></annotation-xml><annotation encoding="application/x-tex" id="A1.p1.1.m1.1c">\widetilde{r}</annotation></semantics></math> that combines the reward score of a complete response and the conditional KL penalty:</p>
<table id="A5.EGx12" class="ltx_equationgroup ltx_eqn_align ltx_eqn_table">

<tbody id="A1.Ex32"><tr class="ltx_equation ltx_eqn_row ltx_align_baseline">
<td class="ltx_eqn_cell ltx_eqn_center_padleft"></td>
<td class="ltx_td ltx_align_left ltx_eqn_cell"><math id="A1.Ex32.m1.9" class="ltx_Math" alttext="\displaystyle\quad\widetilde{r}(x,a_{1},\ldots,a_{t})=r(x,a_{1},\ldots,a_{T})-\beta\times\log\pi_{\theta}(a_{t}|x,a_{1},\ldots,a_{t-1})+\beta\times\log\pi_{\text{ref}}(a_{t}|x,a_{1},\ldots,a_{t-1})." display="inline"><semantics id="A1.Ex32.m1.9a"><mrow id="A1.Ex32.m1.9.9.1" xref="A1.Ex32.m1.9.9.1.1.cmml"><mrow id="A1.Ex32.m1.9.9.1.1" xref="A1.Ex32.m1.9.9.1.1.cmml"><mrow id="A1.Ex32.m1.9.9.1.1.2" xref="A1.Ex32.m1.9.9.1.1.2.cmml"><mover accent="true" id="A1.Ex32.m1.9.9.1.1.2.4" xref="A1.Ex32.m1.9.9.1.1.2.4.cmml"><mi id="A1.Ex32.m1.9.9.1.1.2.4.2" xref="A1.Ex32.m1.9.9.1.1.2.4.2.cmml">r</mi><mo id="A1.Ex32.m1.9.9.1.1.2.4.1" xref="A1.Ex32.m1.9.9.1.1.2.4.1.cmml">~</mo></mover><mo lspace="0em" rspace="0em" id="A1.Ex32.m1.9.9.1.1.2.3" xref="A1.Ex32.m1.9.9.1.1.2.3.cmml">​</mo><mrow id="A1.Ex32.m1.9.9.1.1.2.2.2" xref="A1.Ex32.m1.9.9.1.1.2.2.3.cmml"><mo stretchy="false" id="A1.Ex32.m1.9.9.1.1.2.2.2.3" xref="A1.Ex32.m1.9.9.1.1.2.2.3.cmml">(</mo><mi id="A1.Ex32.m1.1.1" xref="A1.Ex32.m1.1.1.cmml">x</mi><mo id="A1.Ex32.m1.9.9.1.1.2.2.2.4" xref="A1.Ex32.m1.9.9.1.1.2.2.3.cmml">,</mo><msub id="A1.Ex32.m1.9.9.1.1.1.1.1.1" xref="A1.Ex32.m1.9.9.1.1.1.1.1.1.cmml"><mi id="A1.Ex32.m1.9.9.1.1.1.1.1.1.2" xref="A1.Ex32.m1.9.9.1.1.1.1.1.1.2.cmml">a</mi><mn id="A1.Ex32.m1.9.9.1.1.1.1.1.1.3" xref="A1.Ex32.m1.9.9.1.1.1.1.1.1.3.cmml">1</mn></msub><mo id="A1.Ex32.m1.9.9.1.1.2.2.2.5" xref="A1.Ex32.m1.9.9.1.1.2.2.3.cmml">,</mo><mi mathvariant="normal" id="A1.Ex32.m1.2.2" xref="A1.Ex32.m1.2.2.cmml">…</mi><mo id="A1.Ex32.m1.9.9.1.1.2.2.2.6" xref="A1.Ex32.m1.9.9.1.1.2.2.3.cmml">,</mo><msub id="A1.Ex32.m1.9.9.1.1.2.2.2.2" xref="A1.Ex32.m1.9.9.1.1.2.2.2.2.cmml"><mi id="A1.Ex32.m1.9.9.1.1.2.2.2.2.2" xref="A1.Ex32.m1.9.9.1.1.2.2.2.2.2.cmml">a</mi><mi id="A1.Ex32.m1.9.9.1.1.2.2.2.2.3" xref="A1.Ex32.m1.9.9.1.1.2.2.2.2.3.cmml">t</mi></msub><mo stretchy="false" id="A1.Ex32.m1.9.9.1.1.2.2.2.7" xref="A1.Ex32.m1.9.9.1.1.2.2.3.cmml">)</mo></mrow></mrow><mo id="A1.Ex32.m1.9.9.1.1.7" xref="A1.Ex32.m1.9.9.1.1.7.cmml">=</mo><mrow id="A1.Ex32.m1.9.9.1.1.6" xref="A1.Ex32.m1.9.9.1.1.6.cmml"><mrow id="A1.Ex32.m1.9.9.1.1.5.3" xref="A1.Ex32.m1.9.9.1.1.5.3.cmml"><mrow id="A1.Ex32.m1.9.9.1.1.4.2.2" xref="A1.Ex32.m1.9.9.1.1.4.2.2.cmml"><mi id="A1.Ex32.m1.9.9.1.1.4.2.2.4" xref="A1.Ex32.m1.9.9.1.1.4.2.2.4.cmml">r</mi><mo lspace="0em" rspace="0em" id="A1.Ex32.m1.9.9.1.1.4.2.2.3" xref="A1.Ex32.m1.9.9.1.1.4.2.2.3.cmml">​</mo><mrow id="A1.Ex32.m1.9.9.1.1.4.2.2.2.2" xref="A1.Ex32.m1.9.9.1.1.4.2.2.2.3.cmml"><mo stretchy="false" id="A1.Ex32.m1.9.9.1.1.4.2.2.2.2.3" xref="A1.Ex32.m1.9.9.1.1.4.2.2.2.3.cmml">(</mo><mi id="A1.Ex32.m1.3.3" xref="A1.Ex32.m1.3.3.cmml">x</mi><mo id="A1.Ex32.m1.9.9.1.1.4.2.2.2.2.4" xref="A1.Ex32.m1.9.9.1.1.4.2.2.2.3.cmml">,</mo><msub id="A1.Ex32.m1.9.9.1.1.3.1.1.1.1.1" xref="A1.Ex32.m1.9.9.1.1.3.1.1.1.1.1.cmml"><mi id="A1.Ex32.m1.9.9.1.1.3.1.1.1.1.1.2" xref="A1.Ex32.m1.9.9.1.1.3.1.1.1.1.1.2.cmml">a</mi><mn id="A1.Ex32.m1.9.9.1.1.3.1.1.1.1.1.3" xref="A1.Ex32.m1.9.9.1.1.3.1.1.1.1.1.3.cmml">1</mn></msub><mo id="A1.Ex32.m1.9.9.1.1.4.2.2.2.2.5" xref="A1.Ex32.m1.9.9.1.1.4.2.2.2.3.cmml">,</mo><mi mathvariant="normal" id="A1.Ex32.m1.4.4" xref="A1.Ex32.m1.4.4.cmml">…</mi><mo id="A1.Ex32.m1.9.9.1.1.4.2.2.2.2.6" xref="A1.Ex32.m1.9.9.1.1.4.2.2.2.3.cmml">,</mo><msub id="A1.Ex32.m1.9.9.1.1.4.2.2.2.2.2" xref="A1.Ex32.m1.9.9.1.1.4.2.2.2.2.2.cmml"><mi id="A1.Ex32.m1.9.9.1.1.4.2.2.2.2.2.2" xref="A1.Ex32.m1.9.9.1.1.4.2.2.2.2.2.2.cmml">a</mi><mi id="A1.Ex32.m1.9.9.1.1.4.2.2.2.2.2.3" xref="A1.Ex32.m1.9.9.1.1.4.2.2.2.2.2.3.cmml">T</mi></msub><mo stretchy="false" id="A1.Ex32.m1.9.9.1.1.4.2.2.2.2.7" xref="A1.Ex32.m1.9.9.1.1.4.2.2.2.3.cmml">)</mo></mrow></mrow><mo id="A1.Ex32.m1.9.9.1.1.5.3.4" xref="A1.Ex32.m1.9.9.1.1.5.3.4.cmml">−</mo><mrow id="A1.Ex32.m1.9.9.1.1.5.3.3" xref="A1.Ex32.m1.9.9.1.1.5.3.3.cmml"><mrow id="A1.Ex32.m1.9.9.1.1.5.3.3.3" xref="A1.Ex32.m1.9.9.1.1.5.3.3.3.cmml"><mi id="A1.Ex32.m1.9.9.1.1.5.3.3.3.2" xref="A1.Ex32.m1.9.9.1.1.5.3.3.3.2.cmml">β</mi><mo lspace="0.222em" rspace="0.222em" id="A1.Ex32.m1.9.9.1.1.5.3.3.3.1" xref="A1.Ex32.m1.9.9.1.1.5.3.3.3.1.cmml">×</mo><mrow id="A1.Ex32.m1.9.9.1.1.5.3.3.3.3" xref="A1.Ex32.m1.9.9.1.1.5.3.3.3.3.cmml"><mi id="A1.Ex32.m1.9.9.1.1.5.3.3.3.3.1" xref="A1.Ex32.m1.9.9.1.1.5.3.3.3.3.1.cmml">log</mi><mo lspace="0.167em" id="A1.Ex32.m1.9.9.1.1.5.3.3.3.3a" xref="A1.Ex32.m1.9.9.1.1.5.3.3.3.3.cmml">⁡</mo><msub id="A1.Ex32.m1.9.9.1.1.5.3.3.3.3.2" xref="A1.Ex32.m1.9.9.1.1.5.3.3.3.3.2.cmml"><mi id="A1.Ex32.m1.9.9.1.1.5.3.3.3.3.2.2" xref="A1.Ex32.m1.9.9.1.1.5.3.3.3.3.2.2.cmml">π</mi><mi id="A1.Ex32.m1.9.9.1.1.5.3.3.3.3.2.3" xref="A1.Ex32.m1.9.9.1.1.5.3.3.3.3.2.3.cmml">θ</mi></msub></mrow></mrow><mo lspace="0em" rspace="0em" id="A1.Ex32.m1.9.9.1.1.5.3.3.2" xref="A1.Ex32.m1.9.9.1.1.5.3.3.2.cmml">​</mo><mrow id="A1.Ex32.m1.9.9.1.1.5.3.3.1.1" xref="A1.Ex32.m1.9.9.1.1.5.3.3.1.1.1.cmml"><mo stretchy="false" id="A1.Ex32.m1.9.9.1.1.5.3.3.1.1.2" xref="A1.Ex32.m1.9.9.1.1.5.3.3.1.1.1.cmml">(</mo><mrow id="A1.Ex32.m1.9.9.1.1.5.3.3.1.1.1" xref="A1.Ex32.m1.9.9.1.1.5.3.3.1.1.1.cmml"><msub id="A1.Ex32.m1.9.9.1.1.5.3.3.1.1.1.4" xref="A1.Ex32.m1.9.9.1.1.5.3.3.1.1.1.4.cmml"><mi id="A1.Ex32.m1.9.9.1.1.5.3.3.1.1.1.4.2" xref="A1.Ex32.m1.9.9.1.1.5.3.3.1.1.1.4.2.cmml">a</mi><mi id="A1.Ex32.m1.9.9.1.1.5.3.3.1.1.1.4.3" xref="A1.Ex32.m1.9.9.1.1.5.3.3.1.1.1.4.3.cmml">t</mi></msub><mo fence="false" id="A1.Ex32.m1.9.9.1.1.5.3.3.1.1.1.3" xref="A1.Ex32.m1.9.9.1.1.5.3.3.1.1.1.3.cmml">|</mo><mrow id="A1.Ex32.m1.9.9.1.1.5.3.3.1.1.1.2.2" xref="A1.Ex32.m1.9.9.1.1.5.3.3.1.1.1.2.3.cmml"><mi id="A1.Ex32.m1.5.5" xref="A1.Ex32.m1.5.5.cmml">x</mi><mo id="A1.Ex32.m1.9.9.1.1.5.3.3.1.1.1.2.2.3" xref="A1.Ex32.m1.9.9.1.1.5.3.3.1.1.1.2.3.cmml">,</mo><msub id="A1.Ex32.m1.9.9.1.1.5.3.3.1.1.1.1.1.1" xref="A1.Ex32.m1.9.9.1.1.5.3.3.1.1.1.1.1.1.cmml"><mi id="A1.Ex32.m1.9.9.1.1.5.3.3.1.1.1.1.1.1.2" xref="A1.Ex32.m1.9.9.1.1.5.3.3.1.1.1.1.1.1.2.cmml">a</mi><mn id="A1.Ex32.m1.9.9.1.1.5.3.3.1.1.1.1.1.1.3" xref="A1.Ex32.m1.9.9.1.1.5.3.3.1.1.1.1.1.1.3.cmml">1</mn></msub><mo id="A1.Ex32.m1.9.9.1.1.5.3.3.1.1.1.2.2.4" xref="A1.Ex32.m1.9.9.1.1.5.3.3.1.1.1.2.3.cmml">,</mo><mi mathvariant="normal" id="A1.Ex32.m1.6.6" xref="A1.Ex32.m1.6.6.cmml">…</mi><mo id="A1.Ex32.m1.9.9.1.1.5.3.3.1.1.1.2.2.5" xref="A1.Ex32.m1.9.9.1.1.5.3.3.1.1.1.2.3.cmml">,</mo><msub id="A1.Ex32.m1.9.9.1.1.5.3.3.1.1.1.2.2.2" xref="A1.Ex32.m1.9.9.1.1.5.3.3.1.1.1.2.2.2.cmml"><mi id="A1.Ex32.m1.9.9.1.1.5.3.3.1.1.1.2.2.2.2" xref="A1.Ex32.m1.9.9.1.1.5.3.3.1.1.1.2.2.2.2.cmml">a</mi><mrow id="A1.Ex32.m1.9.9.1.1.5.3.3.1.1.1.2.2.2.3" xref="A1.Ex32.m1.9.9.1.1.5.3.3.1.1.1.2.2.2.3.cmml"><mi id="A1.Ex32.m1.9.9.1.1.5.3.3.1.1.1.2.2.2.3.2" xref="A1.Ex32.m1.9.9.1.1.5.3.3.1.1.1.2.2.2.3.2.cmml">t</mi><mo id="A1.Ex32.m1.9.9.1.1.5.3.3.1.1.1.2.2.2.3.1" xref="A1.Ex32.m1.9.9.1.1.5.3.3.1.1.1.2.2.2.3.1.cmml">−</mo><mn id="A1.Ex32.m1.9.9.1.1.5.3.3.1.1.1.2.2.2.3.3" xref="A1.Ex32.m1.9.9.1.1.5.3.3.1.1.1.2.2.2.3.3.cmml">1</mn></mrow></msub></mrow></mrow><mo stretchy="false" id="A1.Ex32.m1.9.9.1.1.5.3.3.1.1.3" xref="A1.Ex32.m1.9.9.1.1.5.3.3.1.1.1.cmml">)</mo></mrow></mrow></mrow><mo id="A1.Ex32.m1.9.9.1.1.6.5" xref="A1.Ex32.m1.9.9.1.1.6.5.cmml">+</mo><mrow id="A1.Ex32.m1.9.9.1.1.6.4" xref="A1.Ex32.m1.9.9.1.1.6.4.cmml"><mrow id="A1.Ex32.m1.9.9.1.1.6.4.3" xref="A1.Ex32.m1.9.9.1.1.6.4.3.cmml"><mi id="A1.Ex32.m1.9.9.1.1.6.4.3.2" xref="A1.Ex32.m1.9.9.1.1.6.4.3.2.cmml">β</mi><mo lspace="0.222em" rspace="0.222em" id="A1.Ex32.m1.9.9.1.1.6.4.3.1" xref="A1.Ex32.m1.9.9.1.1.6.4.3.1.cmml">×</mo><mrow id="A1.Ex32.m1.9.9.1.1.6.4.3.3" xref="A1.Ex32.m1.9.9.1.1.6.4.3.3.cmml"><mi id="A1.Ex32.m1.9.9.1.1.6.4.3.3.1" xref="A1.Ex32.m1.9.9.1.1.6.4.3.3.1.cmml">log</mi><mo lspace="0.167em" id="A1.Ex32.m1.9.9.1.1.6.4.3.3a" xref="A1.Ex32.m1.9.9.1.1.6.4.3.3.cmml">⁡</mo><msub id="A1.Ex32.m1.9.9.1.1.6.4.3.3.2" xref="A1.Ex32.m1.9.9.1.1.6.4.3.3.2.cmml"><mi id="A1.Ex32.m1.9.9.1.1.6.4.3.3.2.2" xref="A1.Ex32.m1.9.9.1.1.6.4.3.3.2.2.cmml">π</mi><mtext id="A1.Ex32.m1.9.9.1.1.6.4.3.3.2.3" xref="A1.Ex32.m1.9.9.1.1.6.4.3.3.2.3a.cmml">ref</mtext></msub></mrow></mrow><mo lspace="0em" rspace="0em" id="A1.Ex32.m1.9.9.1.1.6.4.2" xref="A1.Ex32.m1.9.9.1.1.6.4.2.cmml">​</mo><mrow id="A1.Ex32.m1.9.9.1.1.6.4.1.1" xref="A1.Ex32.m1.9.9.1.1.6.4.1.1.1.cmml"><mo stretchy="false" id="A1.Ex32.m1.9.9.1.1.6.4.1.1.2" xref="A1.Ex32.m1.9.9.1.1.6.4.1.1.1.cmml">(</mo><mrow id="A1.Ex32.m1.9.9.1.1.6.4.1.1.1" xref="A1.Ex32.m1.9.9.1.1.6.4.1.1.1.cmml"><msub id="A1.Ex32.m1.9.9.1.1.6.4.1.1.1.4" xref="A1.Ex32.m1.9.9.1.1.6.4.1.1.1.4.cmml"><mi id="A1.Ex32.m1.9.9.1.1.6.4.1.1.1.4.2" xref="A1.Ex32.m1.9.9.1.1.6.4.1.1.1.4.2.cmml">a</mi><mi id="A1.Ex32.m1.9.9.1.1.6.4.1.1.1.4.3" xref="A1.Ex32.m1.9.9.1.1.6.4.1.1.1.4.3.cmml">t</mi></msub><mo fence="false" id="A1.Ex32.m1.9.9.1.1.6.4.1.1.1.3" xref="A1.Ex32.m1.9.9.1.1.6.4.1.1.1.3.cmml">|</mo><mrow id="A1.Ex32.m1.9.9.1.1.6.4.1.1.1.2.2" xref="A1.Ex32.m1.9.9.1.1.6.4.1.1.1.2.3.cmml"><mi id="A1.Ex32.m1.7.7" xref="A1.Ex32.m1.7.7.cmml">x</mi><mo id="A1.Ex32.m1.9.9.1.1.6.4.1.1.1.2.2.3" xref="A1.Ex32.m1.9.9.1.1.6.4.1.1.1.2.3.cmml">,</mo><msub id="A1.Ex32.m1.9.9.1.1.6.4.1.1.1.1.1.1" xref="A1.Ex32.m1.9.9.1.1.6.4.1.1.1.1.1.1.cmml"><mi id="A1.Ex32.m1.9.9.1.1.6.4.1.1.1.1.1.1.2" xref="A1.Ex32.m1.9.9.1.1.6.4.1.1.1.1.1.1.2.cmml">a</mi><mn id="A1.Ex32.m1.9.9.1.1.6.4.1.1.1.1.1.1.3" xref="A1.Ex32.m1.9.9.1.1.6.4.1.1.1.1.1.1.3.cmml">1</mn></msub><mo id="A1.Ex32.m1.9.9.1.1.6.4.1.1.1.2.2.4" xref="A1.Ex32.m1.9.9.1.1.6.4.1.1.1.2.3.cmml">,</mo><mi mathvariant="normal" id="A1.Ex32.m1.8.8" xref="A1.Ex32.m1.8.8.cmml">…</mi><mo id="A1.Ex32.m1.9.9.1.1.6.4.1.1.1.2.2.5" xref="A1.Ex32.m1.9.9.1.1.6.4.1.1.1.2.3.cmml">,</mo><msub id="A1.Ex32.m1.9.9.1.1.6.4.1.1.1.2.2.2" xref="A1.Ex32.m1.9.9.1.1.6.4.1.1.1.2.2.2.cmml"><mi id="A1.Ex32.m1.9.9.1.1.6.4.1.1.1.2.2.2.2" xref="A1.Ex32.m1.9.9.1.1.6.4.1.1.1.2.2.2.2.cmml">a</mi><mrow id="A1.Ex32.m1.9.9.1.1.6.4.1.1.1.2.2.2.3" xref="A1.Ex32.m1.9.9.1.1.6.4.1.1.1.2.2.2.3.cmml"><mi id="A1.Ex32.m1.9.9.1.1.6.4.1.1.1.2.2.2.3.2" xref="A1.Ex32.m1.9.9.1.1.6.4.1.1.1.2.2.2.3.2.cmml">t</mi><mo id="A1.Ex32.m1.9.9.1.1.6.4.1.1.1.2.2.2.3.1" xref="A1.Ex32.m1.9.9.1.1.6.4.1.1.1.2.2.2.3.1.cmml">−</mo><mn id="A1.Ex32.m1.9.9.1.1.6.4.1.1.1.2.2.2.3.3" xref="A1.Ex32.m1.9.9.1.1.6.4.1.1.1.2.2.2.3.3.cmml">1</mn></mrow></msub></mrow></mrow><mo stretchy="false" id="A1.Ex32.m1.9.9.1.1.6.4.1.1.3" xref="A1.Ex32.m1.9.9.1.1.6.4.1.1.1.cmml">)</mo></mrow></mrow></mrow></mrow><mo lspace="0em" id="A1.Ex32.m1.9.9.1.2" xref="A1.Ex32.m1.9.9.1.1.cmml">.</mo></mrow><annotation-xml encoding="MathML-Content" id="A1.Ex32.m1.9b"><apply id="A1.Ex32.m1.9.9.1.1.cmml" xref="A1.Ex32.m1.9.9.1"><eq id="A1.Ex32.m1.9.9.1.1.7.cmml" xref="A1.Ex32.m1.9.9.1.1.7"></eq><apply id="A1.Ex32.m1.9.9.1.1.2.cmml" xref="A1.Ex32.m1.9.9.1.1.2"><times id="A1.Ex32.m1.9.9.1.1.2.3.cmml" xref="A1.Ex32.m1.9.9.1.1.2.3"></times><apply id="A1.Ex32.m1.9.9.1.1.2.4.cmml" xref="A1.Ex32.m1.9.9.1.1.2.4"><ci id="A1.Ex32.m1.9.9.1.1.2.4.1.cmml" xref="A1.Ex32.m1.9.9.1.1.2.4.1">~</ci><ci id="A1.Ex32.m1.9.9.1.1.2.4.2.cmml" xref="A1.Ex32.m1.9.9.1.1.2.4.2">𝑟</ci></apply><vector id="A1.Ex32.m1.9.9.1.1.2.2.3.cmml" xref="A1.Ex32.m1.9.9.1.1.2.2.2"><ci id="A1.Ex32.m1.1.1.cmml" xref="A1.Ex32.m1.1.1">𝑥</ci><apply id="A1.Ex32.m1.9.9.1.1.1.1.1.1.cmml" xref="A1.Ex32.m1.9.9.1.1.1.1.1.1"><csymbol cd="ambiguous" id="A1.Ex32.m1.9.9.1.1.1.1.1.1.1.cmml" xref="A1.Ex32.m1.9.9.1.1.1.1.1.1">subscript</csymbol><ci id="A1.Ex32.m1.9.9.1.1.1.1.1.1.2.cmml" xref="A1.Ex32.m1.9.9.1.1.1.1.1.1.2">𝑎</ci><cn type="integer" id="A1.Ex32.m1.9.9.1.1.1.1.1.1.3.cmml" xref="A1.Ex32.m1.9.9.1.1.1.1.1.1.3">1</cn></apply><ci id="A1.Ex32.m1.2.2.cmml" xref="A1.Ex32.m1.2.2">…</ci><apply id="A1.Ex32.m1.9.9.1.1.2.2.2.2.cmml" xref="A1.Ex32.m1.9.9.1.1.2.2.2.2"><csymbol cd="ambiguous" id="A1.Ex32.m1.9.9.1.1.2.2.2.2.1.cmml" xref="A1.Ex32.m1.9.9.1.1.2.2.2.2">subscript</csymbol><ci id="A1.Ex32.m1.9.9.1.1.2.2.2.2.2.cmml" xref="A1.Ex32.m1.9.9.1.1.2.2.2.2.2">𝑎</ci><ci id="A1.Ex32.m1.9.9.1.1.2.2.2.2.3.cmml" xref="A1.Ex32.m1.9.9.1.1.2.2.2.2.3">𝑡</ci></apply></vector></apply><apply id="A1.Ex32.m1.9.9.1.1.6.cmml" xref="A1.Ex32.m1.9.9.1.1.6"><plus id="A1.Ex32.m1.9.9.1.1.6.5.cmml" xref="A1.Ex32.m1.9.9.1.1.6.5"></plus><apply id="A1.Ex32.m1.9.9.1.1.5.3.cmml" xref="A1.Ex32.m1.9.9.1.1.5.3"><minus id="A1.Ex32.m1.9.9.1.1.5.3.4.cmml" xref="A1.Ex32.m1.9.9.1.1.5.3.4"></minus><apply id="A1.Ex32.m1.9.9.1.1.4.2.2.cmml" xref="A1.Ex32.m1.9.9.1.1.4.2.2"><times id="A1.Ex32.m1.9.9.1.1.4.2.2.3.cmml" xref="A1.Ex32.m1.9.9.1.1.4.2.2.3"></times><ci id="A1.Ex32.m1.9.9.1.1.4.2.2.4.cmml" xref="A1.Ex32.m1.9.9.1.1.4.2.2.4">𝑟</ci><vector id="A1.Ex32.m1.9.9.1.1.4.2.2.2.3.cmml" xref="A1.Ex32.m1.9.9.1.1.4.2.2.2.2"><ci id="A1.Ex32.m1.3.3.cmml" xref="A1.Ex32.m1.3.3">𝑥</ci><apply id="A1.Ex32.m1.9.9.1.1.3.1.1.1.1.1.cmml" xref="A1.Ex32.m1.9.9.1.1.3.1.1.1.1.1"><csymbol cd="ambiguous" id="A1.Ex32.m1.9.9.1.1.3.1.1.1.1.1.1.cmml" xref="A1.Ex32.m1.9.9.1.1.3.1.1.1.1.1">subscript</csymbol><ci id="A1.Ex32.m1.9.9.1.1.3.1.1.1.1.1.2.cmml" xref="A1.Ex32.m1.9.9.1.1.3.1.1.1.1.1.2">𝑎</ci><cn type="integer" id="A1.Ex32.m1.9.9.1.1.3.1.1.1.1.1.3.cmml" xref="A1.Ex32.m1.9.9.1.1.3.1.1.1.1.1.3">1</cn></apply><ci id="A1.Ex32.m1.4.4.cmml" xref="A1.Ex32.m1.4.4">…</ci><apply id="A1.Ex32.m1.9.9.1.1.4.2.2.2.2.2.cmml" xref="A1.Ex32.m1.9.9.1.1.4.2.2.2.2.2"><csymbol cd="ambiguous" id="A1.Ex32.m1.9.9.1.1.4.2.2.2.2.2.1.cmml" xref="A1.Ex32.m1.9.9.1.1.4.2.2.2.2.2">subscript</csymbol><ci id="A1.Ex32.m1.9.9.1.1.4.2.2.2.2.2.2.cmml" xref="A1.Ex32.m1.9.9.1.1.4.2.2.2.2.2.2">𝑎</ci><ci id="A1.Ex32.m1.9.9.1.1.4.2.2.2.2.2.3.cmml" xref="A1.Ex32.m1.9.9.1.1.4.2.2.2.2.2.3">𝑇</ci></apply></vector></apply><apply id="A1.Ex32.m1.9.9.1.1.5.3.3.cmml" xref="A1.Ex32.m1.9.9.1.1.5.3.3"><times id="A1.Ex32.m1.9.9.1.1.5.3.3.2.cmml" xref="A1.Ex32.m1.9.9.1.1.5.3.3.2"></times><apply id="A1.Ex32.m1.9.9.1.1.5.3.3.3.cmml" xref="A1.Ex32.m1.9.9.1.1.5.3.3.3"><times id="A1.Ex32.m1.9.9.1.1.5.3.3.3.1.cmml" xref="A1.Ex32.m1.9.9.1.1.5.3.3.3.1"></times><ci id="A1.Ex32.m1.9.9.1.1.5.3.3.3.2.cmml" xref="A1.Ex32.m1.9.9.1.1.5.3.3.3.2">𝛽</ci><apply id="A1.Ex32.m1.9.9.1.1.5.3.3.3.3.cmml" xref="A1.Ex32.m1.9.9.1.1.5.3.3.3.3"><log id="A1.Ex32.m1.9.9.1.1.5.3.3.3.3.1.cmml" xref="A1.Ex32.m1.9.9.1.1.5.3.3.3.3.1"></log><apply id="A1.Ex32.m1.9.9.1.1.5.3.3.3.3.2.cmml" xref="A1.Ex32.m1.9.9.1.1.5.3.3.3.3.2"><csymbol cd="ambiguous" id="A1.Ex32.m1.9.9.1.1.5.3.3.3.3.2.1.cmml" xref="A1.Ex32.m1.9.9.1.1.5.3.3.3.3.2">subscript</csymbol><ci id="A1.Ex32.m1.9.9.1.1.5.3.3.3.3.2.2.cmml" xref="A1.Ex32.m1.9.9.1.1.5.3.3.3.3.2.2">𝜋</ci><ci id="A1.Ex32.m1.9.9.1.1.5.3.3.3.3.2.3.cmml" xref="A1.Ex32.m1.9.9.1.1.5.3.3.3.3.2.3">𝜃</ci></apply></apply></apply><apply id="A1.Ex32.m1.9.9.1.1.5.3.3.1.1.1.cmml" xref="A1.Ex32.m1.9.9.1.1.5.3.3.1.1"><csymbol cd="latexml" id="A1.Ex32.m1.9.9.1.1.5.3.3.1.1.1.3.cmml" xref="A1.Ex32.m1.9.9.1.1.5.3.3.1.1.1.3">conditional</csymbol><apply id="A1.Ex32.m1.9.9.1.1.5.3.3.1.1.1.4.cmml" xref="A1.Ex32.m1.9.9.1.1.5.3.3.1.1.1.4"><csymbol cd="ambiguous" id="A1.Ex32.m1.9.9.1.1.5.3.3.1.1.1.4.1.cmml" xref="A1.Ex32.m1.9.9.1.1.5.3.3.1.1.1.4">subscript</csymbol><ci id="A1.Ex32.m1.9.9.1.1.5.3.3.1.1.1.4.2.cmml" xref="A1.Ex32.m1.9.9.1.1.5.3.3.1.1.1.4.2">𝑎</ci><ci id="A1.Ex32.m1.9.9.1.1.5.3.3.1.1.1.4.3.cmml" xref="A1.Ex32.m1.9.9.1.1.5.3.3.1.1.1.4.3">𝑡</ci></apply><list id="A1.Ex32.m1.9.9.1.1.5.3.3.1.1.1.2.3.cmml" xref="A1.Ex32.m1.9.9.1.1.5.3.3.1.1.1.2.2"><ci id="A1.Ex32.m1.5.5.cmml" xref="A1.Ex32.m1.5.5">𝑥</ci><apply id="A1.Ex32.m1.9.9.1.1.5.3.3.1.1.1.1.1.1.cmml" xref="A1.Ex32.m1.9.9.1.1.5.3.3.1.1.1.1.1.1"><csymbol cd="ambiguous" id="A1.Ex32.m1.9.9.1.1.5.3.3.1.1.1.1.1.1.1.cmml" xref="A1.Ex32.m1.9.9.1.1.5.3.3.1.1.1.1.1.1">subscript</csymbol><ci id="A1.Ex32.m1.9.9.1.1.5.3.3.1.1.1.1.1.1.2.cmml" xref="A1.Ex32.m1.9.9.1.1.5.3.3.1.1.1.1.1.1.2">𝑎</ci><cn type="integer" id="A1.Ex32.m1.9.9.1.1.5.3.3.1.1.1.1.1.1.3.cmml" xref="A1.Ex32.m1.9.9.1.1.5.3.3.1.1.1.1.1.1.3">1</cn></apply><ci id="A1.Ex32.m1.6.6.cmml" xref="A1.Ex32.m1.6.6">…</ci><apply id="A1.Ex32.m1.9.9.1.1.5.3.3.1.1.1.2.2.2.cmml" xref="A1.Ex32.m1.9.9.1.1.5.3.3.1.1.1.2.2.2"><csymbol cd="ambiguous" id="A1.Ex32.m1.9.9.1.1.5.3.3.1.1.1.2.2.2.1.cmml" xref="A1.Ex32.m1.9.9.1.1.5.3.3.1.1.1.2.2.2">subscript</csymbol><ci id="A1.Ex32.m1.9.9.1.1.5.3.3.1.1.1.2.2.2.2.cmml" xref="A1.Ex32.m1.9.9.1.1.5.3.3.1.1.1.2.2.2.2">𝑎</ci><apply id="A1.Ex32.m1.9.9.1.1.5.3.3.1.1.1.2.2.2.3.cmml" xref="A1.Ex32.m1.9.9.1.1.5.3.3.1.1.1.2.2.2.3"><minus id="A1.Ex32.m1.9.9.1.1.5.3.3.1.1.1.2.2.2.3.1.cmml" xref="A1.Ex32.m1.9.9.1.1.5.3.3.1.1.1.2.2.2.3.1"></minus><ci id="A1.Ex32.m1.9.9.1.1.5.3.3.1.1.1.2.2.2.3.2.cmml" xref="A1.Ex32.m1.9.9.1.1.5.3.3.1.1.1.2.2.2.3.2">𝑡</ci><cn type="integer" id="A1.Ex32.m1.9.9.1.1.5.3.3.1.1.1.2.2.2.3.3.cmml" xref="A1.Ex32.m1.9.9.1.1.5.3.3.1.1.1.2.2.2.3.3">1</cn></apply></apply></list></apply></apply></apply><apply id="A1.Ex32.m1.9.9.1.1.6.4.cmml" xref="A1.Ex32.m1.9.9.1.1.6.4"><times id="A1.Ex32.m1.9.9.1.1.6.4.2.cmml" xref="A1.Ex32.m1.9.9.1.1.6.4.2"></times><apply id="A1.Ex32.m1.9.9.1.1.6.4.3.cmml" xref="A1.Ex32.m1.9.9.1.1.6.4.3"><times id="A1.Ex32.m1.9.9.1.1.6.4.3.1.cmml" xref="A1.Ex32.m1.9.9.1.1.6.4.3.1"></times><ci id="A1.Ex32.m1.9.9.1.1.6.4.3.2.cmml" xref="A1.Ex32.m1.9.9.1.1.6.4.3.2">𝛽</ci><apply id="A1.Ex32.m1.9.9.1.1.6.4.3.3.cmml" xref="A1.Ex32.m1.9.9.1.1.6.4.3.3"><log id="A1.Ex32.m1.9.9.1.1.6.4.3.3.1.cmml" xref="A1.Ex32.m1.9.9.1.1.6.4.3.3.1"></log><apply id="A1.Ex32.m1.9.9.1.1.6.4.3.3.2.cmml" xref="A1.Ex32.m1.9.9.1.1.6.4.3.3.2"><csymbol cd="ambiguous" id="A1.Ex32.m1.9.9.1.1.6.4.3.3.2.1.cmml" xref="A1.Ex32.m1.9.9.1.1.6.4.3.3.2">subscript</csymbol><ci id="A1.Ex32.m1.9.9.1.1.6.4.3.3.2.2.cmml" xref="A1.Ex32.m1.9.9.1.1.6.4.3.3.2.2">𝜋</ci><ci id="A1.Ex32.m1.9.9.1.1.6.4.3.3.2.3a.cmml" xref="A1.Ex32.m1.9.9.1.1.6.4.3.3.2.3"><mtext mathsize="70%" id="A1.Ex32.m1.9.9.1.1.6.4.3.3.2.3.cmml" xref="A1.Ex32.m1.9.9.1.1.6.4.3.3.2.3">ref</mtext></ci></apply></apply></apply><apply id="A1.Ex32.m1.9.9.1.1.6.4.1.1.1.cmml" xref="A1.Ex32.m1.9.9.1.1.6.4.1.1"><csymbol cd="latexml" id="A1.Ex32.m1.9.9.1.1.6.4.1.1.1.3.cmml" xref="A1.Ex32.m1.9.9.1.1.6.4.1.1.1.3">conditional</csymbol><apply id="A1.Ex32.m1.9.9.1.1.6.4.1.1.1.4.cmml" xref="A1.Ex32.m1.9.9.1.1.6.4.1.1.1.4"><csymbol cd="ambiguous" id="A1.Ex32.m1.9.9.1.1.6.4.1.1.1.4.1.cmml" xref="A1.Ex32.m1.9.9.1.1.6.4.1.1.1.4">subscript</csymbol><ci id="A1.Ex32.m1.9.9.1.1.6.4.1.1.1.4.2.cmml" xref="A1.Ex32.m1.9.9.1.1.6.4.1.1.1.4.2">𝑎</ci><ci id="A1.Ex32.m1.9.9.1.1.6.4.1.1.1.4.3.cmml" xref="A1.Ex32.m1.9.9.1.1.6.4.1.1.1.4.3">𝑡</ci></apply><list id="A1.Ex32.m1.9.9.1.1.6.4.1.1.1.2.3.cmml" xref="A1.Ex32.m1.9.9.1.1.6.4.1.1.1.2.2"><ci id="A1.Ex32.m1.7.7.cmml" xref="A1.Ex32.m1.7.7">𝑥</ci><apply id="A1.Ex32.m1.9.9.1.1.6.4.1.1.1.1.1.1.cmml" xref="A1.Ex32.m1.9.9.1.1.6.4.1.1.1.1.1.1"><csymbol cd="ambiguous" id="A1.Ex32.m1.9.9.1.1.6.4.1.1.1.1.1.1.1.cmml" xref="A1.Ex32.m1.9.9.1.1.6.4.1.1.1.1.1.1">subscript</csymbol><ci id="A1.Ex32.m1.9.9.1.1.6.4.1.1.1.1.1.1.2.cmml" xref="A1.Ex32.m1.9.9.1.1.6.4.1.1.1.1.1.1.2">𝑎</ci><cn type="integer" id="A1.Ex32.m1.9.9.1.1.6.4.1.1.1.1.1.1.3.cmml" xref="A1.Ex32.m1.9.9.1.1.6.4.1.1.1.1.1.1.3">1</cn></apply><ci id="A1.Ex32.m1.8.8.cmml" xref="A1.Ex32.m1.8.8">…</ci><apply id="A1.Ex32.m1.9.9.1.1.6.4.1.1.1.2.2.2.cmml" xref="A1.Ex32.m1.9.9.1.1.6.4.1.1.1.2.2.2"><csymbol cd="ambiguous" id="A1.Ex32.m1.9.9.1.1.6.4.1.1.1.2.2.2.1.cmml" xref="A1.Ex32.m1.9.9.1.1.6.4.1.1.1.2.2.2">subscript</csymbol><ci id="A1.Ex32.m1.9.9.1.1.6.4.1.1.1.2.2.2.2.cmml" xref="A1.Ex32.m1.9.9.1.1.6.4.1.1.1.2.2.2.2">𝑎</ci><apply id="A1.Ex32.m1.9.9.1.1.6.4.1.1.1.2.2.2.3.cmml" xref="A1.Ex32.m1.9.9.1.1.6.4.1.1.1.2.2.2.3"><minus id="A1.Ex32.m1.9.9.1.1.6.4.1.1.1.2.2.2.3.1.cmml" xref="A1.Ex32.m1.9.9.1.1.6.4.1.1.1.2.2.2.3.1"></minus><ci id="A1.Ex32.m1.9.9.1.1.6.4.1.1.1.2.2.2.3.2.cmml" xref="A1.Ex32.m1.9.9.1.1.6.4.1.1.1.2.2.2.3.2">𝑡</ci><cn type="integer" id="A1.Ex32.m1.9.9.1.1.6.4.1.1.1.2.2.2.3.3.cmml" xref="A1.Ex32.m1.9.9.1.1.6.4.1.1.1.2.2.2.3.3">1</cn></apply></apply></list></apply></apply></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="A1.Ex32.m1.9c">\displaystyle\quad\widetilde{r}(x,a_{1},\ldots,a_{t})=r(x,a_{1},\ldots,a_{T})-\beta\times\log\pi_{\theta}(a_{t}|x,a_{1},\ldots,a_{t-1})+\beta\times\log\pi_{\text{ref}}(a_{t}|x,a_{1},\ldots,a_{t-1}).</annotation></semantics></math></td>
<td class="ltx_eqn_cell ltx_eqn_center_padright"></td>
</tr></tbody>
</table>
<p id="A1.p1.3" class="ltx_p">Here, the symbol <math id="A1.p1.2.m1.1" class="ltx_Math" alttext="\beta&gt;0" display="inline"><semantics id="A1.p1.2.m1.1a"><mrow id="A1.p1.2.m1.1.1" xref="A1.p1.2.m1.1.1.cmml"><mi id="A1.p1.2.m1.1.1.2" xref="A1.p1.2.m1.1.1.2.cmml">β</mi><mo id="A1.p1.2.m1.1.1.1" xref="A1.p1.2.m1.1.1.1.cmml">&gt;</mo><mn id="A1.p1.2.m1.1.1.3" xref="A1.p1.2.m1.1.1.3.cmml">0</mn></mrow><annotation-xml encoding="MathML-Content" id="A1.p1.2.m1.1b"><apply id="A1.p1.2.m1.1.1.cmml" xref="A1.p1.2.m1.1.1"><gt id="A1.p1.2.m1.1.1.1.cmml" xref="A1.p1.2.m1.1.1.1"></gt><ci id="A1.p1.2.m1.1.1.2.cmml" xref="A1.p1.2.m1.1.1.2">𝛽</ci><cn type="integer" id="A1.p1.2.m1.1.1.3.cmml" xref="A1.p1.2.m1.1.1.3">0</cn></apply></annotation-xml><annotation encoding="application/x-tex" id="A1.p1.2.m1.1c">\beta&gt;0</annotation></semantics></math> controls the KL penalty effect. In addition, the second term provides an estimate for the expected KL penalty <math id="A1.p1.3.m2.1" class="ltx_math_unparsed" alttext="\operatorname{KL}(\pi_{\theta}(\cdot|x,a_{1},\ldots,a_{t-1}),\pi_{\text{ref}}(\cdot|x,a_{1},\ldots,a_{t-1}))" display="inline"><semantics id="A1.p1.3.m2.1a"><mrow id="A1.p1.3.m2.1b"><mi id="A1.p1.3.m2.1.1">KL</mi><mrow id="A1.p1.3.m2.1.2"><mo stretchy="false" id="A1.p1.3.m2.1.2.1">(</mo><msub id="A1.p1.3.m2.1.2.2"><mi id="A1.p1.3.m2.1.2.2.2">π</mi><mi id="A1.p1.3.m2.1.2.2.3">θ</mi></msub><mrow id="A1.p1.3.m2.1.2.3"><mo stretchy="false" id="A1.p1.3.m2.1.2.3.1">(</mo><mo lspace="0em" rspace="0em" id="A1.p1.3.m2.1.2.3.2">⋅</mo><mo fence="false" rspace="0.167em" stretchy="false" id="A1.p1.3.m2.1.2.3.3">|</mo><mi id="A1.p1.3.m2.1.2.3.4">x</mi><mo id="A1.p1.3.m2.1.2.3.5">,</mo><msub id="A1.p1.3.m2.1.2.3.6"><mi id="A1.p1.3.m2.1.2.3.6.2">a</mi><mn id="A1.p1.3.m2.1.2.3.6.3">1</mn></msub><mo id="A1.p1.3.m2.1.2.3.7">,</mo><mi mathvariant="normal" id="A1.p1.3.m2.1.2.3.8">…</mi><mo id="A1.p1.3.m2.1.2.3.9">,</mo><msub id="A1.p1.3.m2.1.2.3.10"><mi id="A1.p1.3.m2.1.2.3.10.2">a</mi><mrow id="A1.p1.3.m2.1.2.3.10.3"><mi id="A1.p1.3.m2.1.2.3.10.3.2">t</mi><mo id="A1.p1.3.m2.1.2.3.10.3.1">−</mo><mn id="A1.p1.3.m2.1.2.3.10.3.3">1</mn></mrow></msub><mo stretchy="false" id="A1.p1.3.m2.1.2.3.11">)</mo></mrow><mo id="A1.p1.3.m2.1.2.4">,</mo><msub id="A1.p1.3.m2.1.2.5"><mi id="A1.p1.3.m2.1.2.5.2">π</mi><mtext id="A1.p1.3.m2.1.2.5.3">ref</mtext></msub><mrow id="A1.p1.3.m2.1.2.6"><mo stretchy="false" id="A1.p1.3.m2.1.2.6.1">(</mo><mo lspace="0em" rspace="0em" id="A1.p1.3.m2.1.2.6.2">⋅</mo><mo fence="false" rspace="0.167em" stretchy="false" id="A1.p1.3.m2.1.2.6.3">|</mo><mi id="A1.p1.3.m2.1.2.6.4">x</mi><mo id="A1.p1.3.m2.1.2.6.5">,</mo><msub id="A1.p1.3.m2.1.2.6.6"><mi id="A1.p1.3.m2.1.2.6.6.2">a</mi><mn id="A1.p1.3.m2.1.2.6.6.3">1</mn></msub><mo id="A1.p1.3.m2.1.2.6.7">,</mo><mi mathvariant="normal" id="A1.p1.3.m2.1.2.6.8">…</mi><mo id="A1.p1.3.m2.1.2.6.9">,</mo><msub id="A1.p1.3.m2.1.2.6.10"><mi id="A1.p1.3.m2.1.2.6.10.2">a</mi><mrow id="A1.p1.3.m2.1.2.6.10.3"><mi id="A1.p1.3.m2.1.2.6.10.3.2">t</mi><mo id="A1.p1.3.m2.1.2.6.10.3.1">−</mo><mn id="A1.p1.3.m2.1.2.6.10.3.3">1</mn></mrow></msub><mo stretchy="false" id="A1.p1.3.m2.1.2.6.11">)</mo></mrow><mo stretchy="false" id="A1.p1.3.m2.1.2.7">)</mo></mrow></mrow><annotation encoding="application/x-tex" id="A1.p1.3.m2.1c">\operatorname{KL}(\pi_{\theta}(\cdot|x,a_{1},\ldots,a_{t-1}),\pi_{\text{ref}}(\cdot|x,a_{1},\ldots,a_{t-1}))</annotation></semantics></math>. The modified loss function is defined as:</p>
<table id="A5.EGx13" class="ltx_equationgroup ltx_eqn_align ltx_eqn_table">

<tbody id="A1.Ex33"><tr class="ltx_equation ltx_eqn_row ltx_align_baseline">
<td class="ltx_eqn_cell ltx_eqn_center_padleft"></td>
<td class="ltx_td ltx_align_left ltx_eqn_cell"><math id="A1.Ex33.m1.3" class="ltx_Math" alttext="\displaystyle\texttt{loss}=-\sum_{i=1}^{N}\sum_{t=1}^{T}\bigg{[}\log\pi_{\theta}(a_{t}^{i}|x^{i},a_{1}^{i},\ldots,a_{t-1}^{i})\times\widetilde{r}(x^{i},a_{1}^{i},\ldots,a_{t}^{i})\bigg{]}" display="inline"><semantics id="A1.Ex33.m1.3a"><mrow id="A1.Ex33.m1.3.3" xref="A1.Ex33.m1.3.3.cmml"><mtext class="ltx_mathvariant_monospace" id="A1.Ex33.m1.3.3.3" xref="A1.Ex33.m1.3.3.3a.cmml">loss</mtext><mo id="A1.Ex33.m1.3.3.2" xref="A1.Ex33.m1.3.3.2.cmml">=</mo><mrow id="A1.Ex33.m1.3.3.1" xref="A1.Ex33.m1.3.3.1.cmml"><mo id="A1.Ex33.m1.3.3.1a" xref="A1.Ex33.m1.3.3.1.cmml">−</mo><mrow id="A1.Ex33.m1.3.3.1.1" xref="A1.Ex33.m1.3.3.1.1.cmml"><mstyle displaystyle="true" id="A1.Ex33.m1.3.3.1.1.2" xref="A1.Ex33.m1.3.3.1.1.2.cmml"><munderover id="A1.Ex33.m1.3.3.1.1.2a" xref="A1.Ex33.m1.3.3.1.1.2.cmml"><mo movablelimits="false" id="A1.Ex33.m1.3.3.1.1.2.2.2" xref="A1.Ex33.m1.3.3.1.1.2.2.2.cmml">∑</mo><mrow id="A1.Ex33.m1.3.3.1.1.2.2.3" xref="A1.Ex33.m1.3.3.1.1.2.2.3.cmml"><mi id="A1.Ex33.m1.3.3.1.1.2.2.3.2" xref="A1.Ex33.m1.3.3.1.1.2.2.3.2.cmml">i</mi><mo id="A1.Ex33.m1.3.3.1.1.2.2.3.1" xref="A1.Ex33.m1.3.3.1.1.2.2.3.1.cmml">=</mo><mn id="A1.Ex33.m1.3.3.1.1.2.2.3.3" xref="A1.Ex33.m1.3.3.1.1.2.2.3.3.cmml">1</mn></mrow><mi id="A1.Ex33.m1.3.3.1.1.2.3" xref="A1.Ex33.m1.3.3.1.1.2.3.cmml">N</mi></munderover></mstyle><mrow id="A1.Ex33.m1.3.3.1.1.1" xref="A1.Ex33.m1.3.3.1.1.1.cmml"><mstyle displaystyle="true" id="A1.Ex33.m1.3.3.1.1.1.2" xref="A1.Ex33.m1.3.3.1.1.1.2.cmml"><munderover id="A1.Ex33.m1.3.3.1.1.1.2a" xref="A1.Ex33.m1.3.3.1.1.1.2.cmml"><mo movablelimits="false" id="A1.Ex33.m1.3.3.1.1.1.2.2.2" xref="A1.Ex33.m1.3.3.1.1.1.2.2.2.cmml">∑</mo><mrow id="A1.Ex33.m1.3.3.1.1.1.2.2.3" xref="A1.Ex33.m1.3.3.1.1.1.2.2.3.cmml"><mi id="A1.Ex33.m1.3.3.1.1.1.2.2.3.2" xref="A1.Ex33.m1.3.3.1.1.1.2.2.3.2.cmml">t</mi><mo id="A1.Ex33.m1.3.3.1.1.1.2.2.3.1" xref="A1.Ex33.m1.3.3.1.1.1.2.2.3.1.cmml">=</mo><mn id="A1.Ex33.m1.3.3.1.1.1.2.2.3.3" xref="A1.Ex33.m1.3.3.1.1.1.2.2.3.3.cmml">1</mn></mrow><mi id="A1.Ex33.m1.3.3.1.1.1.2.3" xref="A1.Ex33.m1.3.3.1.1.1.2.3.cmml">T</mi></munderover></mstyle><mrow id="A1.Ex33.m1.3.3.1.1.1.1.1" xref="A1.Ex33.m1.3.3.1.1.1.1.2.cmml"><mo maxsize="210%" minsize="210%" id="A1.Ex33.m1.3.3.1.1.1.1.1.2" xref="A1.Ex33.m1.3.3.1.1.1.1.2.1.cmml">[</mo><mrow id="A1.Ex33.m1.3.3.1.1.1.1.1.1" xref="A1.Ex33.m1.3.3.1.1.1.1.1.1.cmml"><mrow id="A1.Ex33.m1.3.3.1.1.1.1.1.1.1" xref="A1.Ex33.m1.3.3.1.1.1.1.1.1.1.cmml"><mrow id="A1.Ex33.m1.3.3.1.1.1.1.1.1.1.1" xref="A1.Ex33.m1.3.3.1.1.1.1.1.1.1.1.cmml"><mrow id="A1.Ex33.m1.3.3.1.1.1.1.1.1.1.1.3" xref="A1.Ex33.m1.3.3.1.1.1.1.1.1.1.1.3.cmml"><mi id="A1.Ex33.m1.3.3.1.1.1.1.1.1.1.1.3.1" xref="A1.Ex33.m1.3.3.1.1.1.1.1.1.1.1.3.1.cmml">log</mi><mo lspace="0.167em" id="A1.Ex33.m1.3.3.1.1.1.1.1.1.1.1.3a" xref="A1.Ex33.m1.3.3.1.1.1.1.1.1.1.1.3.cmml">⁡</mo><msub id="A1.Ex33.m1.3.3.1.1.1.1.1.1.1.1.3.2" xref="A1.Ex33.m1.3.3.1.1.1.1.1.1.1.1.3.2.cmml"><mi id="A1.Ex33.m1.3.3.1.1.1.1.1.1.1.1.3.2.2" xref="A1.Ex33.m1.3.3.1.1.1.1.1.1.1.1.3.2.2.cmml">π</mi><mi id="A1.Ex33.m1.3.3.1.1.1.1.1.1.1.1.3.2.3" xref="A1.Ex33.m1.3.3.1.1.1.1.1.1.1.1.3.2.3.cmml">θ</mi></msub></mrow><mo lspace="0em" rspace="0em" id="A1.Ex33.m1.3.3.1.1.1.1.1.1.1.1.2" xref="A1.Ex33.m1.3.3.1.1.1.1.1.1.1.1.2.cmml">​</mo><mrow id="A1.Ex33.m1.3.3.1.1.1.1.1.1.1.1.1.1" xref="A1.Ex33.m1.3.3.1.1.1.1.1.1.1.1.1.1.1.cmml"><mo stretchy="false" id="A1.Ex33.m1.3.3.1.1.1.1.1.1.1.1.1.1.2" xref="A1.Ex33.m1.3.3.1.1.1.1.1.1.1.1.1.1.1.cmml">(</mo><mrow id="A1.Ex33.m1.3.3.1.1.1.1.1.1.1.1.1.1.1" xref="A1.Ex33.m1.3.3.1.1.1.1.1.1.1.1.1.1.1.cmml"><msubsup id="A1.Ex33.m1.3.3.1.1.1.1.1.1.1.1.1.1.1.5" xref="A1.Ex33.m1.3.3.1.1.1.1.1.1.1.1.1.1.1.5.cmml"><mi id="A1.Ex33.m1.3.3.1.1.1.1.1.1.1.1.1.1.1.5.2.2" xref="A1.Ex33.m1.3.3.1.1.1.1.1.1.1.1.1.1.1.5.2.2.cmml">a</mi><mi id="A1.Ex33.m1.3.3.1.1.1.1.1.1.1.1.1.1.1.5.2.3" xref="A1.Ex33.m1.3.3.1.1.1.1.1.1.1.1.1.1.1.5.2.3.cmml">t</mi><mi id="A1.Ex33.m1.3.3.1.1.1.1.1.1.1.1.1.1.1.5.3" xref="A1.Ex33.m1.3.3.1.1.1.1.1.1.1.1.1.1.1.5.3.cmml">i</mi></msubsup><mo fence="false" id="A1.Ex33.m1.3.3.1.1.1.1.1.1.1.1.1.1.1.4" xref="A1.Ex33.m1.3.3.1.1.1.1.1.1.1.1.1.1.1.4.cmml">|</mo><mrow id="A1.Ex33.m1.3.3.1.1.1.1.1.1.1.1.1.1.1.3.3" xref="A1.Ex33.m1.3.3.1.1.1.1.1.1.1.1.1.1.1.3.4.cmml"><msup id="A1.Ex33.m1.3.3.1.1.1.1.1.1.1.1.1.1.1.1.1.1" xref="A1.Ex33.m1.3.3.1.1.1.1.1.1.1.1.1.1.1.1.1.1.cmml"><mi id="A1.Ex33.m1.3.3.1.1.1.1.1.1.1.1.1.1.1.1.1.1.2" xref="A1.Ex33.m1.3.3.1.1.1.1.1.1.1.1.1.1.1.1.1.1.2.cmml">x</mi><mi id="A1.Ex33.m1.3.3.1.1.1.1.1.1.1.1.1.1.1.1.1.1.3" xref="A1.Ex33.m1.3.3.1.1.1.1.1.1.1.1.1.1.1.1.1.1.3.cmml">i</mi></msup><mo id="A1.Ex33.m1.3.3.1.1.1.1.1.1.1.1.1.1.1.3.3.4" xref="A1.Ex33.m1.3.3.1.1.1.1.1.1.1.1.1.1.1.3.4.cmml">,</mo><msubsup id="A1.Ex33.m1.3.3.1.1.1.1.1.1.1.1.1.1.1.2.2.2" xref="A1.Ex33.m1.3.3.1.1.1.1.1.1.1.1.1.1.1.2.2.2.cmml"><mi id="A1.Ex33.m1.3.3.1.1.1.1.1.1.1.1.1.1.1.2.2.2.2.2" xref="A1.Ex33.m1.3.3.1.1.1.1.1.1.1.1.1.1.1.2.2.2.2.2.cmml">a</mi><mn id="A1.Ex33.m1.3.3.1.1.1.1.1.1.1.1.1.1.1.2.2.2.2.3" xref="A1.Ex33.m1.3.3.1.1.1.1.1.1.1.1.1.1.1.2.2.2.2.3.cmml">1</mn><mi id="A1.Ex33.m1.3.3.1.1.1.1.1.1.1.1.1.1.1.2.2.2.3" xref="A1.Ex33.m1.3.3.1.1.1.1.1.1.1.1.1.1.1.2.2.2.3.cmml">i</mi></msubsup><mo id="A1.Ex33.m1.3.3.1.1.1.1.1.1.1.1.1.1.1.3.3.5" xref="A1.Ex33.m1.3.3.1.1.1.1.1.1.1.1.1.1.1.3.4.cmml">,</mo><mi mathvariant="normal" id="A1.Ex33.m1.1.1" xref="A1.Ex33.m1.1.1.cmml">…</mi><mo id="A1.Ex33.m1.3.3.1.1.1.1.1.1.1.1.1.1.1.3.3.6" xref="A1.Ex33.m1.3.3.1.1.1.1.1.1.1.1.1.1.1.3.4.cmml">,</mo><msubsup id="A1.Ex33.m1.3.3.1.1.1.1.1.1.1.1.1.1.1.3.3.3" xref="A1.Ex33.m1.3.3.1.1.1.1.1.1.1.1.1.1.1.3.3.3.cmml"><mi id="A1.Ex33.m1.3.3.1.1.1.1.1.1.1.1.1.1.1.3.3.3.2.2" xref="A1.Ex33.m1.3.3.1.1.1.1.1.1.1.1.1.1.1.3.3.3.2.2.cmml">a</mi><mrow id="A1.Ex33.m1.3.3.1.1.1.1.1.1.1.1.1.1.1.3.3.3.2.3" xref="A1.Ex33.m1.3.3.1.1.1.1.1.1.1.1.1.1.1.3.3.3.2.3.cmml"><mi id="A1.Ex33.m1.3.3.1.1.1.1.1.1.1.1.1.1.1.3.3.3.2.3.2" xref="A1.Ex33.m1.3.3.1.1.1.1.1.1.1.1.1.1.1.3.3.3.2.3.2.cmml">t</mi><mo id="A1.Ex33.m1.3.3.1.1.1.1.1.1.1.1.1.1.1.3.3.3.2.3.1" xref="A1.Ex33.m1.3.3.1.1.1.1.1.1.1.1.1.1.1.3.3.3.2.3.1.cmml">−</mo><mn id="A1.Ex33.m1.3.3.1.1.1.1.1.1.1.1.1.1.1.3.3.3.2.3.3" xref="A1.Ex33.m1.3.3.1.1.1.1.1.1.1.1.1.1.1.3.3.3.2.3.3.cmml">1</mn></mrow><mi id="A1.Ex33.m1.3.3.1.1.1.1.1.1.1.1.1.1.1.3.3.3.3" xref="A1.Ex33.m1.3.3.1.1.1.1.1.1.1.1.1.1.1.3.3.3.3.cmml">i</mi></msubsup></mrow></mrow><mo rspace="0.055em" stretchy="false" id="A1.Ex33.m1.3.3.1.1.1.1.1.1.1.1.1.1.3" xref="A1.Ex33.m1.3.3.1.1.1.1.1.1.1.1.1.1.1.cmml">)</mo></mrow></mrow><mo rspace="0.222em" id="A1.Ex33.m1.3.3.1.1.1.1.1.1.1.2" xref="A1.Ex33.m1.3.3.1.1.1.1.1.1.1.2.cmml">×</mo><mover accent="true" id="A1.Ex33.m1.3.3.1.1.1.1.1.1.1.3" xref="A1.Ex33.m1.3.3.1.1.1.1.1.1.1.3.cmml"><mi id="A1.Ex33.m1.3.3.1.1.1.1.1.1.1.3.2" xref="A1.Ex33.m1.3.3.1.1.1.1.1.1.1.3.2.cmml">r</mi><mo id="A1.Ex33.m1.3.3.1.1.1.1.1.1.1.3.1" xref="A1.Ex33.m1.3.3.1.1.1.1.1.1.1.3.1.cmml">~</mo></mover></mrow><mo lspace="0em" rspace="0em" id="A1.Ex33.m1.3.3.1.1.1.1.1.1.5" xref="A1.Ex33.m1.3.3.1.1.1.1.1.1.5.cmml">​</mo><mrow id="A1.Ex33.m1.3.3.1.1.1.1.1.1.4.3" xref="A1.Ex33.m1.3.3.1.1.1.1.1.1.4.4.cmml"><mo stretchy="false" id="A1.Ex33.m1.3.3.1.1.1.1.1.1.4.3.4" xref="A1.Ex33.m1.3.3.1.1.1.1.1.1.4.4.cmml">(</mo><msup id="A1.Ex33.m1.3.3.1.1.1.1.1.1.2.1.1" xref="A1.Ex33.m1.3.3.1.1.1.1.1.1.2.1.1.cmml"><mi id="A1.Ex33.m1.3.3.1.1.1.1.1.1.2.1.1.2" xref="A1.Ex33.m1.3.3.1.1.1.1.1.1.2.1.1.2.cmml">x</mi><mi id="A1.Ex33.m1.3.3.1.1.1.1.1.1.2.1.1.3" xref="A1.Ex33.m1.3.3.1.1.1.1.1.1.2.1.1.3.cmml">i</mi></msup><mo id="A1.Ex33.m1.3.3.1.1.1.1.1.1.4.3.5" xref="A1.Ex33.m1.3.3.1.1.1.1.1.1.4.4.cmml">,</mo><msubsup id="A1.Ex33.m1.3.3.1.1.1.1.1.1.3.2.2" xref="A1.Ex33.m1.3.3.1.1.1.1.1.1.3.2.2.cmml"><mi id="A1.Ex33.m1.3.3.1.1.1.1.1.1.3.2.2.2.2" xref="A1.Ex33.m1.3.3.1.1.1.1.1.1.3.2.2.2.2.cmml">a</mi><mn id="A1.Ex33.m1.3.3.1.1.1.1.1.1.3.2.2.2.3" xref="A1.Ex33.m1.3.3.1.1.1.1.1.1.3.2.2.2.3.cmml">1</mn><mi id="A1.Ex33.m1.3.3.1.1.1.1.1.1.3.2.2.3" xref="A1.Ex33.m1.3.3.1.1.1.1.1.1.3.2.2.3.cmml">i</mi></msubsup><mo id="A1.Ex33.m1.3.3.1.1.1.1.1.1.4.3.6" xref="A1.Ex33.m1.3.3.1.1.1.1.1.1.4.4.cmml">,</mo><mi mathvariant="normal" id="A1.Ex33.m1.2.2" xref="A1.Ex33.m1.2.2.cmml">…</mi><mo id="A1.Ex33.m1.3.3.1.1.1.1.1.1.4.3.7" xref="A1.Ex33.m1.3.3.1.1.1.1.1.1.4.4.cmml">,</mo><msubsup id="A1.Ex33.m1.3.3.1.1.1.1.1.1.4.3.3" xref="A1.Ex33.m1.3.3.1.1.1.1.1.1.4.3.3.cmml"><mi id="A1.Ex33.m1.3.3.1.1.1.1.1.1.4.3.3.2.2" xref="A1.Ex33.m1.3.3.1.1.1.1.1.1.4.3.3.2.2.cmml">a</mi><mi id="A1.Ex33.m1.3.3.1.1.1.1.1.1.4.3.3.2.3" xref="A1.Ex33.m1.3.3.1.1.1.1.1.1.4.3.3.2.3.cmml">t</mi><mi id="A1.Ex33.m1.3.3.1.1.1.1.1.1.4.3.3.3" xref="A1.Ex33.m1.3.3.1.1.1.1.1.1.4.3.3.3.cmml">i</mi></msubsup><mo stretchy="false" id="A1.Ex33.m1.3.3.1.1.1.1.1.1.4.3.8" xref="A1.Ex33.m1.3.3.1.1.1.1.1.1.4.4.cmml">)</mo></mrow></mrow><mo maxsize="210%" minsize="210%" id="A1.Ex33.m1.3.3.1.1.1.1.1.3" xref="A1.Ex33.m1.3.3.1.1.1.1.2.1.cmml">]</mo></mrow></mrow></mrow></mrow></mrow><annotation-xml encoding="MathML-Content" id="A1.Ex33.m1.3b"><apply id="A1.Ex33.m1.3.3.cmml" xref="A1.Ex33.m1.3.3"><eq id="A1.Ex33.m1.3.3.2.cmml" xref="A1.Ex33.m1.3.3.2"></eq><ci id="A1.Ex33.m1.3.3.3a.cmml" xref="A1.Ex33.m1.3.3.3"><mtext class="ltx_mathvariant_monospace" id="A1.Ex33.m1.3.3.3.cmml" xref="A1.Ex33.m1.3.3.3">loss</mtext></ci><apply id="A1.Ex33.m1.3.3.1.cmml" xref="A1.Ex33.m1.3.3.1"><minus id="A1.Ex33.m1.3.3.1.2.cmml" xref="A1.Ex33.m1.3.3.1"></minus><apply id="A1.Ex33.m1.3.3.1.1.cmml" xref="A1.Ex33.m1.3.3.1.1"><apply id="A1.Ex33.m1.3.3.1.1.2.cmml" xref="A1.Ex33.m1.3.3.1.1.2"><csymbol cd="ambiguous" id="A1.Ex33.m1.3.3.1.1.2.1.cmml" xref="A1.Ex33.m1.3.3.1.1.2">superscript</csymbol><apply id="A1.Ex33.m1.3.3.1.1.2.2.cmml" xref="A1.Ex33.m1.3.3.1.1.2"><csymbol cd="ambiguous" id="A1.Ex33.m1.3.3.1.1.2.2.1.cmml" xref="A1.Ex33.m1.3.3.1.1.2">subscript</csymbol><sum id="A1.Ex33.m1.3.3.1.1.2.2.2.cmml" xref="A1.Ex33.m1.3.3.1.1.2.2.2"></sum><apply id="A1.Ex33.m1.3.3.1.1.2.2.3.cmml" xref="A1.Ex33.m1.3.3.1.1.2.2.3"><eq id="A1.Ex33.m1.3.3.1.1.2.2.3.1.cmml" xref="A1.Ex33.m1.3.3.1.1.2.2.3.1"></eq><ci id="A1.Ex33.m1.3.3.1.1.2.2.3.2.cmml" xref="A1.Ex33.m1.3.3.1.1.2.2.3.2">𝑖</ci><cn type="integer" id="A1.Ex33.m1.3.3.1.1.2.2.3.3.cmml" xref="A1.Ex33.m1.3.3.1.1.2.2.3.3">1</cn></apply></apply><ci id="A1.Ex33.m1.3.3.1.1.2.3.cmml" xref="A1.Ex33.m1.3.3.1.1.2.3">𝑁</ci></apply><apply id="A1.Ex33.m1.3.3.1.1.1.cmml" xref="A1.Ex33.m1.3.3.1.1.1"><apply id="A1.Ex33.m1.3.3.1.1.1.2.cmml" xref="A1.Ex33.m1.3.3.1.1.1.2"><csymbol cd="ambiguous" id="A1.Ex33.m1.3.3.1.1.1.2.1.cmml" xref="A1.Ex33.m1.3.3.1.1.1.2">superscript</csymbol><apply id="A1.Ex33.m1.3.3.1.1.1.2.2.cmml" xref="A1.Ex33.m1.3.3.1.1.1.2"><csymbol cd="ambiguous" id="A1.Ex33.m1.3.3.1.1.1.2.2.1.cmml" xref="A1.Ex33.m1.3.3.1.1.1.2">subscript</csymbol><sum id="A1.Ex33.m1.3.3.1.1.1.2.2.2.cmml" xref="A1.Ex33.m1.3.3.1.1.1.2.2.2"></sum><apply id="A1.Ex33.m1.3.3.1.1.1.2.2.3.cmml" xref="A1.Ex33.m1.3.3.1.1.1.2.2.3"><eq id="A1.Ex33.m1.3.3.1.1.1.2.2.3.1.cmml" xref="A1.Ex33.m1.3.3.1.1.1.2.2.3.1"></eq><ci id="A1.Ex33.m1.3.3.1.1.1.2.2.3.2.cmml" xref="A1.Ex33.m1.3.3.1.1.1.2.2.3.2">𝑡</ci><cn type="integer" id="A1.Ex33.m1.3.3.1.1.1.2.2.3.3.cmml" xref="A1.Ex33.m1.3.3.1.1.1.2.2.3.3">1</cn></apply></apply><ci id="A1.Ex33.m1.3.3.1.1.1.2.3.cmml" xref="A1.Ex33.m1.3.3.1.1.1.2.3">𝑇</ci></apply><apply id="A1.Ex33.m1.3.3.1.1.1.1.2.cmml" xref="A1.Ex33.m1.3.3.1.1.1.1.1"><csymbol cd="latexml" id="A1.Ex33.m1.3.3.1.1.1.1.2.1.cmml" xref="A1.Ex33.m1.3.3.1.1.1.1.1.2">delimited-[]</csymbol><apply id="A1.Ex33.m1.3.3.1.1.1.1.1.1.cmml" xref="A1.Ex33.m1.3.3.1.1.1.1.1.1"><times id="A1.Ex33.m1.3.3.1.1.1.1.1.1.5.cmml" xref="A1.Ex33.m1.3.3.1.1.1.1.1.1.5"></times><apply id="A1.Ex33.m1.3.3.1.1.1.1.1.1.1.cmml" xref="A1.Ex33.m1.3.3.1.1.1.1.1.1.1"><times id="A1.Ex33.m1.3.3.1.1.1.1.1.1.1.2.cmml" xref="A1.Ex33.m1.3.3.1.1.1.1.1.1.1.2"></times><apply id="A1.Ex33.m1.3.3.1.1.1.1.1.1.1.1.cmml" xref="A1.Ex33.m1.3.3.1.1.1.1.1.1.1.1"><times id="A1.Ex33.m1.3.3.1.1.1.1.1.1.1.1.2.cmml" xref="A1.Ex33.m1.3.3.1.1.1.1.1.1.1.1.2"></times><apply id="A1.Ex33.m1.3.3.1.1.1.1.1.1.1.1.3.cmml" xref="A1.Ex33.m1.3.3.1.1.1.1.1.1.1.1.3"><log id="A1.Ex33.m1.3.3.1.1.1.1.1.1.1.1.3.1.cmml" xref="A1.Ex33.m1.3.3.1.1.1.1.1.1.1.1.3.1"></log><apply id="A1.Ex33.m1.3.3.1.1.1.1.1.1.1.1.3.2.cmml" xref="A1.Ex33.m1.3.3.1.1.1.1.1.1.1.1.3.2"><csymbol cd="ambiguous" id="A1.Ex33.m1.3.3.1.1.1.1.1.1.1.1.3.2.1.cmml" xref="A1.Ex33.m1.3.3.1.1.1.1.1.1.1.1.3.2">subscript</csymbol><ci id="A1.Ex33.m1.3.3.1.1.1.1.1.1.1.1.3.2.2.cmml" xref="A1.Ex33.m1.3.3.1.1.1.1.1.1.1.1.3.2.2">𝜋</ci><ci id="A1.Ex33.m1.3.3.1.1.1.1.1.1.1.1.3.2.3.cmml" xref="A1.Ex33.m1.3.3.1.1.1.1.1.1.1.1.3.2.3">𝜃</ci></apply></apply><apply id="A1.Ex33.m1.3.3.1.1.1.1.1.1.1.1.1.1.1.cmml" xref="A1.Ex33.m1.3.3.1.1.1.1.1.1.1.1.1.1"><csymbol cd="latexml" id="A1.Ex33.m1.3.3.1.1.1.1.1.1.1.1.1.1.1.4.cmml" xref="A1.Ex33.m1.3.3.1.1.1.1.1.1.1.1.1.1.1.4">conditional</csymbol><apply id="A1.Ex33.m1.3.3.1.1.1.1.1.1.1.1.1.1.1.5.cmml" xref="A1.Ex33.m1.3.3.1.1.1.1.1.1.1.1.1.1.1.5"><csymbol cd="ambiguous" id="A1.Ex33.m1.3.3.1.1.1.1.1.1.1.1.1.1.1.5.1.cmml" xref="A1.Ex33.m1.3.3.1.1.1.1.1.1.1.1.1.1.1.5">superscript</csymbol><apply id="A1.Ex33.m1.3.3.1.1.1.1.1.1.1.1.1.1.1.5.2.cmml" xref="A1.Ex33.m1.3.3.1.1.1.1.1.1.1.1.1.1.1.5"><csymbol cd="ambiguous" id="A1.Ex33.m1.3.3.1.1.1.1.1.1.1.1.1.1.1.5.2.1.cmml" xref="A1.Ex33.m1.3.3.1.1.1.1.1.1.1.1.1.1.1.5">subscript</csymbol><ci id="A1.Ex33.m1.3.3.1.1.1.1.1.1.1.1.1.1.1.5.2.2.cmml" xref="A1.Ex33.m1.3.3.1.1.1.1.1.1.1.1.1.1.1.5.2.2">𝑎</ci><ci id="A1.Ex33.m1.3.3.1.1.1.1.1.1.1.1.1.1.1.5.2.3.cmml" xref="A1.Ex33.m1.3.3.1.1.1.1.1.1.1.1.1.1.1.5.2.3">𝑡</ci></apply><ci id="A1.Ex33.m1.3.3.1.1.1.1.1.1.1.1.1.1.1.5.3.cmml" xref="A1.Ex33.m1.3.3.1.1.1.1.1.1.1.1.1.1.1.5.3">𝑖</ci></apply><list id="A1.Ex33.m1.3.3.1.1.1.1.1.1.1.1.1.1.1.3.4.cmml" xref="A1.Ex33.m1.3.3.1.1.1.1.1.1.1.1.1.1.1.3.3"><apply id="A1.Ex33.m1.3.3.1.1.1.1.1.1.1.1.1.1.1.1.1.1.cmml" xref="A1.Ex33.m1.3.3.1.1.1.1.1.1.1.1.1.1.1.1.1.1"><csymbol cd="ambiguous" id="A1.Ex33.m1.3.3.1.1.1.1.1.1.1.1.1.1.1.1.1.1.1.cmml" xref="A1.Ex33.m1.3.3.1.1.1.1.1.1.1.1.1.1.1.1.1.1">superscript</csymbol><ci id="A1.Ex33.m1.3.3.1.1.1.1.1.1.1.1.1.1.1.1.1.1.2.cmml" xref="A1.Ex33.m1.3.3.1.1.1.1.1.1.1.1.1.1.1.1.1.1.2">𝑥</ci><ci id="A1.Ex33.m1.3.3.1.1.1.1.1.1.1.1.1.1.1.1.1.1.3.cmml" xref="A1.Ex33.m1.3.3.1.1.1.1.1.1.1.1.1.1.1.1.1.1.3">𝑖</ci></apply><apply id="A1.Ex33.m1.3.3.1.1.1.1.1.1.1.1.1.1.1.2.2.2.cmml" xref="A1.Ex33.m1.3.3.1.1.1.1.1.1.1.1.1.1.1.2.2.2"><csymbol cd="ambiguous" id="A1.Ex33.m1.3.3.1.1.1.1.1.1.1.1.1.1.1.2.2.2.1.cmml" xref="A1.Ex33.m1.3.3.1.1.1.1.1.1.1.1.1.1.1.2.2.2">superscript</csymbol><apply id="A1.Ex33.m1.3.3.1.1.1.1.1.1.1.1.1.1.1.2.2.2.2.cmml" xref="A1.Ex33.m1.3.3.1.1.1.1.1.1.1.1.1.1.1.2.2.2"><csymbol cd="ambiguous" id="A1.Ex33.m1.3.3.1.1.1.1.1.1.1.1.1.1.1.2.2.2.2.1.cmml" xref="A1.Ex33.m1.3.3.1.1.1.1.1.1.1.1.1.1.1.2.2.2">subscript</csymbol><ci id="A1.Ex33.m1.3.3.1.1.1.1.1.1.1.1.1.1.1.2.2.2.2.2.cmml" xref="A1.Ex33.m1.3.3.1.1.1.1.1.1.1.1.1.1.1.2.2.2.2.2">𝑎</ci><cn type="integer" id="A1.Ex33.m1.3.3.1.1.1.1.1.1.1.1.1.1.1.2.2.2.2.3.cmml" xref="A1.Ex33.m1.3.3.1.1.1.1.1.1.1.1.1.1.1.2.2.2.2.3">1</cn></apply><ci id="A1.Ex33.m1.3.3.1.1.1.1.1.1.1.1.1.1.1.2.2.2.3.cmml" xref="A1.Ex33.m1.3.3.1.1.1.1.1.1.1.1.1.1.1.2.2.2.3">𝑖</ci></apply><ci id="A1.Ex33.m1.1.1.cmml" xref="A1.Ex33.m1.1.1">…</ci><apply id="A1.Ex33.m1.3.3.1.1.1.1.1.1.1.1.1.1.1.3.3.3.cmml" xref="A1.Ex33.m1.3.3.1.1.1.1.1.1.1.1.1.1.1.3.3.3"><csymbol cd="ambiguous" id="A1.Ex33.m1.3.3.1.1.1.1.1.1.1.1.1.1.1.3.3.3.1.cmml" xref="A1.Ex33.m1.3.3.1.1.1.1.1.1.1.1.1.1.1.3.3.3">superscript</csymbol><apply id="A1.Ex33.m1.3.3.1.1.1.1.1.1.1.1.1.1.1.3.3.3.2.cmml" xref="A1.Ex33.m1.3.3.1.1.1.1.1.1.1.1.1.1.1.3.3.3"><csymbol cd="ambiguous" id="A1.Ex33.m1.3.3.1.1.1.1.1.1.1.1.1.1.1.3.3.3.2.1.cmml" xref="A1.Ex33.m1.3.3.1.1.1.1.1.1.1.1.1.1.1.3.3.3">subscript</csymbol><ci id="A1.Ex33.m1.3.3.1.1.1.1.1.1.1.1.1.1.1.3.3.3.2.2.cmml" xref="A1.Ex33.m1.3.3.1.1.1.1.1.1.1.1.1.1.1.3.3.3.2.2">𝑎</ci><apply id="A1.Ex33.m1.3.3.1.1.1.1.1.1.1.1.1.1.1.3.3.3.2.3.cmml" xref="A1.Ex33.m1.3.3.1.1.1.1.1.1.1.1.1.1.1.3.3.3.2.3"><minus id="A1.Ex33.m1.3.3.1.1.1.1.1.1.1.1.1.1.1.3.3.3.2.3.1.cmml" xref="A1.Ex33.m1.3.3.1.1.1.1.1.1.1.1.1.1.1.3.3.3.2.3.1"></minus><ci id="A1.Ex33.m1.3.3.1.1.1.1.1.1.1.1.1.1.1.3.3.3.2.3.2.cmml" xref="A1.Ex33.m1.3.3.1.1.1.1.1.1.1.1.1.1.1.3.3.3.2.3.2">𝑡</ci><cn type="integer" id="A1.Ex33.m1.3.3.1.1.1.1.1.1.1.1.1.1.1.3.3.3.2.3.3.cmml" xref="A1.Ex33.m1.3.3.1.1.1.1.1.1.1.1.1.1.1.3.3.3.2.3.3">1</cn></apply></apply><ci id="A1.Ex33.m1.3.3.1.1.1.1.1.1.1.1.1.1.1.3.3.3.3.cmml" xref="A1.Ex33.m1.3.3.1.1.1.1.1.1.1.1.1.1.1.3.3.3.3">𝑖</ci></apply></list></apply></apply><apply id="A1.Ex33.m1.3.3.1.1.1.1.1.1.1.3.cmml" xref="A1.Ex33.m1.3.3.1.1.1.1.1.1.1.3"><ci id="A1.Ex33.m1.3.3.1.1.1.1.1.1.1.3.1.cmml" xref="A1.Ex33.m1.3.3.1.1.1.1.1.1.1.3.1">~</ci><ci id="A1.Ex33.m1.3.3.1.1.1.1.1.1.1.3.2.cmml" xref="A1.Ex33.m1.3.3.1.1.1.1.1.1.1.3.2">𝑟</ci></apply></apply><vector id="A1.Ex33.m1.3.3.1.1.1.1.1.1.4.4.cmml" xref="A1.Ex33.m1.3.3.1.1.1.1.1.1.4.3"><apply id="A1.Ex33.m1.3.3.1.1.1.1.1.1.2.1.1.cmml" xref="A1.Ex33.m1.3.3.1.1.1.1.1.1.2.1.1"><csymbol cd="ambiguous" id="A1.Ex33.m1.3.3.1.1.1.1.1.1.2.1.1.1.cmml" xref="A1.Ex33.m1.3.3.1.1.1.1.1.1.2.1.1">superscript</csymbol><ci id="A1.Ex33.m1.3.3.1.1.1.1.1.1.2.1.1.2.cmml" xref="A1.Ex33.m1.3.3.1.1.1.1.1.1.2.1.1.2">𝑥</ci><ci id="A1.Ex33.m1.3.3.1.1.1.1.1.1.2.1.1.3.cmml" xref="A1.Ex33.m1.3.3.1.1.1.1.1.1.2.1.1.3">𝑖</ci></apply><apply id="A1.Ex33.m1.3.3.1.1.1.1.1.1.3.2.2.cmml" xref="A1.Ex33.m1.3.3.1.1.1.1.1.1.3.2.2"><csymbol cd="ambiguous" id="A1.Ex33.m1.3.3.1.1.1.1.1.1.3.2.2.1.cmml" xref="A1.Ex33.m1.3.3.1.1.1.1.1.1.3.2.2">superscript</csymbol><apply id="A1.Ex33.m1.3.3.1.1.1.1.1.1.3.2.2.2.cmml" xref="A1.Ex33.m1.3.3.1.1.1.1.1.1.3.2.2"><csymbol cd="ambiguous" id="A1.Ex33.m1.3.3.1.1.1.1.1.1.3.2.2.2.1.cmml" xref="A1.Ex33.m1.3.3.1.1.1.1.1.1.3.2.2">subscript</csymbol><ci id="A1.Ex33.m1.3.3.1.1.1.1.1.1.3.2.2.2.2.cmml" xref="A1.Ex33.m1.3.3.1.1.1.1.1.1.3.2.2.2.2">𝑎</ci><cn type="integer" id="A1.Ex33.m1.3.3.1.1.1.1.1.1.3.2.2.2.3.cmml" xref="A1.Ex33.m1.3.3.1.1.1.1.1.1.3.2.2.2.3">1</cn></apply><ci id="A1.Ex33.m1.3.3.1.1.1.1.1.1.3.2.2.3.cmml" xref="A1.Ex33.m1.3.3.1.1.1.1.1.1.3.2.2.3">𝑖</ci></apply><ci id="A1.Ex33.m1.2.2.cmml" xref="A1.Ex33.m1.2.2">…</ci><apply id="A1.Ex33.m1.3.3.1.1.1.1.1.1.4.3.3.cmml" xref="A1.Ex33.m1.3.3.1.1.1.1.1.1.4.3.3"><csymbol cd="ambiguous" id="A1.Ex33.m1.3.3.1.1.1.1.1.1.4.3.3.1.cmml" xref="A1.Ex33.m1.3.3.1.1.1.1.1.1.4.3.3">superscript</csymbol><apply id="A1.Ex33.m1.3.3.1.1.1.1.1.1.4.3.3.2.cmml" xref="A1.Ex33.m1.3.3.1.1.1.1.1.1.4.3.3"><csymbol cd="ambiguous" id="A1.Ex33.m1.3.3.1.1.1.1.1.1.4.3.3.2.1.cmml" xref="A1.Ex33.m1.3.3.1.1.1.1.1.1.4.3.3">subscript</csymbol><ci id="A1.Ex33.m1.3.3.1.1.1.1.1.1.4.3.3.2.2.cmml" xref="A1.Ex33.m1.3.3.1.1.1.1.1.1.4.3.3.2.2">𝑎</ci><ci id="A1.Ex33.m1.3.3.1.1.1.1.1.1.4.3.3.2.3.cmml" xref="A1.Ex33.m1.3.3.1.1.1.1.1.1.4.3.3.2.3">𝑡</ci></apply><ci id="A1.Ex33.m1.3.3.1.1.1.1.1.1.4.3.3.3.cmml" xref="A1.Ex33.m1.3.3.1.1.1.1.1.1.4.3.3.3">𝑖</ci></apply></vector></apply></apply></apply></apply></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="A1.Ex33.m1.3c">\displaystyle\texttt{loss}=-\sum_{i=1}^{N}\sum_{t=1}^{T}\bigg{[}\log\pi_{\theta}(a_{t}^{i}|x^{i},a_{1}^{i},\ldots,a_{t-1}^{i})\times\widetilde{r}(x^{i},a_{1}^{i},\ldots,a_{t}^{i})\bigg{]}</annotation></semantics></math></td>
<td class="ltx_eqn_cell ltx_eqn_center_padright"></td>
</tr></tbody>
</table>
<p id="A1.p1.5" class="ltx_p">We note that even though the expected KL penalty <math id="A1.p1.4.m1.1" class="ltx_math_unparsed" alttext="\operatorname{KL}(\pi_{\theta}(\cdot|x,a_{1},\ldots,a_{t-1}),\pi_{\text{ref}}(\cdot|x,a_{1},\ldots,a_{t-1}))" display="inline"><semantics id="A1.p1.4.m1.1a"><mrow id="A1.p1.4.m1.1b"><mi id="A1.p1.4.m1.1.1">KL</mi><mrow id="A1.p1.4.m1.1.2"><mo stretchy="false" id="A1.p1.4.m1.1.2.1">(</mo><msub id="A1.p1.4.m1.1.2.2"><mi id="A1.p1.4.m1.1.2.2.2">π</mi><mi id="A1.p1.4.m1.1.2.2.3">θ</mi></msub><mrow id="A1.p1.4.m1.1.2.3"><mo stretchy="false" id="A1.p1.4.m1.1.2.3.1">(</mo><mo lspace="0em" rspace="0em" id="A1.p1.4.m1.1.2.3.2">⋅</mo><mo fence="false" rspace="0.167em" stretchy="false" id="A1.p1.4.m1.1.2.3.3">|</mo><mi id="A1.p1.4.m1.1.2.3.4">x</mi><mo id="A1.p1.4.m1.1.2.3.5">,</mo><msub id="A1.p1.4.m1.1.2.3.6"><mi id="A1.p1.4.m1.1.2.3.6.2">a</mi><mn id="A1.p1.4.m1.1.2.3.6.3">1</mn></msub><mo id="A1.p1.4.m1.1.2.3.7">,</mo><mi mathvariant="normal" id="A1.p1.4.m1.1.2.3.8">…</mi><mo id="A1.p1.4.m1.1.2.3.9">,</mo><msub id="A1.p1.4.m1.1.2.3.10"><mi id="A1.p1.4.m1.1.2.3.10.2">a</mi><mrow id="A1.p1.4.m1.1.2.3.10.3"><mi id="A1.p1.4.m1.1.2.3.10.3.2">t</mi><mo id="A1.p1.4.m1.1.2.3.10.3.1">−</mo><mn id="A1.p1.4.m1.1.2.3.10.3.3">1</mn></mrow></msub><mo stretchy="false" id="A1.p1.4.m1.1.2.3.11">)</mo></mrow><mo id="A1.p1.4.m1.1.2.4">,</mo><msub id="A1.p1.4.m1.1.2.5"><mi id="A1.p1.4.m1.1.2.5.2">π</mi><mtext id="A1.p1.4.m1.1.2.5.3">ref</mtext></msub><mrow id="A1.p1.4.m1.1.2.6"><mo stretchy="false" id="A1.p1.4.m1.1.2.6.1">(</mo><mo lspace="0em" rspace="0em" id="A1.p1.4.m1.1.2.6.2">⋅</mo><mo fence="false" rspace="0.167em" stretchy="false" id="A1.p1.4.m1.1.2.6.3">|</mo><mi id="A1.p1.4.m1.1.2.6.4">x</mi><mo id="A1.p1.4.m1.1.2.6.5">,</mo><msub id="A1.p1.4.m1.1.2.6.6"><mi id="A1.p1.4.m1.1.2.6.6.2">a</mi><mn id="A1.p1.4.m1.1.2.6.6.3">1</mn></msub><mo id="A1.p1.4.m1.1.2.6.7">,</mo><mi mathvariant="normal" id="A1.p1.4.m1.1.2.6.8">…</mi><mo id="A1.p1.4.m1.1.2.6.9">,</mo><msub id="A1.p1.4.m1.1.2.6.10"><mi id="A1.p1.4.m1.1.2.6.10.2">a</mi><mrow id="A1.p1.4.m1.1.2.6.10.3"><mi id="A1.p1.4.m1.1.2.6.10.3.2">t</mi><mo id="A1.p1.4.m1.1.2.6.10.3.1">−</mo><mn id="A1.p1.4.m1.1.2.6.10.3.3">1</mn></mrow></msub><mo stretchy="false" id="A1.p1.4.m1.1.2.6.11">)</mo></mrow><mo stretchy="false" id="A1.p1.4.m1.1.2.7">)</mo></mrow></mrow><annotation encoding="application/x-tex" id="A1.p1.4.m1.1c">\operatorname{KL}(\pi_{\theta}(\cdot|x,a_{1},\ldots,a_{t-1}),\pi_{\text{ref}}(\cdot|x,a_{1},\ldots,a_{t-1}))</annotation></semantics></math> can be easily calculated, we choose to use the sample-based version because it depends on the currently sampled action <math id="A1.p1.5.m2.1" class="ltx_Math" alttext="a_{t}" display="inline"><semantics id="A1.p1.5.m2.1a"><msub id="A1.p1.5.m2.1.1" xref="A1.p1.5.m2.1.1.cmml"><mi id="A1.p1.5.m2.1.1.2" xref="A1.p1.5.m2.1.1.2.cmml">a</mi><mi id="A1.p1.5.m2.1.1.3" xref="A1.p1.5.m2.1.1.3.cmml">t</mi></msub><annotation-xml encoding="MathML-Content" id="A1.p1.5.m2.1b"><apply id="A1.p1.5.m2.1.1.cmml" xref="A1.p1.5.m2.1.1"><csymbol cd="ambiguous" id="A1.p1.5.m2.1.1.1.cmml" xref="A1.p1.5.m2.1.1">subscript</csymbol><ci id="A1.p1.5.m2.1.1.2.cmml" xref="A1.p1.5.m2.1.1.2">𝑎</ci><ci id="A1.p1.5.m2.1.1.3.cmml" xref="A1.p1.5.m2.1.1.3">𝑡</ci></apply></annotation-xml><annotation encoding="application/x-tex" id="A1.p1.5.m2.1c">a_{t}</annotation></semantics></math> while the former does not. Using the expected KL penalty would increase the gradient variance according to our experience. Since this KL penalty does not accumulate over time, we refer to our regularization as the one-step KL penalty.</p>
</div>
</section>
<section id="A2" class="ltx_appendix">
<h2 class="ltx_title ltx_title_appendix">
<span class="ltx_tag ltx_tag_appendix">Appendix B </span>Proofs</h2>

<section id="A2.SS1" class="ltx_subsection">
<h3 class="ltx_title ltx_title_subsection">
<span class="ltx_tag ltx_tag_subsection">B.1 </span>Proof of Proposition <a href="#Thmprop1" title="Proposition 1. ‣ 4.2 From REINFORCE to ReMax ‣ 4 Proposed Method ‣ ReMax: A Simple, Effective, and Efficient Reinforcement Learning Method for Aligning Large Language Models" class="ltx_ref"><span class="ltx_text ltx_ref_tag">1</span></a>
</h3>

<div id="A2.SS1.3" class="ltx_proof">
<h6 class="ltx_title ltx_runin ltx_font_italic ltx_title_proof">Proof.</h6>
<div id="A2.SS1.1.p1" class="ltx_para">
<p id="A2.SS1.1.p1.2" class="ltx_p">We take the expectation over the randomness of sampling prompts <math id="A2.SS1.1.p1.1.m1.3" class="ltx_Math" alttext="(x^{1},\ldots,x^{N})" display="inline"><semantics id="A2.SS1.1.p1.1.m1.3a"><mrow id="A2.SS1.1.p1.1.m1.3.3.2" xref="A2.SS1.1.p1.1.m1.3.3.3.cmml"><mo stretchy="false" id="A2.SS1.1.p1.1.m1.3.3.2.3" xref="A2.SS1.1.p1.1.m1.3.3.3.cmml">(</mo><msup id="A2.SS1.1.p1.1.m1.2.2.1.1" xref="A2.SS1.1.p1.1.m1.2.2.1.1.cmml"><mi id="A2.SS1.1.p1.1.m1.2.2.1.1.2" xref="A2.SS1.1.p1.1.m1.2.2.1.1.2.cmml">x</mi><mn id="A2.SS1.1.p1.1.m1.2.2.1.1.3" xref="A2.SS1.1.p1.1.m1.2.2.1.1.3.cmml">1</mn></msup><mo id="A2.SS1.1.p1.1.m1.3.3.2.4" xref="A2.SS1.1.p1.1.m1.3.3.3.cmml">,</mo><mi mathvariant="normal" id="A2.SS1.1.p1.1.m1.1.1" xref="A2.SS1.1.p1.1.m1.1.1.cmml">…</mi><mo id="A2.SS1.1.p1.1.m1.3.3.2.5" xref="A2.SS1.1.p1.1.m1.3.3.3.cmml">,</mo><msup id="A2.SS1.1.p1.1.m1.3.3.2.2" xref="A2.SS1.1.p1.1.m1.3.3.2.2.cmml"><mi id="A2.SS1.1.p1.1.m1.3.3.2.2.2" xref="A2.SS1.1.p1.1.m1.3.3.2.2.2.cmml">x</mi><mi id="A2.SS1.1.p1.1.m1.3.3.2.2.3" xref="A2.SS1.1.p1.1.m1.3.3.2.2.3.cmml">N</mi></msup><mo stretchy="false" id="A2.SS1.1.p1.1.m1.3.3.2.6" xref="A2.SS1.1.p1.1.m1.3.3.3.cmml">)</mo></mrow><annotation-xml encoding="MathML-Content" id="A2.SS1.1.p1.1.m1.3b"><vector id="A2.SS1.1.p1.1.m1.3.3.3.cmml" xref="A2.SS1.1.p1.1.m1.3.3.2"><apply id="A2.SS1.1.p1.1.m1.2.2.1.1.cmml" xref="A2.SS1.1.p1.1.m1.2.2.1.1"><csymbol cd="ambiguous" id="A2.SS1.1.p1.1.m1.2.2.1.1.1.cmml" xref="A2.SS1.1.p1.1.m1.2.2.1.1">superscript</csymbol><ci id="A2.SS1.1.p1.1.m1.2.2.1.1.2.cmml" xref="A2.SS1.1.p1.1.m1.2.2.1.1.2">𝑥</ci><cn type="integer" id="A2.SS1.1.p1.1.m1.2.2.1.1.3.cmml" xref="A2.SS1.1.p1.1.m1.2.2.1.1.3">1</cn></apply><ci id="A2.SS1.1.p1.1.m1.1.1.cmml" xref="A2.SS1.1.p1.1.m1.1.1">…</ci><apply id="A2.SS1.1.p1.1.m1.3.3.2.2.cmml" xref="A2.SS1.1.p1.1.m1.3.3.2.2"><csymbol cd="ambiguous" id="A2.SS1.1.p1.1.m1.3.3.2.2.1.cmml" xref="A2.SS1.1.p1.1.m1.3.3.2.2">superscript</csymbol><ci id="A2.SS1.1.p1.1.m1.3.3.2.2.2.cmml" xref="A2.SS1.1.p1.1.m1.3.3.2.2.2">𝑥</ci><ci id="A2.SS1.1.p1.1.m1.3.3.2.2.3.cmml" xref="A2.SS1.1.p1.1.m1.3.3.2.2.3">𝑁</ci></apply></vector></annotation-xml><annotation encoding="application/x-tex" id="A2.SS1.1.p1.1.m1.3c">(x^{1},\ldots,x^{N})</annotation></semantics></math> and responses <math id="A2.SS1.1.p1.2.m2.3" class="ltx_Math" alttext="(a^{1}_{1:t},\ldots,a^{N}_{1:T})" display="inline"><semantics id="A2.SS1.1.p1.2.m2.3a"><mrow id="A2.SS1.1.p1.2.m2.3.3.2" xref="A2.SS1.1.p1.2.m2.3.3.3.cmml"><mo stretchy="false" id="A2.SS1.1.p1.2.m2.3.3.2.3" xref="A2.SS1.1.p1.2.m2.3.3.3.cmml">(</mo><msubsup id="A2.SS1.1.p1.2.m2.2.2.1.1" xref="A2.SS1.1.p1.2.m2.2.2.1.1.cmml"><mi id="A2.SS1.1.p1.2.m2.2.2.1.1.2.2" xref="A2.SS1.1.p1.2.m2.2.2.1.1.2.2.cmml">a</mi><mrow id="A2.SS1.1.p1.2.m2.2.2.1.1.3" xref="A2.SS1.1.p1.2.m2.2.2.1.1.3.cmml"><mn id="A2.SS1.1.p1.2.m2.2.2.1.1.3.2" xref="A2.SS1.1.p1.2.m2.2.2.1.1.3.2.cmml">1</mn><mo lspace="0.278em" rspace="0.278em" id="A2.SS1.1.p1.2.m2.2.2.1.1.3.1" xref="A2.SS1.1.p1.2.m2.2.2.1.1.3.1.cmml">:</mo><mi id="A2.SS1.1.p1.2.m2.2.2.1.1.3.3" xref="A2.SS1.1.p1.2.m2.2.2.1.1.3.3.cmml">t</mi></mrow><mn id="A2.SS1.1.p1.2.m2.2.2.1.1.2.3" xref="A2.SS1.1.p1.2.m2.2.2.1.1.2.3.cmml">1</mn></msubsup><mo id="A2.SS1.1.p1.2.m2.3.3.2.4" xref="A2.SS1.1.p1.2.m2.3.3.3.cmml">,</mo><mi mathvariant="normal" id="A2.SS1.1.p1.2.m2.1.1" xref="A2.SS1.1.p1.2.m2.1.1.cmml">…</mi><mo id="A2.SS1.1.p1.2.m2.3.3.2.5" xref="A2.SS1.1.p1.2.m2.3.3.3.cmml">,</mo><msubsup id="A2.SS1.1.p1.2.m2.3.3.2.2" xref="A2.SS1.1.p1.2.m2.3.3.2.2.cmml"><mi id="A2.SS1.1.p1.2.m2.3.3.2.2.2.2" xref="A2.SS1.1.p1.2.m2.3.3.2.2.2.2.cmml">a</mi><mrow id="A2.SS1.1.p1.2.m2.3.3.2.2.3" xref="A2.SS1.1.p1.2.m2.3.3.2.2.3.cmml"><mn id="A2.SS1.1.p1.2.m2.3.3.2.2.3.2" xref="A2.SS1.1.p1.2.m2.3.3.2.2.3.2.cmml">1</mn><mo lspace="0.278em" rspace="0.278em" id="A2.SS1.1.p1.2.m2.3.3.2.2.3.1" xref="A2.SS1.1.p1.2.m2.3.3.2.2.3.1.cmml">:</mo><mi id="A2.SS1.1.p1.2.m2.3.3.2.2.3.3" xref="A2.SS1.1.p1.2.m2.3.3.2.2.3.3.cmml">T</mi></mrow><mi id="A2.SS1.1.p1.2.m2.3.3.2.2.2.3" xref="A2.SS1.1.p1.2.m2.3.3.2.2.2.3.cmml">N</mi></msubsup><mo stretchy="false" id="A2.SS1.1.p1.2.m2.3.3.2.6" xref="A2.SS1.1.p1.2.m2.3.3.3.cmml">)</mo></mrow><annotation-xml encoding="MathML-Content" id="A2.SS1.1.p1.2.m2.3b"><vector id="A2.SS1.1.p1.2.m2.3.3.3.cmml" xref="A2.SS1.1.p1.2.m2.3.3.2"><apply id="A2.SS1.1.p1.2.m2.2.2.1.1.cmml" xref="A2.SS1.1.p1.2.m2.2.2.1.1"><csymbol cd="ambiguous" id="A2.SS1.1.p1.2.m2.2.2.1.1.1.cmml" xref="A2.SS1.1.p1.2.m2.2.2.1.1">subscript</csymbol><apply id="A2.SS1.1.p1.2.m2.2.2.1.1.2.cmml" xref="A2.SS1.1.p1.2.m2.2.2.1.1"><csymbol cd="ambiguous" id="A2.SS1.1.p1.2.m2.2.2.1.1.2.1.cmml" xref="A2.SS1.1.p1.2.m2.2.2.1.1">superscript</csymbol><ci id="A2.SS1.1.p1.2.m2.2.2.1.1.2.2.cmml" xref="A2.SS1.1.p1.2.m2.2.2.1.1.2.2">𝑎</ci><cn type="integer" id="A2.SS1.1.p1.2.m2.2.2.1.1.2.3.cmml" xref="A2.SS1.1.p1.2.m2.2.2.1.1.2.3">1</cn></apply><apply id="A2.SS1.1.p1.2.m2.2.2.1.1.3.cmml" xref="A2.SS1.1.p1.2.m2.2.2.1.1.3"><ci id="A2.SS1.1.p1.2.m2.2.2.1.1.3.1.cmml" xref="A2.SS1.1.p1.2.m2.2.2.1.1.3.1">:</ci><cn type="integer" id="A2.SS1.1.p1.2.m2.2.2.1.1.3.2.cmml" xref="A2.SS1.1.p1.2.m2.2.2.1.1.3.2">1</cn><ci id="A2.SS1.1.p1.2.m2.2.2.1.1.3.3.cmml" xref="A2.SS1.1.p1.2.m2.2.2.1.1.3.3">𝑡</ci></apply></apply><ci id="A2.SS1.1.p1.2.m2.1.1.cmml" xref="A2.SS1.1.p1.2.m2.1.1">…</ci><apply id="A2.SS1.1.p1.2.m2.3.3.2.2.cmml" xref="A2.SS1.1.p1.2.m2.3.3.2.2"><csymbol cd="ambiguous" id="A2.SS1.1.p1.2.m2.3.3.2.2.1.cmml" xref="A2.SS1.1.p1.2.m2.3.3.2.2">subscript</csymbol><apply id="A2.SS1.1.p1.2.m2.3.3.2.2.2.cmml" xref="A2.SS1.1.p1.2.m2.3.3.2.2"><csymbol cd="ambiguous" id="A2.SS1.1.p1.2.m2.3.3.2.2.2.1.cmml" xref="A2.SS1.1.p1.2.m2.3.3.2.2">superscript</csymbol><ci id="A2.SS1.1.p1.2.m2.3.3.2.2.2.2.cmml" xref="A2.SS1.1.p1.2.m2.3.3.2.2.2.2">𝑎</ci><ci id="A2.SS1.1.p1.2.m2.3.3.2.2.2.3.cmml" xref="A2.SS1.1.p1.2.m2.3.3.2.2.2.3">𝑁</ci></apply><apply id="A2.SS1.1.p1.2.m2.3.3.2.2.3.cmml" xref="A2.SS1.1.p1.2.m2.3.3.2.2.3"><ci id="A2.SS1.1.p1.2.m2.3.3.2.2.3.1.cmml" xref="A2.SS1.1.p1.2.m2.3.3.2.2.3.1">:</ci><cn type="integer" id="A2.SS1.1.p1.2.m2.3.3.2.2.3.2.cmml" xref="A2.SS1.1.p1.2.m2.3.3.2.2.3.2">1</cn><ci id="A2.SS1.1.p1.2.m2.3.3.2.2.3.3.cmml" xref="A2.SS1.1.p1.2.m2.3.3.2.2.3.3">𝑇</ci></apply></apply></vector></annotation-xml><annotation encoding="application/x-tex" id="A2.SS1.1.p1.2.m2.3c">(a^{1}_{1:t},\ldots,a^{N}_{1:T})</annotation></semantics></math>:</p>
</div>
<div id="A2.SS1.2.p2" class="ltx_para">
<table id="A5.EGx14" class="ltx_equationgroup ltx_eqn_align ltx_eqn_table">

<tbody id="A2.Ex34"><tr class="ltx_equation ltx_eqn_row ltx_align_baseline">
<td class="ltx_eqn_cell ltx_eqn_center_padleft"></td>
<td class="ltx_td ltx_align_right ltx_eqn_cell"><math id="A2.Ex34.m1.2" class="ltx_Math" alttext="\displaystyle\mathbb{E}\left[\widetilde{g}(\theta)\right]" display="inline"><semantics id="A2.Ex34.m1.2a"><mrow id="A2.Ex34.m1.2.2" xref="A2.Ex34.m1.2.2.cmml"><mi id="A2.Ex34.m1.2.2.3" xref="A2.Ex34.m1.2.2.3.cmml">𝔼</mi><mo lspace="0em" rspace="0em" id="A2.Ex34.m1.2.2.2" xref="A2.Ex34.m1.2.2.2.cmml">​</mo><mrow id="A2.Ex34.m1.2.2.1.1" xref="A2.Ex34.m1.2.2.1.2.cmml"><mo id="A2.Ex34.m1.2.2.1.1.2" xref="A2.Ex34.m1.2.2.1.2.1.cmml">[</mo><mrow id="A2.Ex34.m1.2.2.1.1.1" xref="A2.Ex34.m1.2.2.1.1.1.cmml"><mover accent="true" id="A2.Ex34.m1.2.2.1.1.1.2" xref="A2.Ex34.m1.2.2.1.1.1.2.cmml"><mi id="A2.Ex34.m1.2.2.1.1.1.2.2" xref="A2.Ex34.m1.2.2.1.1.1.2.2.cmml">g</mi><mo id="A2.Ex34.m1.2.2.1.1.1.2.1" xref="A2.Ex34.m1.2.2.1.1.1.2.1.cmml">~</mo></mover><mo lspace="0em" rspace="0em" id="A2.Ex34.m1.2.2.1.1.1.1" xref="A2.Ex34.m1.2.2.1.1.1.1.cmml">​</mo><mrow id="A2.Ex34.m1.2.2.1.1.1.3.2" xref="A2.Ex34.m1.2.2.1.1.1.cmml"><mo stretchy="false" id="A2.Ex34.m1.2.2.1.1.1.3.2.1" xref="A2.Ex34.m1.2.2.1.1.1.cmml">(</mo><mi id="A2.Ex34.m1.1.1" xref="A2.Ex34.m1.1.1.cmml">θ</mi><mo stretchy="false" id="A2.Ex34.m1.2.2.1.1.1.3.2.2" xref="A2.Ex34.m1.2.2.1.1.1.cmml">)</mo></mrow></mrow><mo id="A2.Ex34.m1.2.2.1.1.3" xref="A2.Ex34.m1.2.2.1.2.1.cmml">]</mo></mrow></mrow><annotation-xml encoding="MathML-Content" id="A2.Ex34.m1.2b"><apply id="A2.Ex34.m1.2.2.cmml" xref="A2.Ex34.m1.2.2"><times id="A2.Ex34.m1.2.2.2.cmml" xref="A2.Ex34.m1.2.2.2"></times><ci id="A2.Ex34.m1.2.2.3.cmml" xref="A2.Ex34.m1.2.2.3">𝔼</ci><apply id="A2.Ex34.m1.2.2.1.2.cmml" xref="A2.Ex34.m1.2.2.1.1"><csymbol cd="latexml" id="A2.Ex34.m1.2.2.1.2.1.cmml" xref="A2.Ex34.m1.2.2.1.1.2">delimited-[]</csymbol><apply id="A2.Ex34.m1.2.2.1.1.1.cmml" xref="A2.Ex34.m1.2.2.1.1.1"><times id="A2.Ex34.m1.2.2.1.1.1.1.cmml" xref="A2.Ex34.m1.2.2.1.1.1.1"></times><apply id="A2.Ex34.m1.2.2.1.1.1.2.cmml" xref="A2.Ex34.m1.2.2.1.1.1.2"><ci id="A2.Ex34.m1.2.2.1.1.1.2.1.cmml" xref="A2.Ex34.m1.2.2.1.1.1.2.1">~</ci><ci id="A2.Ex34.m1.2.2.1.1.1.2.2.cmml" xref="A2.Ex34.m1.2.2.1.1.1.2.2">𝑔</ci></apply><ci id="A2.Ex34.m1.1.1.cmml" xref="A2.Ex34.m1.1.1">𝜃</ci></apply></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="A2.Ex34.m1.2c">\displaystyle\mathbb{E}\left[\widetilde{g}(\theta)\right]</annotation></semantics></math></td>
<td class="ltx_td ltx_align_left ltx_eqn_cell"><math id="A2.Ex34.m2.3" class="ltx_Math" alttext="\displaystyle=\mathbb{E}\bigg{[}\sum_{i=1}^{N}\sum_{t=1}^{T}\nabla_{\theta}\log\pi_{\theta}(a_{t}^{i}|x^{i},a_{1:t-1}^{i})\times(r(x,a_{1:T}^{i})-r(x,\macc@depth\char 1\relax\frozen@everymath{\macc@group}\macc@set@skewchar\macc@nested@a 111{a}_{1:T}^{i}))\bigg{]}" display="inline"><semantics id="A2.Ex34.m2.3a"><mrow id="A2.Ex34.m2.3.3" xref="A2.Ex34.m2.3.3.cmml"><mi id="A2.Ex34.m2.3.3.3" xref="A2.Ex34.m2.3.3.3.cmml"></mi><mo id="A2.Ex34.m2.3.3.2" xref="A2.Ex34.m2.3.3.2.cmml">=</mo><mrow id="A2.Ex34.m2.3.3.1" xref="A2.Ex34.m2.3.3.1.cmml"><mi id="A2.Ex34.m2.3.3.1.3" xref="A2.Ex34.m2.3.3.1.3.cmml">𝔼</mi><mo lspace="0em" rspace="0em" id="A2.Ex34.m2.3.3.1.2" xref="A2.Ex34.m2.3.3.1.2.cmml">​</mo><mrow id="A2.Ex34.m2.3.3.1.1.1" xref="A2.Ex34.m2.3.3.1.1.2.cmml"><mo maxsize="210%" minsize="210%" id="A2.Ex34.m2.3.3.1.1.1.2" xref="A2.Ex34.m2.3.3.1.1.2.1.cmml">[</mo><mrow id="A2.Ex34.m2.3.3.1.1.1.1" xref="A2.Ex34.m2.3.3.1.1.1.1.cmml"><mstyle displaystyle="true" id="A2.Ex34.m2.3.3.1.1.1.1.3" xref="A2.Ex34.m2.3.3.1.1.1.1.3.cmml"><munderover id="A2.Ex34.m2.3.3.1.1.1.1.3a" xref="A2.Ex34.m2.3.3.1.1.1.1.3.cmml"><mo movablelimits="false" id="A2.Ex34.m2.3.3.1.1.1.1.3.2.2" xref="A2.Ex34.m2.3.3.1.1.1.1.3.2.2.cmml">∑</mo><mrow id="A2.Ex34.m2.3.3.1.1.1.1.3.2.3" xref="A2.Ex34.m2.3.3.1.1.1.1.3.2.3.cmml"><mi id="A2.Ex34.m2.3.3.1.1.1.1.3.2.3.2" xref="A2.Ex34.m2.3.3.1.1.1.1.3.2.3.2.cmml">i</mi><mo id="A2.Ex34.m2.3.3.1.1.1.1.3.2.3.1" xref="A2.Ex34.m2.3.3.1.1.1.1.3.2.3.1.cmml">=</mo><mn id="A2.Ex34.m2.3.3.1.1.1.1.3.2.3.3" xref="A2.Ex34.m2.3.3.1.1.1.1.3.2.3.3.cmml">1</mn></mrow><mi id="A2.Ex34.m2.3.3.1.1.1.1.3.3" xref="A2.Ex34.m2.3.3.1.1.1.1.3.3.cmml">N</mi></munderover></mstyle><mrow id="A2.Ex34.m2.3.3.1.1.1.1.2" xref="A2.Ex34.m2.3.3.1.1.1.1.2.cmml"><mstyle displaystyle="true" id="A2.Ex34.m2.3.3.1.1.1.1.2.3" xref="A2.Ex34.m2.3.3.1.1.1.1.2.3.cmml"><munderover id="A2.Ex34.m2.3.3.1.1.1.1.2.3a" xref="A2.Ex34.m2.3.3.1.1.1.1.2.3.cmml"><mo movablelimits="false" id="A2.Ex34.m2.3.3.1.1.1.1.2.3.2.2" xref="A2.Ex34.m2.3.3.1.1.1.1.2.3.2.2.cmml">∑</mo><mrow id="A2.Ex34.m2.3.3.1.1.1.1.2.3.2.3" xref="A2.Ex34.m2.3.3.1.1.1.1.2.3.2.3.cmml"><mi id="A2.Ex34.m2.3.3.1.1.1.1.2.3.2.3.2" xref="A2.Ex34.m2.3.3.1.1.1.1.2.3.2.3.2.cmml">t</mi><mo id="A2.Ex34.m2.3.3.1.1.1.1.2.3.2.3.1" xref="A2.Ex34.m2.3.3.1.1.1.1.2.3.2.3.1.cmml">=</mo><mn id="A2.Ex34.m2.3.3.1.1.1.1.2.3.2.3.3" xref="A2.Ex34.m2.3.3.1.1.1.1.2.3.2.3.3.cmml">1</mn></mrow><mi id="A2.Ex34.m2.3.3.1.1.1.1.2.3.3" xref="A2.Ex34.m2.3.3.1.1.1.1.2.3.3.cmml">T</mi></munderover></mstyle><mrow id="A2.Ex34.m2.3.3.1.1.1.1.2.2" xref="A2.Ex34.m2.3.3.1.1.1.1.2.2.cmml"><mrow id="A2.Ex34.m2.3.3.1.1.1.1.1.1.1" xref="A2.Ex34.m2.3.3.1.1.1.1.1.1.1.cmml"><mrow id="A2.Ex34.m2.3.3.1.1.1.1.1.1.1.3" xref="A2.Ex34.m2.3.3.1.1.1.1.1.1.1.3.cmml"><mrow id="A2.Ex34.m2.3.3.1.1.1.1.1.1.1.3.1" xref="A2.Ex34.m2.3.3.1.1.1.1.1.1.1.3.1.cmml"><msub id="A2.Ex34.m2.3.3.1.1.1.1.1.1.1.3.1.1" xref="A2.Ex34.m2.3.3.1.1.1.1.1.1.1.3.1.1.cmml"><mo lspace="0.167em" rspace="0.167em" id="A2.Ex34.m2.3.3.1.1.1.1.1.1.1.3.1.1.2" xref="A2.Ex34.m2.3.3.1.1.1.1.1.1.1.3.1.1.2.cmml">∇</mo><mi id="A2.Ex34.m2.3.3.1.1.1.1.1.1.1.3.1.1.3" xref="A2.Ex34.m2.3.3.1.1.1.1.1.1.1.3.1.1.3.cmml">θ</mi></msub><mi id="A2.Ex34.m2.3.3.1.1.1.1.1.1.1.3.1.2" xref="A2.Ex34.m2.3.3.1.1.1.1.1.1.1.3.1.2.cmml">log</mi></mrow><mo lspace="0.167em" id="A2.Ex34.m2.3.3.1.1.1.1.1.1.1.3a" xref="A2.Ex34.m2.3.3.1.1.1.1.1.1.1.3.cmml">⁡</mo><msub id="A2.Ex34.m2.3.3.1.1.1.1.1.1.1.3.2" xref="A2.Ex34.m2.3.3.1.1.1.1.1.1.1.3.2.cmml"><mi id="A2.Ex34.m2.3.3.1.1.1.1.1.1.1.3.2.2" xref="A2.Ex34.m2.3.3.1.1.1.1.1.1.1.3.2.2.cmml">π</mi><mi id="A2.Ex34.m2.3.3.1.1.1.1.1.1.1.3.2.3" xref="A2.Ex34.m2.3.3.1.1.1.1.1.1.1.3.2.3.cmml">θ</mi></msub></mrow><mo lspace="0em" rspace="0em" id="A2.Ex34.m2.3.3.1.1.1.1.1.1.1.2" xref="A2.Ex34.m2.3.3.1.1.1.1.1.1.1.2.cmml">​</mo><mrow id="A2.Ex34.m2.3.3.1.1.1.1.1.1.1.1.1" xref="A2.Ex34.m2.3.3.1.1.1.1.1.1.1.1.1.1.cmml"><mo stretchy="false" id="A2.Ex34.m2.3.3.1.1.1.1.1.1.1.1.1.2" xref="A2.Ex34.m2.3.3.1.1.1.1.1.1.1.1.1.1.cmml">(</mo><mrow id="A2.Ex34.m2.3.3.1.1.1.1.1.1.1.1.1.1" xref="A2.Ex34.m2.3.3.1.1.1.1.1.1.1.1.1.1.cmml"><msubsup id="A2.Ex34.m2.3.3.1.1.1.1.1.1.1.1.1.1.4" xref="A2.Ex34.m2.3.3.1.1.1.1.1.1.1.1.1.1.4.cmml"><mi id="A2.Ex34.m2.3.3.1.1.1.1.1.1.1.1.1.1.4.2.2" xref="A2.Ex34.m2.3.3.1.1.1.1.1.1.1.1.1.1.4.2.2.cmml">a</mi><mi id="A2.Ex34.m2.3.3.1.1.1.1.1.1.1.1.1.1.4.2.3" xref="A2.Ex34.m2.3.3.1.1.1.1.1.1.1.1.1.1.4.2.3.cmml">t</mi><mi id="A2.Ex34.m2.3.3.1.1.1.1.1.1.1.1.1.1.4.3" xref="A2.Ex34.m2.3.3.1.1.1.1.1.1.1.1.1.1.4.3.cmml">i</mi></msubsup><mo fence="false" id="A2.Ex34.m2.3.3.1.1.1.1.1.1.1.1.1.1.3" xref="A2.Ex34.m2.3.3.1.1.1.1.1.1.1.1.1.1.3.cmml">|</mo><mrow id="A2.Ex34.m2.3.3.1.1.1.1.1.1.1.1.1.1.2.2" xref="A2.Ex34.m2.3.3.1.1.1.1.1.1.1.1.1.1.2.3.cmml"><msup id="A2.Ex34.m2.3.3.1.1.1.1.1.1.1.1.1.1.1.1.1" xref="A2.Ex34.m2.3.3.1.1.1.1.1.1.1.1.1.1.1.1.1.cmml"><mi id="A2.Ex34.m2.3.3.1.1.1.1.1.1.1.1.1.1.1.1.1.2" xref="A2.Ex34.m2.3.3.1.1.1.1.1.1.1.1.1.1.1.1.1.2.cmml">x</mi><mi id="A2.Ex34.m2.3.3.1.1.1.1.1.1.1.1.1.1.1.1.1.3" xref="A2.Ex34.m2.3.3.1.1.1.1.1.1.1.1.1.1.1.1.1.3.cmml">i</mi></msup><mo id="A2.Ex34.m2.3.3.1.1.1.1.1.1.1.1.1.1.2.2.3" xref="A2.Ex34.m2.3.3.1.1.1.1.1.1.1.1.1.1.2.3.cmml">,</mo><msubsup id="A2.Ex34.m2.3.3.1.1.1.1.1.1.1.1.1.1.2.2.2" xref="A2.Ex34.m2.3.3.1.1.1.1.1.1.1.1.1.1.2.2.2.cmml"><mi id="A2.Ex34.m2.3.3.1.1.1.1.1.1.1.1.1.1.2.2.2.2.2" xref="A2.Ex34.m2.3.3.1.1.1.1.1.1.1.1.1.1.2.2.2.2.2.cmml">a</mi><mrow id="A2.Ex34.m2.3.3.1.1.1.1.1.1.1.1.1.1.2.2.2.2.3" xref="A2.Ex34.m2.3.3.1.1.1.1.1.1.1.1.1.1.2.2.2.2.3.cmml"><mn id="A2.Ex34.m2.3.3.1.1.1.1.1.1.1.1.1.1.2.2.2.2.3.2" xref="A2.Ex34.m2.3.3.1.1.1.1.1.1.1.1.1.1.2.2.2.2.3.2.cmml">1</mn><mo lspace="0.278em" rspace="0.278em" id="A2.Ex34.m2.3.3.1.1.1.1.1.1.1.1.1.1.2.2.2.2.3.1" xref="A2.Ex34.m2.3.3.1.1.1.1.1.1.1.1.1.1.2.2.2.2.3.1.cmml">:</mo><mrow id="A2.Ex34.m2.3.3.1.1.1.1.1.1.1.1.1.1.2.2.2.2.3.3" xref="A2.Ex34.m2.3.3.1.1.1.1.1.1.1.1.1.1.2.2.2.2.3.3.cmml"><mi id="A2.Ex34.m2.3.3.1.1.1.1.1.1.1.1.1.1.2.2.2.2.3.3.2" xref="A2.Ex34.m2.3.3.1.1.1.1.1.1.1.1.1.1.2.2.2.2.3.3.2.cmml">t</mi><mo id="A2.Ex34.m2.3.3.1.1.1.1.1.1.1.1.1.1.2.2.2.2.3.3.1" xref="A2.Ex34.m2.3.3.1.1.1.1.1.1.1.1.1.1.2.2.2.2.3.3.1.cmml">−</mo><mn id="A2.Ex34.m2.3.3.1.1.1.1.1.1.1.1.1.1.2.2.2.2.3.3.3" xref="A2.Ex34.m2.3.3.1.1.1.1.1.1.1.1.1.1.2.2.2.2.3.3.3.cmml">1</mn></mrow></mrow><mi id="A2.Ex34.m2.3.3.1.1.1.1.1.1.1.1.1.1.2.2.2.3" xref="A2.Ex34.m2.3.3.1.1.1.1.1.1.1.1.1.1.2.2.2.3.cmml">i</mi></msubsup></mrow></mrow><mo rspace="0.055em" stretchy="false" id="A2.Ex34.m2.3.3.1.1.1.1.1.1.1.1.1.3" xref="A2.Ex34.m2.3.3.1.1.1.1.1.1.1.1.1.1.cmml">)</mo></mrow></mrow><mo rspace="0.222em" id="A2.Ex34.m2.3.3.1.1.1.1.2.2.3" xref="A2.Ex34.m2.3.3.1.1.1.1.2.2.3.cmml">×</mo><mrow id="A2.Ex34.m2.3.3.1.1.1.1.2.2.2.1" xref="A2.Ex34.m2.3.3.1.1.1.1.2.2.2.1.1.cmml"><mo stretchy="false" id="A2.Ex34.m2.3.3.1.1.1.1.2.2.2.1.2" xref="A2.Ex34.m2.3.3.1.1.1.1.2.2.2.1.1.cmml">(</mo><mrow id="A2.Ex34.m2.3.3.1.1.1.1.2.2.2.1.1" xref="A2.Ex34.m2.3.3.1.1.1.1.2.2.2.1.1.cmml"><mrow id="A2.Ex34.m2.3.3.1.1.1.1.2.2.2.1.1.1" xref="A2.Ex34.m2.3.3.1.1.1.1.2.2.2.1.1.1.cmml"><mi id="A2.Ex34.m2.3.3.1.1.1.1.2.2.2.1.1.1.3" xref="A2.Ex34.m2.3.3.1.1.1.1.2.2.2.1.1.1.3.cmml">r</mi><mo lspace="0em" rspace="0em" id="A2.Ex34.m2.3.3.1.1.1.1.2.2.2.1.1.1.2" xref="A2.Ex34.m2.3.3.1.1.1.1.2.2.2.1.1.1.2.cmml">​</mo><mrow id="A2.Ex34.m2.3.3.1.1.1.1.2.2.2.1.1.1.1.1" xref="A2.Ex34.m2.3.3.1.1.1.1.2.2.2.1.1.1.1.2.cmml"><mo stretchy="false" id="A2.Ex34.m2.3.3.1.1.1.1.2.2.2.1.1.1.1.1.2" xref="A2.Ex34.m2.3.3.1.1.1.1.2.2.2.1.1.1.1.2.cmml">(</mo><mi id="A2.Ex34.m2.1.1" xref="A2.Ex34.m2.1.1.cmml">x</mi><mo id="A2.Ex34.m2.3.3.1.1.1.1.2.2.2.1.1.1.1.1.3" xref="A2.Ex34.m2.3.3.1.1.1.1.2.2.2.1.1.1.1.2.cmml">,</mo><msubsup id="A2.Ex34.m2.3.3.1.1.1.1.2.2.2.1.1.1.1.1.1" xref="A2.Ex34.m2.3.3.1.1.1.1.2.2.2.1.1.1.1.1.1.cmml"><mi id="A2.Ex34.m2.3.3.1.1.1.1.2.2.2.1.1.1.1.1.1.2.2" xref="A2.Ex34.m2.3.3.1.1.1.1.2.2.2.1.1.1.1.1.1.2.2.cmml">a</mi><mrow id="A2.Ex34.m2.3.3.1.1.1.1.2.2.2.1.1.1.1.1.1.2.3" xref="A2.Ex34.m2.3.3.1.1.1.1.2.2.2.1.1.1.1.1.1.2.3.cmml"><mn id="A2.Ex34.m2.3.3.1.1.1.1.2.2.2.1.1.1.1.1.1.2.3.2" xref="A2.Ex34.m2.3.3.1.1.1.1.2.2.2.1.1.1.1.1.1.2.3.2.cmml">1</mn><mo lspace="0.278em" rspace="0.278em" id="A2.Ex34.m2.3.3.1.1.1.1.2.2.2.1.1.1.1.1.1.2.3.1" xref="A2.Ex34.m2.3.3.1.1.1.1.2.2.2.1.1.1.1.1.1.2.3.1.cmml">:</mo><mi id="A2.Ex34.m2.3.3.1.1.1.1.2.2.2.1.1.1.1.1.1.2.3.3" xref="A2.Ex34.m2.3.3.1.1.1.1.2.2.2.1.1.1.1.1.1.2.3.3.cmml">T</mi></mrow><mi id="A2.Ex34.m2.3.3.1.1.1.1.2.2.2.1.1.1.1.1.1.3" xref="A2.Ex34.m2.3.3.1.1.1.1.2.2.2.1.1.1.1.1.1.3.cmml">i</mi></msubsup><mo stretchy="false" id="A2.Ex34.m2.3.3.1.1.1.1.2.2.2.1.1.1.1.1.4" xref="A2.Ex34.m2.3.3.1.1.1.1.2.2.2.1.1.1.1.2.cmml">)</mo></mrow></mrow><mo id="A2.Ex34.m2.3.3.1.1.1.1.2.2.2.1.1.3" xref="A2.Ex34.m2.3.3.1.1.1.1.2.2.2.1.1.3.cmml">−</mo><mrow id="A2.Ex34.m2.3.3.1.1.1.1.2.2.2.1.1.2" xref="A2.Ex34.m2.3.3.1.1.1.1.2.2.2.1.1.2.cmml"><mi id="A2.Ex34.m2.3.3.1.1.1.1.2.2.2.1.1.2.3" xref="A2.Ex34.m2.3.3.1.1.1.1.2.2.2.1.1.2.3.cmml">r</mi><mo lspace="0em" rspace="0em" id="A2.Ex34.m2.3.3.1.1.1.1.2.2.2.1.1.2.2" xref="A2.Ex34.m2.3.3.1.1.1.1.2.2.2.1.1.2.2.cmml">​</mo><mrow id="A2.Ex34.m2.3.3.1.1.1.1.2.2.2.1.1.2.1.1" xref="A2.Ex34.m2.3.3.1.1.1.1.2.2.2.1.1.2.1.2.cmml"><mo stretchy="false" id="A2.Ex34.m2.3.3.1.1.1.1.2.2.2.1.1.2.1.1.2" xref="A2.Ex34.m2.3.3.1.1.1.1.2.2.2.1.1.2.1.2.cmml">(</mo><mi id="A2.Ex34.m2.2.2" xref="A2.Ex34.m2.2.2.cmml">x</mi><mo id="A2.Ex34.m2.3.3.1.1.1.1.2.2.2.1.1.2.1.1.3" xref="A2.Ex34.m2.3.3.1.1.1.1.2.2.2.1.1.2.1.2.cmml">,</mo><mrow id="A2.Ex34.m2.3.3.1.1.1.1.2.2.2.1.1.2.1.1.1" xref="A2.Ex34.m2.3.3.1.1.1.1.2.2.2.1.1.2.1.1.1.cmml"><merror class="ltx_ERROR undefined undefined" id="A2.Ex34.m2.3.3.1.1.1.1.2.2.2.1.1.2.1.1.1.2" xref="A2.Ex34.m2.3.3.1.1.1.1.2.2.2.1.1.2.1.1.1.2b.cmml"><mtext id="A2.Ex34.m2.3.3.1.1.1.1.2.2.2.1.1.2.1.1.1.2a" xref="A2.Ex34.m2.3.3.1.1.1.1.2.2.2.1.1.2.1.1.1.2b.cmml">\macc@depth</mtext></merror><mo lspace="0em" rspace="0em" id="A2.Ex34.m2.3.3.1.1.1.1.2.2.2.1.1.2.1.1.1.1" xref="A2.Ex34.m2.3.3.1.1.1.1.2.2.2.1.1.2.1.1.1.1.cmml">​</mo><mi mathvariant="normal" id="A2.Ex34.m2.3.3.1.1.1.1.2.2.2.1.1.2.1.1.1.3" xref="A2.Ex34.m2.3.3.1.1.1.1.2.2.2.1.1.2.1.1.1.3.cmml">Δ</mi><mo lspace="0em" rspace="0em" id="A2.Ex34.m2.3.3.1.1.1.1.2.2.2.1.1.2.1.1.1.1a" xref="A2.Ex34.m2.3.3.1.1.1.1.2.2.2.1.1.2.1.1.1.1.cmml">​</mo><merror class="ltx_ERROR undefined undefined" id="A2.Ex34.m2.3.3.1.1.1.1.2.2.2.1.1.2.1.1.1.4" xref="A2.Ex34.m2.3.3.1.1.1.1.2.2.2.1.1.2.1.1.1.4b.cmml"><mtext id="A2.Ex34.m2.3.3.1.1.1.1.2.2.2.1.1.2.1.1.1.4a" xref="A2.Ex34.m2.3.3.1.1.1.1.2.2.2.1.1.2.1.1.1.4b.cmml">\frozen@everymath</mtext></merror><mo lspace="0em" rspace="0em" id="A2.Ex34.m2.3.3.1.1.1.1.2.2.2.1.1.2.1.1.1.1b" xref="A2.Ex34.m2.3.3.1.1.1.1.2.2.2.1.1.2.1.1.1.1.cmml">​</mo><merror class="ltx_ERROR undefined undefined" id="A2.Ex34.m2.3.3.1.1.1.1.2.2.2.1.1.2.1.1.1.5" xref="A2.Ex34.m2.3.3.1.1.1.1.2.2.2.1.1.2.1.1.1.5b.cmml"><mtext id="A2.Ex34.m2.3.3.1.1.1.1.2.2.2.1.1.2.1.1.1.5a" xref="A2.Ex34.m2.3.3.1.1.1.1.2.2.2.1.1.2.1.1.1.5b.cmml">\macc@group</mtext></merror><mo lspace="0em" rspace="0em" id="A2.Ex34.m2.3.3.1.1.1.1.2.2.2.1.1.2.1.1.1.1c" xref="A2.Ex34.m2.3.3.1.1.1.1.2.2.2.1.1.2.1.1.1.1.cmml">​</mo><merror class="ltx_ERROR undefined undefined" id="A2.Ex34.m2.3.3.1.1.1.1.2.2.2.1.1.2.1.1.1.6" xref="A2.Ex34.m2.3.3.1.1.1.1.2.2.2.1.1.2.1.1.1.6b.cmml"><mtext id="A2.Ex34.m2.3.3.1.1.1.1.2.2.2.1.1.2.1.1.1.6a" xref="A2.Ex34.m2.3.3.1.1.1.1.2.2.2.1.1.2.1.1.1.6b.cmml">\macc@set@skewchar</mtext></merror><mo lspace="0em" rspace="0em" id="A2.Ex34.m2.3.3.1.1.1.1.2.2.2.1.1.2.1.1.1.1d" xref="A2.Ex34.m2.3.3.1.1.1.1.2.2.2.1.1.2.1.1.1.1.cmml">​</mo><merror class="ltx_ERROR undefined undefined" id="A2.Ex34.m2.3.3.1.1.1.1.2.2.2.1.1.2.1.1.1.7" xref="A2.Ex34.m2.3.3.1.1.1.1.2.2.2.1.1.2.1.1.1.7b.cmml"><mtext id="A2.Ex34.m2.3.3.1.1.1.1.2.2.2.1.1.2.1.1.1.7a" xref="A2.Ex34.m2.3.3.1.1.1.1.2.2.2.1.1.2.1.1.1.7b.cmml">\macc@nested@a</mtext></merror><mo lspace="0em" rspace="0em" id="A2.Ex34.m2.3.3.1.1.1.1.2.2.2.1.1.2.1.1.1.1e" xref="A2.Ex34.m2.3.3.1.1.1.1.2.2.2.1.1.2.1.1.1.1.cmml">​</mo><mn id="A2.Ex34.m2.3.3.1.1.1.1.2.2.2.1.1.2.1.1.1.8" xref="A2.Ex34.m2.3.3.1.1.1.1.2.2.2.1.1.2.1.1.1.8.cmml">111</mn><mo lspace="0em" rspace="0em" id="A2.Ex34.m2.3.3.1.1.1.1.2.2.2.1.1.2.1.1.1.1f" xref="A2.Ex34.m2.3.3.1.1.1.1.2.2.2.1.1.2.1.1.1.1.cmml">​</mo><msubsup id="A2.Ex34.m2.3.3.1.1.1.1.2.2.2.1.1.2.1.1.1.9" xref="A2.Ex34.m2.3.3.1.1.1.1.2.2.2.1.1.2.1.1.1.9.cmml"><mi id="A2.Ex34.m2.3.3.1.1.1.1.2.2.2.1.1.2.1.1.1.9.2.2" xref="A2.Ex34.m2.3.3.1.1.1.1.2.2.2.1.1.2.1.1.1.9.2.2.cmml">a</mi><mrow id="A2.Ex34.m2.3.3.1.1.1.1.2.2.2.1.1.2.1.1.1.9.2.3" xref="A2.Ex34.m2.3.3.1.1.1.1.2.2.2.1.1.2.1.1.1.9.2.3.cmml"><mn id="A2.Ex34.m2.3.3.1.1.1.1.2.2.2.1.1.2.1.1.1.9.2.3.2" xref="A2.Ex34.m2.3.3.1.1.1.1.2.2.2.1.1.2.1.1.1.9.2.3.2.cmml">1</mn><mo lspace="0.278em" rspace="0.278em" id="A2.Ex34.m2.3.3.1.1.1.1.2.2.2.1.1.2.1.1.1.9.2.3.1" xref="A2.Ex34.m2.3.3.1.1.1.1.2.2.2.1.1.2.1.1.1.9.2.3.1.cmml">:</mo><mi id="A2.Ex34.m2.3.3.1.1.1.1.2.2.2.1.1.2.1.1.1.9.2.3.3" xref="A2.Ex34.m2.3.3.1.1.1.1.2.2.2.1.1.2.1.1.1.9.2.3.3.cmml">T</mi></mrow><mi id="A2.Ex34.m2.3.3.1.1.1.1.2.2.2.1.1.2.1.1.1.9.3" xref="A2.Ex34.m2.3.3.1.1.1.1.2.2.2.1.1.2.1.1.1.9.3.cmml">i</mi></msubsup></mrow><mo stretchy="false" id="A2.Ex34.m2.3.3.1.1.1.1.2.2.2.1.1.2.1.1.4" xref="A2.Ex34.m2.3.3.1.1.1.1.2.2.2.1.1.2.1.2.cmml">)</mo></mrow></mrow></mrow><mo stretchy="false" id="A2.Ex34.m2.3.3.1.1.1.1.2.2.2.1.3" xref="A2.Ex34.m2.3.3.1.1.1.1.2.2.2.1.1.cmml">)</mo></mrow></mrow></mrow></mrow><mo maxsize="210%" minsize="210%" id="A2.Ex34.m2.3.3.1.1.1.3" xref="A2.Ex34.m2.3.3.1.1.2.1.cmml">]</mo></mrow></mrow></mrow><annotation-xml encoding="MathML-Content" id="A2.Ex34.m2.3b"><apply id="A2.Ex34.m2.3.3.cmml" xref="A2.Ex34.m2.3.3"><eq id="A2.Ex34.m2.3.3.2.cmml" xref="A2.Ex34.m2.3.3.2"></eq><csymbol cd="latexml" id="A2.Ex34.m2.3.3.3.cmml" xref="A2.Ex34.m2.3.3.3">absent</csymbol><apply id="A2.Ex34.m2.3.3.1.cmml" xref="A2.Ex34.m2.3.3.1"><times id="A2.Ex34.m2.3.3.1.2.cmml" xref="A2.Ex34.m2.3.3.1.2"></times><ci id="A2.Ex34.m2.3.3.1.3.cmml" xref="A2.Ex34.m2.3.3.1.3">𝔼</ci><apply id="A2.Ex34.m2.3.3.1.1.2.cmml" xref="A2.Ex34.m2.3.3.1.1.1"><csymbol cd="latexml" id="A2.Ex34.m2.3.3.1.1.2.1.cmml" xref="A2.Ex34.m2.3.3.1.1.1.2">delimited-[]</csymbol><apply id="A2.Ex34.m2.3.3.1.1.1.1.cmml" xref="A2.Ex34.m2.3.3.1.1.1.1"><apply id="A2.Ex34.m2.3.3.1.1.1.1.3.cmml" xref="A2.Ex34.m2.3.3.1.1.1.1.3"><csymbol cd="ambiguous" id="A2.Ex34.m2.3.3.1.1.1.1.3.1.cmml" xref="A2.Ex34.m2.3.3.1.1.1.1.3">superscript</csymbol><apply id="A2.Ex34.m2.3.3.1.1.1.1.3.2.cmml" xref="A2.Ex34.m2.3.3.1.1.1.1.3"><csymbol cd="ambiguous" id="A2.Ex34.m2.3.3.1.1.1.1.3.2.1.cmml" xref="A2.Ex34.m2.3.3.1.1.1.1.3">subscript</csymbol><sum id="A2.Ex34.m2.3.3.1.1.1.1.3.2.2.cmml" xref="A2.Ex34.m2.3.3.1.1.1.1.3.2.2"></sum><apply id="A2.Ex34.m2.3.3.1.1.1.1.3.2.3.cmml" xref="A2.Ex34.m2.3.3.1.1.1.1.3.2.3"><eq id="A2.Ex34.m2.3.3.1.1.1.1.3.2.3.1.cmml" xref="A2.Ex34.m2.3.3.1.1.1.1.3.2.3.1"></eq><ci id="A2.Ex34.m2.3.3.1.1.1.1.3.2.3.2.cmml" xref="A2.Ex34.m2.3.3.1.1.1.1.3.2.3.2">𝑖</ci><cn type="integer" id="A2.Ex34.m2.3.3.1.1.1.1.3.2.3.3.cmml" xref="A2.Ex34.m2.3.3.1.1.1.1.3.2.3.3">1</cn></apply></apply><ci id="A2.Ex34.m2.3.3.1.1.1.1.3.3.cmml" xref="A2.Ex34.m2.3.3.1.1.1.1.3.3">𝑁</ci></apply><apply id="A2.Ex34.m2.3.3.1.1.1.1.2.cmml" xref="A2.Ex34.m2.3.3.1.1.1.1.2"><apply id="A2.Ex34.m2.3.3.1.1.1.1.2.3.cmml" xref="A2.Ex34.m2.3.3.1.1.1.1.2.3"><csymbol cd="ambiguous" id="A2.Ex34.m2.3.3.1.1.1.1.2.3.1.cmml" xref="A2.Ex34.m2.3.3.1.1.1.1.2.3">superscript</csymbol><apply id="A2.Ex34.m2.3.3.1.1.1.1.2.3.2.cmml" xref="A2.Ex34.m2.3.3.1.1.1.1.2.3"><csymbol cd="ambiguous" id="A2.Ex34.m2.3.3.1.1.1.1.2.3.2.1.cmml" xref="A2.Ex34.m2.3.3.1.1.1.1.2.3">subscript</csymbol><sum id="A2.Ex34.m2.3.3.1.1.1.1.2.3.2.2.cmml" xref="A2.Ex34.m2.3.3.1.1.1.1.2.3.2.2"></sum><apply id="A2.Ex34.m2.3.3.1.1.1.1.2.3.2.3.cmml" xref="A2.Ex34.m2.3.3.1.1.1.1.2.3.2.3"><eq id="A2.Ex34.m2.3.3.1.1.1.1.2.3.2.3.1.cmml" xref="A2.Ex34.m2.3.3.1.1.1.1.2.3.2.3.1"></eq><ci id="A2.Ex34.m2.3.3.1.1.1.1.2.3.2.3.2.cmml" xref="A2.Ex34.m2.3.3.1.1.1.1.2.3.2.3.2">𝑡</ci><cn type="integer" id="A2.Ex34.m2.3.3.1.1.1.1.2.3.2.3.3.cmml" xref="A2.Ex34.m2.3.3.1.1.1.1.2.3.2.3.3">1</cn></apply></apply><ci id="A2.Ex34.m2.3.3.1.1.1.1.2.3.3.cmml" xref="A2.Ex34.m2.3.3.1.1.1.1.2.3.3">𝑇</ci></apply><apply id="A2.Ex34.m2.3.3.1.1.1.1.2.2.cmml" xref="A2.Ex34.m2.3.3.1.1.1.1.2.2"><times id="A2.Ex34.m2.3.3.1.1.1.1.2.2.3.cmml" xref="A2.Ex34.m2.3.3.1.1.1.1.2.2.3"></times><apply id="A2.Ex34.m2.3.3.1.1.1.1.1.1.1.cmml" xref="A2.Ex34.m2.3.3.1.1.1.1.1.1.1"><times id="A2.Ex34.m2.3.3.1.1.1.1.1.1.1.2.cmml" xref="A2.Ex34.m2.3.3.1.1.1.1.1.1.1.2"></times><apply id="A2.Ex34.m2.3.3.1.1.1.1.1.1.1.3.cmml" xref="A2.Ex34.m2.3.3.1.1.1.1.1.1.1.3"><apply id="A2.Ex34.m2.3.3.1.1.1.1.1.1.1.3.1.cmml" xref="A2.Ex34.m2.3.3.1.1.1.1.1.1.1.3.1"><apply id="A2.Ex34.m2.3.3.1.1.1.1.1.1.1.3.1.1.cmml" xref="A2.Ex34.m2.3.3.1.1.1.1.1.1.1.3.1.1"><csymbol cd="ambiguous" id="A2.Ex34.m2.3.3.1.1.1.1.1.1.1.3.1.1.1.cmml" xref="A2.Ex34.m2.3.3.1.1.1.1.1.1.1.3.1.1">subscript</csymbol><ci id="A2.Ex34.m2.3.3.1.1.1.1.1.1.1.3.1.1.2.cmml" xref="A2.Ex34.m2.3.3.1.1.1.1.1.1.1.3.1.1.2">∇</ci><ci id="A2.Ex34.m2.3.3.1.1.1.1.1.1.1.3.1.1.3.cmml" xref="A2.Ex34.m2.3.3.1.1.1.1.1.1.1.3.1.1.3">𝜃</ci></apply><log id="A2.Ex34.m2.3.3.1.1.1.1.1.1.1.3.1.2.cmml" xref="A2.Ex34.m2.3.3.1.1.1.1.1.1.1.3.1.2"></log></apply><apply id="A2.Ex34.m2.3.3.1.1.1.1.1.1.1.3.2.cmml" xref="A2.Ex34.m2.3.3.1.1.1.1.1.1.1.3.2"><csymbol cd="ambiguous" id="A2.Ex34.m2.3.3.1.1.1.1.1.1.1.3.2.1.cmml" xref="A2.Ex34.m2.3.3.1.1.1.1.1.1.1.3.2">subscript</csymbol><ci id="A2.Ex34.m2.3.3.1.1.1.1.1.1.1.3.2.2.cmml" xref="A2.Ex34.m2.3.3.1.1.1.1.1.1.1.3.2.2">𝜋</ci><ci id="A2.Ex34.m2.3.3.1.1.1.1.1.1.1.3.2.3.cmml" xref="A2.Ex34.m2.3.3.1.1.1.1.1.1.1.3.2.3">𝜃</ci></apply></apply><apply id="A2.Ex34.m2.3.3.1.1.1.1.1.1.1.1.1.1.cmml" xref="A2.Ex34.m2.3.3.1.1.1.1.1.1.1.1.1"><csymbol cd="latexml" id="A2.Ex34.m2.3.3.1.1.1.1.1.1.1.1.1.1.3.cmml" xref="A2.Ex34.m2.3.3.1.1.1.1.1.1.1.1.1.1.3">conditional</csymbol><apply id="A2.Ex34.m2.3.3.1.1.1.1.1.1.1.1.1.1.4.cmml" xref="A2.Ex34.m2.3.3.1.1.1.1.1.1.1.1.1.1.4"><csymbol cd="ambiguous" id="A2.Ex34.m2.3.3.1.1.1.1.1.1.1.1.1.1.4.1.cmml" xref="A2.Ex34.m2.3.3.1.1.1.1.1.1.1.1.1.1.4">superscript</csymbol><apply id="A2.Ex34.m2.3.3.1.1.1.1.1.1.1.1.1.1.4.2.cmml" xref="A2.Ex34.m2.3.3.1.1.1.1.1.1.1.1.1.1.4"><csymbol cd="ambiguous" id="A2.Ex34.m2.3.3.1.1.1.1.1.1.1.1.1.1.4.2.1.cmml" xref="A2.Ex34.m2.3.3.1.1.1.1.1.1.1.1.1.1.4">subscript</csymbol><ci id="A2.Ex34.m2.3.3.1.1.1.1.1.1.1.1.1.1.4.2.2.cmml" xref="A2.Ex34.m2.3.3.1.1.1.1.1.1.1.1.1.1.4.2.2">𝑎</ci><ci id="A2.Ex34.m2.3.3.1.1.1.1.1.1.1.1.1.1.4.2.3.cmml" xref="A2.Ex34.m2.3.3.1.1.1.1.1.1.1.1.1.1.4.2.3">𝑡</ci></apply><ci id="A2.Ex34.m2.3.3.1.1.1.1.1.1.1.1.1.1.4.3.cmml" xref="A2.Ex34.m2.3.3.1.1.1.1.1.1.1.1.1.1.4.3">𝑖</ci></apply><list id="A2.Ex34.m2.3.3.1.1.1.1.1.1.1.1.1.1.2.3.cmml" xref="A2.Ex34.m2.3.3.1.1.1.1.1.1.1.1.1.1.2.2"><apply id="A2.Ex34.m2.3.3.1.1.1.1.1.1.1.1.1.1.1.1.1.cmml" xref="A2.Ex34.m2.3.3.1.1.1.1.1.1.1.1.1.1.1.1.1"><csymbol cd="ambiguous" id="A2.Ex34.m2.3.3.1.1.1.1.1.1.1.1.1.1.1.1.1.1.cmml" xref="A2.Ex34.m2.3.3.1.1.1.1.1.1.1.1.1.1.1.1.1">superscript</csymbol><ci id="A2.Ex34.m2.3.3.1.1.1.1.1.1.1.1.1.1.1.1.1.2.cmml" xref="A2.Ex34.m2.3.3.1.1.1.1.1.1.1.1.1.1.1.1.1.2">𝑥</ci><ci id="A2.Ex34.m2.3.3.1.1.1.1.1.1.1.1.1.1.1.1.1.3.cmml" xref="A2.Ex34.m2.3.3.1.1.1.1.1.1.1.1.1.1.1.1.1.3">𝑖</ci></apply><apply id="A2.Ex34.m2.3.3.1.1.1.1.1.1.1.1.1.1.2.2.2.cmml" xref="A2.Ex34.m2.3.3.1.1.1.1.1.1.1.1.1.1.2.2.2"><csymbol cd="ambiguous" id="A2.Ex34.m2.3.3.1.1.1.1.1.1.1.1.1.1.2.2.2.1.cmml" xref="A2.Ex34.m2.3.3.1.1.1.1.1.1.1.1.1.1.2.2.2">superscript</csymbol><apply id="A2.Ex34.m2.3.3.1.1.1.1.1.1.1.1.1.1.2.2.2.2.cmml" xref="A2.Ex34.m2.3.3.1.1.1.1.1.1.1.1.1.1.2.2.2"><csymbol cd="ambiguous" id="A2.Ex34.m2.3.3.1.1.1.1.1.1.1.1.1.1.2.2.2.2.1.cmml" xref="A2.Ex34.m2.3.3.1.1.1.1.1.1.1.1.1.1.2.2.2">subscript</csymbol><ci id="A2.Ex34.m2.3.3.1.1.1.1.1.1.1.1.1.1.2.2.2.2.2.cmml" xref="A2.Ex34.m2.3.3.1.1.1.1.1.1.1.1.1.1.2.2.2.2.2">𝑎</ci><apply id="A2.Ex34.m2.3.3.1.1.1.1.1.1.1.1.1.1.2.2.2.2.3.cmml" xref="A2.Ex34.m2.3.3.1.1.1.1.1.1.1.1.1.1.2.2.2.2.3"><ci id="A2.Ex34.m2.3.3.1.1.1.1.1.1.1.1.1.1.2.2.2.2.3.1.cmml" xref="A2.Ex34.m2.3.3.1.1.1.1.1.1.1.1.1.1.2.2.2.2.3.1">:</ci><cn type="integer" id="A2.Ex34.m2.3.3.1.1.1.1.1.1.1.1.1.1.2.2.2.2.3.2.cmml" xref="A2.Ex34.m2.3.3.1.1.1.1.1.1.1.1.1.1.2.2.2.2.3.2">1</cn><apply id="A2.Ex34.m2.3.3.1.1.1.1.1.1.1.1.1.1.2.2.2.2.3.3.cmml" xref="A2.Ex34.m2.3.3.1.1.1.1.1.1.1.1.1.1.2.2.2.2.3.3"><minus id="A2.Ex34.m2.3.3.1.1.1.1.1.1.1.1.1.1.2.2.2.2.3.3.1.cmml" xref="A2.Ex34.m2.3.3.1.1.1.1.1.1.1.1.1.1.2.2.2.2.3.3.1"></minus><ci id="A2.Ex34.m2.3.3.1.1.1.1.1.1.1.1.1.1.2.2.2.2.3.3.2.cmml" xref="A2.Ex34.m2.3.3.1.1.1.1.1.1.1.1.1.1.2.2.2.2.3.3.2">𝑡</ci><cn type="integer" id="A2.Ex34.m2.3.3.1.1.1.1.1.1.1.1.1.1.2.2.2.2.3.3.3.cmml" xref="A2.Ex34.m2.3.3.1.1.1.1.1.1.1.1.1.1.2.2.2.2.3.3.3">1</cn></apply></apply></apply><ci id="A2.Ex34.m2.3.3.1.1.1.1.1.1.1.1.1.1.2.2.2.3.cmml" xref="A2.Ex34.m2.3.3.1.1.1.1.1.1.1.1.1.1.2.2.2.3">𝑖</ci></apply></list></apply></apply><apply id="A2.Ex34.m2.3.3.1.1.1.1.2.2.2.1.1.cmml" xref="A2.Ex34.m2.3.3.1.1.1.1.2.2.2.1"><minus id="A2.Ex34.m2.3.3.1.1.1.1.2.2.2.1.1.3.cmml" xref="A2.Ex34.m2.3.3.1.1.1.1.2.2.2.1.1.3"></minus><apply id="A2.Ex34.m2.3.3.1.1.1.1.2.2.2.1.1.1.cmml" xref="A2.Ex34.m2.3.3.1.1.1.1.2.2.2.1.1.1"><times id="A2.Ex34.m2.3.3.1.1.1.1.2.2.2.1.1.1.2.cmml" xref="A2.Ex34.m2.3.3.1.1.1.1.2.2.2.1.1.1.2"></times><ci id="A2.Ex34.m2.3.3.1.1.1.1.2.2.2.1.1.1.3.cmml" xref="A2.Ex34.m2.3.3.1.1.1.1.2.2.2.1.1.1.3">𝑟</ci><interval closure="open" id="A2.Ex34.m2.3.3.1.1.1.1.2.2.2.1.1.1.1.2.cmml" xref="A2.Ex34.m2.3.3.1.1.1.1.2.2.2.1.1.1.1.1"><ci id="A2.Ex34.m2.1.1.cmml" xref="A2.Ex34.m2.1.1">𝑥</ci><apply id="A2.Ex34.m2.3.3.1.1.1.1.2.2.2.1.1.1.1.1.1.cmml" xref="A2.Ex34.m2.3.3.1.1.1.1.2.2.2.1.1.1.1.1.1"><csymbol cd="ambiguous" id="A2.Ex34.m2.3.3.1.1.1.1.2.2.2.1.1.1.1.1.1.1.cmml" xref="A2.Ex34.m2.3.3.1.1.1.1.2.2.2.1.1.1.1.1.1">superscript</csymbol><apply id="A2.Ex34.m2.3.3.1.1.1.1.2.2.2.1.1.1.1.1.1.2.cmml" xref="A2.Ex34.m2.3.3.1.1.1.1.2.2.2.1.1.1.1.1.1"><csymbol cd="ambiguous" id="A2.Ex34.m2.3.3.1.1.1.1.2.2.2.1.1.1.1.1.1.2.1.cmml" xref="A2.Ex34.m2.3.3.1.1.1.1.2.2.2.1.1.1.1.1.1">subscript</csymbol><ci id="A2.Ex34.m2.3.3.1.1.1.1.2.2.2.1.1.1.1.1.1.2.2.cmml" xref="A2.Ex34.m2.3.3.1.1.1.1.2.2.2.1.1.1.1.1.1.2.2">𝑎</ci><apply id="A2.Ex34.m2.3.3.1.1.1.1.2.2.2.1.1.1.1.1.1.2.3.cmml" xref="A2.Ex34.m2.3.3.1.1.1.1.2.2.2.1.1.1.1.1.1.2.3"><ci id="A2.Ex34.m2.3.3.1.1.1.1.2.2.2.1.1.1.1.1.1.2.3.1.cmml" xref="A2.Ex34.m2.3.3.1.1.1.1.2.2.2.1.1.1.1.1.1.2.3.1">:</ci><cn type="integer" id="A2.Ex34.m2.3.3.1.1.1.1.2.2.2.1.1.1.1.1.1.2.3.2.cmml" xref="A2.Ex34.m2.3.3.1.1.1.1.2.2.2.1.1.1.1.1.1.2.3.2">1</cn><ci id="A2.Ex34.m2.3.3.1.1.1.1.2.2.2.1.1.1.1.1.1.2.3.3.cmml" xref="A2.Ex34.m2.3.3.1.1.1.1.2.2.2.1.1.1.1.1.1.2.3.3">𝑇</ci></apply></apply><ci id="A2.Ex34.m2.3.3.1.1.1.1.2.2.2.1.1.1.1.1.1.3.cmml" xref="A2.Ex34.m2.3.3.1.1.1.1.2.2.2.1.1.1.1.1.1.3">𝑖</ci></apply></interval></apply><apply id="A2.Ex34.m2.3.3.1.1.1.1.2.2.2.1.1.2.cmml" xref="A2.Ex34.m2.3.3.1.1.1.1.2.2.2.1.1.2"><times id="A2.Ex34.m2.3.3.1.1.1.1.2.2.2.1.1.2.2.cmml" xref="A2.Ex34.m2.3.3.1.1.1.1.2.2.2.1.1.2.2"></times><ci id="A2.Ex34.m2.3.3.1.1.1.1.2.2.2.1.1.2.3.cmml" xref="A2.Ex34.m2.3.3.1.1.1.1.2.2.2.1.1.2.3">𝑟</ci><interval closure="open" id="A2.Ex34.m2.3.3.1.1.1.1.2.2.2.1.1.2.1.2.cmml" xref="A2.Ex34.m2.3.3.1.1.1.1.2.2.2.1.1.2.1.1"><ci id="A2.Ex34.m2.2.2.cmml" xref="A2.Ex34.m2.2.2">𝑥</ci><apply id="A2.Ex34.m2.3.3.1.1.1.1.2.2.2.1.1.2.1.1.1.cmml" xref="A2.Ex34.m2.3.3.1.1.1.1.2.2.2.1.1.2.1.1.1"><times id="A2.Ex34.m2.3.3.1.1.1.1.2.2.2.1.1.2.1.1.1.1.cmml" xref="A2.Ex34.m2.3.3.1.1.1.1.2.2.2.1.1.2.1.1.1.1"></times><ci id="A2.Ex34.m2.3.3.1.1.1.1.2.2.2.1.1.2.1.1.1.2b.cmml" xref="A2.Ex34.m2.3.3.1.1.1.1.2.2.2.1.1.2.1.1.1.2"><merror class="ltx_ERROR undefined undefined" id="A2.Ex34.m2.3.3.1.1.1.1.2.2.2.1.1.2.1.1.1.2.cmml" xref="A2.Ex34.m2.3.3.1.1.1.1.2.2.2.1.1.2.1.1.1.2"><mtext id="A2.Ex34.m2.3.3.1.1.1.1.2.2.2.1.1.2.1.1.1.2a.cmml" xref="A2.Ex34.m2.3.3.1.1.1.1.2.2.2.1.1.2.1.1.1.2">\macc@depth</mtext></merror></ci><ci id="A2.Ex34.m2.3.3.1.1.1.1.2.2.2.1.1.2.1.1.1.3.cmml" xref="A2.Ex34.m2.3.3.1.1.1.1.2.2.2.1.1.2.1.1.1.3">Δ</ci><ci id="A2.Ex34.m2.3.3.1.1.1.1.2.2.2.1.1.2.1.1.1.4b.cmml" xref="A2.Ex34.m2.3.3.1.1.1.1.2.2.2.1.1.2.1.1.1.4"><merror class="ltx_ERROR undefined undefined" id="A2.Ex34.m2.3.3.1.1.1.1.2.2.2.1.1.2.1.1.1.4.cmml" xref="A2.Ex34.m2.3.3.1.1.1.1.2.2.2.1.1.2.1.1.1.4"><mtext id="A2.Ex34.m2.3.3.1.1.1.1.2.2.2.1.1.2.1.1.1.4a.cmml" xref="A2.Ex34.m2.3.3.1.1.1.1.2.2.2.1.1.2.1.1.1.4">\frozen@everymath</mtext></merror></ci><ci id="A2.Ex34.m2.3.3.1.1.1.1.2.2.2.1.1.2.1.1.1.5b.cmml" xref="A2.Ex34.m2.3.3.1.1.1.1.2.2.2.1.1.2.1.1.1.5"><merror class="ltx_ERROR undefined undefined" id="A2.Ex34.m2.3.3.1.1.1.1.2.2.2.1.1.2.1.1.1.5.cmml" xref="A2.Ex34.m2.3.3.1.1.1.1.2.2.2.1.1.2.1.1.1.5"><mtext id="A2.Ex34.m2.3.3.1.1.1.1.2.2.2.1.1.2.1.1.1.5a.cmml" xref="A2.Ex34.m2.3.3.1.1.1.1.2.2.2.1.1.2.1.1.1.5">\macc@group</mtext></merror></ci><ci id="A2.Ex34.m2.3.3.1.1.1.1.2.2.2.1.1.2.1.1.1.6b.cmml" xref="A2.Ex34.m2.3.3.1.1.1.1.2.2.2.1.1.2.1.1.1.6"><merror class="ltx_ERROR undefined undefined" id="A2.Ex34.m2.3.3.1.1.1.1.2.2.2.1.1.2.1.1.1.6.cmml" xref="A2.Ex34.m2.3.3.1.1.1.1.2.2.2.1.1.2.1.1.1.6"><mtext id="A2.Ex34.m2.3.3.1.1.1.1.2.2.2.1.1.2.1.1.1.6a.cmml" xref="A2.Ex34.m2.3.3.1.1.1.1.2.2.2.1.1.2.1.1.1.6">\macc@set@skewchar</mtext></merror></ci><ci id="A2.Ex34.m2.3.3.1.1.1.1.2.2.2.1.1.2.1.1.1.7b.cmml" xref="A2.Ex34.m2.3.3.1.1.1.1.2.2.2.1.1.2.1.1.1.7"><merror class="ltx_ERROR undefined undefined" id="A2.Ex34.m2.3.3.1.1.1.1.2.2.2.1.1.2.1.1.1.7.cmml" xref="A2.Ex34.m2.3.3.1.1.1.1.2.2.2.1.1.2.1.1.1.7"><mtext id="A2.Ex34.m2.3.3.1.1.1.1.2.2.2.1.1.2.1.1.1.7a.cmml" xref="A2.Ex34.m2.3.3.1.1.1.1.2.2.2.1.1.2.1.1.1.7">\macc@nested@a</mtext></merror></ci><cn type="integer" id="A2.Ex34.m2.3.3.1.1.1.1.2.2.2.1.1.2.1.1.1.8.cmml" xref="A2.Ex34.m2.3.3.1.1.1.1.2.2.2.1.1.2.1.1.1.8">111</cn><apply id="A2.Ex34.m2.3.3.1.1.1.1.2.2.2.1.1.2.1.1.1.9.cmml" xref="A2.Ex34.m2.3.3.1.1.1.1.2.2.2.1.1.2.1.1.1.9"><csymbol cd="ambiguous" id="A2.Ex34.m2.3.3.1.1.1.1.2.2.2.1.1.2.1.1.1.9.1.cmml" xref="A2.Ex34.m2.3.3.1.1.1.1.2.2.2.1.1.2.1.1.1.9">superscript</csymbol><apply id="A2.Ex34.m2.3.3.1.1.1.1.2.2.2.1.1.2.1.1.1.9.2.cmml" xref="A2.Ex34.m2.3.3.1.1.1.1.2.2.2.1.1.2.1.1.1.9"><csymbol cd="ambiguous" id="A2.Ex34.m2.3.3.1.1.1.1.2.2.2.1.1.2.1.1.1.9.2.1.cmml" xref="A2.Ex34.m2.3.3.1.1.1.1.2.2.2.1.1.2.1.1.1.9">subscript</csymbol><ci id="A2.Ex34.m2.3.3.1.1.1.1.2.2.2.1.1.2.1.1.1.9.2.2.cmml" xref="A2.Ex34.m2.3.3.1.1.1.1.2.2.2.1.1.2.1.1.1.9.2.2">𝑎</ci><apply id="A2.Ex34.m2.3.3.1.1.1.1.2.2.2.1.1.2.1.1.1.9.2.3.cmml" xref="A2.Ex34.m2.3.3.1.1.1.1.2.2.2.1.1.2.1.1.1.9.2.3"><ci id="A2.Ex34.m2.3.3.1.1.1.1.2.2.2.1.1.2.1.1.1.9.2.3.1.cmml" xref="A2.Ex34.m2.3.3.1.1.1.1.2.2.2.1.1.2.1.1.1.9.2.3.1">:</ci><cn type="integer" id="A2.Ex34.m2.3.3.1.1.1.1.2.2.2.1.1.2.1.1.1.9.2.3.2.cmml" xref="A2.Ex34.m2.3.3.1.1.1.1.2.2.2.1.1.2.1.1.1.9.2.3.2">1</cn><ci id="A2.Ex34.m2.3.3.1.1.1.1.2.2.2.1.1.2.1.1.1.9.2.3.3.cmml" xref="A2.Ex34.m2.3.3.1.1.1.1.2.2.2.1.1.2.1.1.1.9.2.3.3">𝑇</ci></apply></apply><ci id="A2.Ex34.m2.3.3.1.1.1.1.2.2.2.1.1.2.1.1.1.9.3.cmml" xref="A2.Ex34.m2.3.3.1.1.1.1.2.2.2.1.1.2.1.1.1.9.3">𝑖</ci></apply></apply></interval></apply></apply></apply></apply></apply></apply></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="A2.Ex34.m2.3c">\displaystyle=\mathbb{E}\bigg{[}\sum_{i=1}^{N}\sum_{t=1}^{T}\nabla_{\theta}\log\pi_{\theta}(a_{t}^{i}|x^{i},a_{1:t-1}^{i})\times(r(x,a_{1:T}^{i})-r(x,\macc@depth\char 1\relax\frozen@everymath{\macc@group}\macc@set@skewchar\macc@nested@a 111{a}_{1:T}^{i}))\bigg{]}</annotation></semantics></math></td>
<td class="ltx_eqn_cell ltx_eqn_center_padright"></td>
</tr></tbody>
<tbody id="A2.Ex35"><tr class="ltx_equation ltx_eqn_row ltx_align_baseline">
<td class="ltx_eqn_cell ltx_eqn_center_padleft"></td>
<td class="ltx_td ltx_eqn_cell"></td>
<td class="ltx_td ltx_align_left ltx_eqn_cell"><math id="A2.Ex35.m1.4" class="ltx_Math" alttext="\displaystyle=\mathbb{E}\left[\sum_{i=1}^{N}\sum_{t=1}^{T}\nabla_{\theta}\log\pi_{\theta}(a_{t}^{i}|x^{i},a_{1:t-1}^{i})r(x,a_{1:T}^{i})\right]-\mathbb{E}\left[\sum_{i=1}^{N}\sum_{t=1}^{T}\nabla_{\theta}\log\pi_{\theta}(a_{t}^{i}|x^{i},a_{1:t-1}^{i})r(x,\macc@depth\char 1\relax\frozen@everymath{\macc@group}\macc@set@skewchar\macc@nested@a 111{a}_{1:T}^{i})\right]" display="inline"><semantics id="A2.Ex35.m1.4a"><mrow id="A2.Ex35.m1.4.4" xref="A2.Ex35.m1.4.4.cmml"><mi id="A2.Ex35.m1.4.4.4" xref="A2.Ex35.m1.4.4.4.cmml"></mi><mo id="A2.Ex35.m1.4.4.3" xref="A2.Ex35.m1.4.4.3.cmml">=</mo><mrow id="A2.Ex35.m1.4.4.2" xref="A2.Ex35.m1.4.4.2.cmml"><mrow id="A2.Ex35.m1.3.3.1.1" xref="A2.Ex35.m1.3.3.1.1.cmml"><mi id="A2.Ex35.m1.3.3.1.1.3" xref="A2.Ex35.m1.3.3.1.1.3.cmml">𝔼</mi><mo lspace="0em" rspace="0em" id="A2.Ex35.m1.3.3.1.1.2" xref="A2.Ex35.m1.3.3.1.1.2.cmml">​</mo><mrow id="A2.Ex35.m1.3.3.1.1.1.1" xref="A2.Ex35.m1.3.3.1.1.1.2.cmml"><mo id="A2.Ex35.m1.3.3.1.1.1.1.2" xref="A2.Ex35.m1.3.3.1.1.1.2.1.cmml">[</mo><mrow id="A2.Ex35.m1.3.3.1.1.1.1.1" xref="A2.Ex35.m1.3.3.1.1.1.1.1.cmml"><mstyle displaystyle="true" id="A2.Ex35.m1.3.3.1.1.1.1.1.3" xref="A2.Ex35.m1.3.3.1.1.1.1.1.3.cmml"><munderover id="A2.Ex35.m1.3.3.1.1.1.1.1.3a" xref="A2.Ex35.m1.3.3.1.1.1.1.1.3.cmml"><mo movablelimits="false" id="A2.Ex35.m1.3.3.1.1.1.1.1.3.2.2" xref="A2.Ex35.m1.3.3.1.1.1.1.1.3.2.2.cmml">∑</mo><mrow id="A2.Ex35.m1.3.3.1.1.1.1.1.3.2.3" xref="A2.Ex35.m1.3.3.1.1.1.1.1.3.2.3.cmml"><mi id="A2.Ex35.m1.3.3.1.1.1.1.1.3.2.3.2" xref="A2.Ex35.m1.3.3.1.1.1.1.1.3.2.3.2.cmml">i</mi><mo id="A2.Ex35.m1.3.3.1.1.1.1.1.3.2.3.1" xref="A2.Ex35.m1.3.3.1.1.1.1.1.3.2.3.1.cmml">=</mo><mn id="A2.Ex35.m1.3.3.1.1.1.1.1.3.2.3.3" xref="A2.Ex35.m1.3.3.1.1.1.1.1.3.2.3.3.cmml">1</mn></mrow><mi id="A2.Ex35.m1.3.3.1.1.1.1.1.3.3" xref="A2.Ex35.m1.3.3.1.1.1.1.1.3.3.cmml">N</mi></munderover></mstyle><mrow id="A2.Ex35.m1.3.3.1.1.1.1.1.2" xref="A2.Ex35.m1.3.3.1.1.1.1.1.2.cmml"><mstyle displaystyle="true" id="A2.Ex35.m1.3.3.1.1.1.1.1.2.3" xref="A2.Ex35.m1.3.3.1.1.1.1.1.2.3.cmml"><munderover id="A2.Ex35.m1.3.3.1.1.1.1.1.2.3a" xref="A2.Ex35.m1.3.3.1.1.1.1.1.2.3.cmml"><mo movablelimits="false" id="A2.Ex35.m1.3.3.1.1.1.1.1.2.3.2.2" xref="A2.Ex35.m1.3.3.1.1.1.1.1.2.3.2.2.cmml">∑</mo><mrow id="A2.Ex35.m1.3.3.1.1.1.1.1.2.3.2.3" xref="A2.Ex35.m1.3.3.1.1.1.1.1.2.3.2.3.cmml"><mi id="A2.Ex35.m1.3.3.1.1.1.1.1.2.3.2.3.2" xref="A2.Ex35.m1.3.3.1.1.1.1.1.2.3.2.3.2.cmml">t</mi><mo id="A2.Ex35.m1.3.3.1.1.1.1.1.2.3.2.3.1" xref="A2.Ex35.m1.3.3.1.1.1.1.1.2.3.2.3.1.cmml">=</mo><mn id="A2.Ex35.m1.3.3.1.1.1.1.1.2.3.2.3.3" xref="A2.Ex35.m1.3.3.1.1.1.1.1.2.3.2.3.3.cmml">1</mn></mrow><mi id="A2.Ex35.m1.3.3.1.1.1.1.1.2.3.3" xref="A2.Ex35.m1.3.3.1.1.1.1.1.2.3.3.cmml">T</mi></munderover></mstyle><mrow id="A2.Ex35.m1.3.3.1.1.1.1.1.2.2" xref="A2.Ex35.m1.3.3.1.1.1.1.1.2.2.cmml"><mrow id="A2.Ex35.m1.3.3.1.1.1.1.1.2.2.4" xref="A2.Ex35.m1.3.3.1.1.1.1.1.2.2.4.cmml"><mrow id="A2.Ex35.m1.3.3.1.1.1.1.1.2.2.4.1" xref="A2.Ex35.m1.3.3.1.1.1.1.1.2.2.4.1.cmml"><msub id="A2.Ex35.m1.3.3.1.1.1.1.1.2.2.4.1.1" xref="A2.Ex35.m1.3.3.1.1.1.1.1.2.2.4.1.1.cmml"><mo lspace="0.167em" rspace="0.167em" id="A2.Ex35.m1.3.3.1.1.1.1.1.2.2.4.1.1.2" xref="A2.Ex35.m1.3.3.1.1.1.1.1.2.2.4.1.1.2.cmml">∇</mo><mi id="A2.Ex35.m1.3.3.1.1.1.1.1.2.2.4.1.1.3" xref="A2.Ex35.m1.3.3.1.1.1.1.1.2.2.4.1.1.3.cmml">θ</mi></msub><mi id="A2.Ex35.m1.3.3.1.1.1.1.1.2.2.4.1.2" xref="A2.Ex35.m1.3.3.1.1.1.1.1.2.2.4.1.2.cmml">log</mi></mrow><mo lspace="0.167em" id="A2.Ex35.m1.3.3.1.1.1.1.1.2.2.4a" xref="A2.Ex35.m1.3.3.1.1.1.1.1.2.2.4.cmml">⁡</mo><msub id="A2.Ex35.m1.3.3.1.1.1.1.1.2.2.4.2" xref="A2.Ex35.m1.3.3.1.1.1.1.1.2.2.4.2.cmml"><mi id="A2.Ex35.m1.3.3.1.1.1.1.1.2.2.4.2.2" xref="A2.Ex35.m1.3.3.1.1.1.1.1.2.2.4.2.2.cmml">π</mi><mi id="A2.Ex35.m1.3.3.1.1.1.1.1.2.2.4.2.3" xref="A2.Ex35.m1.3.3.1.1.1.1.1.2.2.4.2.3.cmml">θ</mi></msub></mrow><mo lspace="0em" rspace="0em" id="A2.Ex35.m1.3.3.1.1.1.1.1.2.2.3" xref="A2.Ex35.m1.3.3.1.1.1.1.1.2.2.3.cmml">​</mo><mrow id="A2.Ex35.m1.3.3.1.1.1.1.1.1.1.1.1" xref="A2.Ex35.m1.3.3.1.1.1.1.1.1.1.1.1.1.cmml"><mo stretchy="false" id="A2.Ex35.m1.3.3.1.1.1.1.1.1.1.1.1.2" xref="A2.Ex35.m1.3.3.1.1.1.1.1.1.1.1.1.1.cmml">(</mo><mrow id="A2.Ex35.m1.3.3.1.1.1.1.1.1.1.1.1.1" xref="A2.Ex35.m1.3.3.1.1.1.1.1.1.1.1.1.1.cmml"><msubsup id="A2.Ex35.m1.3.3.1.1.1.1.1.1.1.1.1.1.4" xref="A2.Ex35.m1.3.3.1.1.1.1.1.1.1.1.1.1.4.cmml"><mi id="A2.Ex35.m1.3.3.1.1.1.1.1.1.1.1.1.1.4.2.2" xref="A2.Ex35.m1.3.3.1.1.1.1.1.1.1.1.1.1.4.2.2.cmml">a</mi><mi id="A2.Ex35.m1.3.3.1.1.1.1.1.1.1.1.1.1.4.2.3" xref="A2.Ex35.m1.3.3.1.1.1.1.1.1.1.1.1.1.4.2.3.cmml">t</mi><mi id="A2.Ex35.m1.3.3.1.1.1.1.1.1.1.1.1.1.4.3" xref="A2.Ex35.m1.3.3.1.1.1.1.1.1.1.1.1.1.4.3.cmml">i</mi></msubsup><mo fence="false" id="A2.Ex35.m1.3.3.1.1.1.1.1.1.1.1.1.1.3" xref="A2.Ex35.m1.3.3.1.1.1.1.1.1.1.1.1.1.3.cmml">|</mo><mrow id="A2.Ex35.m1.3.3.1.1.1.1.1.1.1.1.1.1.2.2" xref="A2.Ex35.m1.3.3.1.1.1.1.1.1.1.1.1.1.2.3.cmml"><msup id="A2.Ex35.m1.3.3.1.1.1.1.1.1.1.1.1.1.1.1.1" xref="A2.Ex35.m1.3.3.1.1.1.1.1.1.1.1.1.1.1.1.1.cmml"><mi id="A2.Ex35.m1.3.3.1.1.1.1.1.1.1.1.1.1.1.1.1.2" xref="A2.Ex35.m1.3.3.1.1.1.1.1.1.1.1.1.1.1.1.1.2.cmml">x</mi><mi id="A2.Ex35.m1.3.3.1.1.1.1.1.1.1.1.1.1.1.1.1.3" xref="A2.Ex35.m1.3.3.1.1.1.1.1.1.1.1.1.1.1.1.1.3.cmml">i</mi></msup><mo id="A2.Ex35.m1.3.3.1.1.1.1.1.1.1.1.1.1.2.2.3" xref="A2.Ex35.m1.3.3.1.1.1.1.1.1.1.1.1.1.2.3.cmml">,</mo><msubsup id="A2.Ex35.m1.3.3.1.1.1.1.1.1.1.1.1.1.2.2.2" xref="A2.Ex35.m1.3.3.1.1.1.1.1.1.1.1.1.1.2.2.2.cmml"><mi id="A2.Ex35.m1.3.3.1.1.1.1.1.1.1.1.1.1.2.2.2.2.2" xref="A2.Ex35.m1.3.3.1.1.1.1.1.1.1.1.1.1.2.2.2.2.2.cmml">a</mi><mrow id="A2.Ex35.m1.3.3.1.1.1.1.1.1.1.1.1.1.2.2.2.2.3" xref="A2.Ex35.m1.3.3.1.1.1.1.1.1.1.1.1.1.2.2.2.2.3.cmml"><mn id="A2.Ex35.m1.3.3.1.1.1.1.1.1.1.1.1.1.2.2.2.2.3.2" xref="A2.Ex35.m1.3.3.1.1.1.1.1.1.1.1.1.1.2.2.2.2.3.2.cmml">1</mn><mo lspace="0.278em" rspace="0.278em" id="A2.Ex35.m1.3.3.1.1.1.1.1.1.1.1.1.1.2.2.2.2.3.1" xref="A2.Ex35.m1.3.3.1.1.1.1.1.1.1.1.1.1.2.2.2.2.3.1.cmml">:</mo><mrow id="A2.Ex35.m1.3.3.1.1.1.1.1.1.1.1.1.1.2.2.2.2.3.3" xref="A2.Ex35.m1.3.3.1.1.1.1.1.1.1.1.1.1.2.2.2.2.3.3.cmml"><mi id="A2.Ex35.m1.3.3.1.1.1.1.1.1.1.1.1.1.2.2.2.2.3.3.2" xref="A2.Ex35.m1.3.3.1.1.1.1.1.1.1.1.1.1.2.2.2.2.3.3.2.cmml">t</mi><mo id="A2.Ex35.m1.3.3.1.1.1.1.1.1.1.1.1.1.2.2.2.2.3.3.1" xref="A2.Ex35.m1.3.3.1.1.1.1.1.1.1.1.1.1.2.2.2.2.3.3.1.cmml">−</mo><mn id="A2.Ex35.m1.3.3.1.1.1.1.1.1.1.1.1.1.2.2.2.2.3.3.3" xref="A2.Ex35.m1.3.3.1.1.1.1.1.1.1.1.1.1.2.2.2.2.3.3.3.cmml">1</mn></mrow></mrow><mi id="A2.Ex35.m1.3.3.1.1.1.1.1.1.1.1.1.1.2.2.2.3" xref="A2.Ex35.m1.3.3.1.1.1.1.1.1.1.1.1.1.2.2.2.3.cmml">i</mi></msubsup></mrow></mrow><mo stretchy="false" id="A2.Ex35.m1.3.3.1.1.1.1.1.1.1.1.1.3" xref="A2.Ex35.m1.3.3.1.1.1.1.1.1.1.1.1.1.cmml">)</mo></mrow><mo lspace="0em" rspace="0em" id="A2.Ex35.m1.3.3.1.1.1.1.1.2.2.3a" xref="A2.Ex35.m1.3.3.1.1.1.1.1.2.2.3.cmml">​</mo><mi id="A2.Ex35.m1.3.3.1.1.1.1.1.2.2.5" xref="A2.Ex35.m1.3.3.1.1.1.1.1.2.2.5.cmml">r</mi><mo lspace="0em" rspace="0em" id="A2.Ex35.m1.3.3.1.1.1.1.1.2.2.3b" xref="A2.Ex35.m1.3.3.1.1.1.1.1.2.2.3.cmml">​</mo><mrow id="A2.Ex35.m1.3.3.1.1.1.1.1.2.2.2.1" xref="A2.Ex35.m1.3.3.1.1.1.1.1.2.2.2.2.cmml"><mo stretchy="false" id="A2.Ex35.m1.3.3.1.1.1.1.1.2.2.2.1.2" xref="A2.Ex35.m1.3.3.1.1.1.1.1.2.2.2.2.cmml">(</mo><mi id="A2.Ex35.m1.1.1" xref="A2.Ex35.m1.1.1.cmml">x</mi><mo id="A2.Ex35.m1.3.3.1.1.1.1.1.2.2.2.1.3" xref="A2.Ex35.m1.3.3.1.1.1.1.1.2.2.2.2.cmml">,</mo><msubsup id="A2.Ex35.m1.3.3.1.1.1.1.1.2.2.2.1.1" xref="A2.Ex35.m1.3.3.1.1.1.1.1.2.2.2.1.1.cmml"><mi id="A2.Ex35.m1.3.3.1.1.1.1.1.2.2.2.1.1.2.2" xref="A2.Ex35.m1.3.3.1.1.1.1.1.2.2.2.1.1.2.2.cmml">a</mi><mrow id="A2.Ex35.m1.3.3.1.1.1.1.1.2.2.2.1.1.2.3" xref="A2.Ex35.m1.3.3.1.1.1.1.1.2.2.2.1.1.2.3.cmml"><mn id="A2.Ex35.m1.3.3.1.1.1.1.1.2.2.2.1.1.2.3.2" xref="A2.Ex35.m1.3.3.1.1.1.1.1.2.2.2.1.1.2.3.2.cmml">1</mn><mo lspace="0.278em" rspace="0.278em" id="A2.Ex35.m1.3.3.1.1.1.1.1.2.2.2.1.1.2.3.1" xref="A2.Ex35.m1.3.3.1.1.1.1.1.2.2.2.1.1.2.3.1.cmml">:</mo><mi id="A2.Ex35.m1.3.3.1.1.1.1.1.2.2.2.1.1.2.3.3" xref="A2.Ex35.m1.3.3.1.1.1.1.1.2.2.2.1.1.2.3.3.cmml">T</mi></mrow><mi id="A2.Ex35.m1.3.3.1.1.1.1.1.2.2.2.1.1.3" xref="A2.Ex35.m1.3.3.1.1.1.1.1.2.2.2.1.1.3.cmml">i</mi></msubsup><mo stretchy="false" id="A2.Ex35.m1.3.3.1.1.1.1.1.2.2.2.1.4" xref="A2.Ex35.m1.3.3.1.1.1.1.1.2.2.2.2.cmml">)</mo></mrow></mrow></mrow></mrow><mo id="A2.Ex35.m1.3.3.1.1.1.1.3" xref="A2.Ex35.m1.3.3.1.1.1.2.1.cmml">]</mo></mrow></mrow><mo id="A2.Ex35.m1.4.4.2.3" xref="A2.Ex35.m1.4.4.2.3.cmml">−</mo><mrow id="A2.Ex35.m1.4.4.2.2" xref="A2.Ex35.m1.4.4.2.2.cmml"><mi id="A2.Ex35.m1.4.4.2.2.3" xref="A2.Ex35.m1.4.4.2.2.3.cmml">𝔼</mi><mo lspace="0em" rspace="0em" id="A2.Ex35.m1.4.4.2.2.2" xref="A2.Ex35.m1.4.4.2.2.2.cmml">​</mo><mrow id="A2.Ex35.m1.4.4.2.2.1.1" xref="A2.Ex35.m1.4.4.2.2.1.2.cmml"><mo id="A2.Ex35.m1.4.4.2.2.1.1.2" xref="A2.Ex35.m1.4.4.2.2.1.2.1.cmml">[</mo><mrow id="A2.Ex35.m1.4.4.2.2.1.1.1" xref="A2.Ex35.m1.4.4.2.2.1.1.1.cmml"><mstyle displaystyle="true" id="A2.Ex35.m1.4.4.2.2.1.1.1.3" xref="A2.Ex35.m1.4.4.2.2.1.1.1.3.cmml"><munderover id="A2.Ex35.m1.4.4.2.2.1.1.1.3a" xref="A2.Ex35.m1.4.4.2.2.1.1.1.3.cmml"><mo movablelimits="false" id="A2.Ex35.m1.4.4.2.2.1.1.1.3.2.2" xref="A2.Ex35.m1.4.4.2.2.1.1.1.3.2.2.cmml">∑</mo><mrow id="A2.Ex35.m1.4.4.2.2.1.1.1.3.2.3" xref="A2.Ex35.m1.4.4.2.2.1.1.1.3.2.3.cmml"><mi id="A2.Ex35.m1.4.4.2.2.1.1.1.3.2.3.2" xref="A2.Ex35.m1.4.4.2.2.1.1.1.3.2.3.2.cmml">i</mi><mo id="A2.Ex35.m1.4.4.2.2.1.1.1.3.2.3.1" xref="A2.Ex35.m1.4.4.2.2.1.1.1.3.2.3.1.cmml">=</mo><mn id="A2.Ex35.m1.4.4.2.2.1.1.1.3.2.3.3" xref="A2.Ex35.m1.4.4.2.2.1.1.1.3.2.3.3.cmml">1</mn></mrow><mi id="A2.Ex35.m1.4.4.2.2.1.1.1.3.3" xref="A2.Ex35.m1.4.4.2.2.1.1.1.3.3.cmml">N</mi></munderover></mstyle><mrow id="A2.Ex35.m1.4.4.2.2.1.1.1.2" xref="A2.Ex35.m1.4.4.2.2.1.1.1.2.cmml"><mstyle displaystyle="true" id="A2.Ex35.m1.4.4.2.2.1.1.1.2.3" xref="A2.Ex35.m1.4.4.2.2.1.1.1.2.3.cmml"><munderover id="A2.Ex35.m1.4.4.2.2.1.1.1.2.3a" xref="A2.Ex35.m1.4.4.2.2.1.1.1.2.3.cmml"><mo movablelimits="false" id="A2.Ex35.m1.4.4.2.2.1.1.1.2.3.2.2" xref="A2.Ex35.m1.4.4.2.2.1.1.1.2.3.2.2.cmml">∑</mo><mrow id="A2.Ex35.m1.4.4.2.2.1.1.1.2.3.2.3" xref="A2.Ex35.m1.4.4.2.2.1.1.1.2.3.2.3.cmml"><mi id="A2.Ex35.m1.4.4.2.2.1.1.1.2.3.2.3.2" xref="A2.Ex35.m1.4.4.2.2.1.1.1.2.3.2.3.2.cmml">t</mi><mo id="A2.Ex35.m1.4.4.2.2.1.1.1.2.3.2.3.1" xref="A2.Ex35.m1.4.4.2.2.1.1.1.2.3.2.3.1.cmml">=</mo><mn id="A2.Ex35.m1.4.4.2.2.1.1.1.2.3.2.3.3" xref="A2.Ex35.m1.4.4.2.2.1.1.1.2.3.2.3.3.cmml">1</mn></mrow><mi id="A2.Ex35.m1.4.4.2.2.1.1.1.2.3.3" xref="A2.Ex35.m1.4.4.2.2.1.1.1.2.3.3.cmml">T</mi></munderover></mstyle><mrow id="A2.Ex35.m1.4.4.2.2.1.1.1.2.2" xref="A2.Ex35.m1.4.4.2.2.1.1.1.2.2.cmml"><mrow id="A2.Ex35.m1.4.4.2.2.1.1.1.2.2.4" xref="A2.Ex35.m1.4.4.2.2.1.1.1.2.2.4.cmml"><mrow id="A2.Ex35.m1.4.4.2.2.1.1.1.2.2.4.1" xref="A2.Ex35.m1.4.4.2.2.1.1.1.2.2.4.1.cmml"><msub id="A2.Ex35.m1.4.4.2.2.1.1.1.2.2.4.1.1" xref="A2.Ex35.m1.4.4.2.2.1.1.1.2.2.4.1.1.cmml"><mo lspace="0.167em" rspace="0.167em" id="A2.Ex35.m1.4.4.2.2.1.1.1.2.2.4.1.1.2" xref="A2.Ex35.m1.4.4.2.2.1.1.1.2.2.4.1.1.2.cmml">∇</mo><mi id="A2.Ex35.m1.4.4.2.2.1.1.1.2.2.4.1.1.3" xref="A2.Ex35.m1.4.4.2.2.1.1.1.2.2.4.1.1.3.cmml">θ</mi></msub><mi id="A2.Ex35.m1.4.4.2.2.1.1.1.2.2.4.1.2" xref="A2.Ex35.m1.4.4.2.2.1.1.1.2.2.4.1.2.cmml">log</mi></mrow><mo lspace="0.167em" id="A2.Ex35.m1.4.4.2.2.1.1.1.2.2.4a" xref="A2.Ex35.m1.4.4.2.2.1.1.1.2.2.4.cmml">⁡</mo><msub id="A2.Ex35.m1.4.4.2.2.1.1.1.2.2.4.2" xref="A2.Ex35.m1.4.4.2.2.1.1.1.2.2.4.2.cmml"><mi id="A2.Ex35.m1.4.4.2.2.1.1.1.2.2.4.2.2" xref="A2.Ex35.m1.4.4.2.2.1.1.1.2.2.4.2.2.cmml">π</mi><mi id="A2.Ex35.m1.4.4.2.2.1.1.1.2.2.4.2.3" xref="A2.Ex35.m1.4.4.2.2.1.1.1.2.2.4.2.3.cmml">θ</mi></msub></mrow><mo lspace="0em" rspace="0em" id="A2.Ex35.m1.4.4.2.2.1.1.1.2.2.3" xref="A2.Ex35.m1.4.4.2.2.1.1.1.2.2.3.cmml">​</mo><mrow id="A2.Ex35.m1.4.4.2.2.1.1.1.1.1.1.1" xref="A2.Ex35.m1.4.4.2.2.1.1.1.1.1.1.1.1.cmml"><mo stretchy="false" id="A2.Ex35.m1.4.4.2.2.1.1.1.1.1.1.1.2" xref="A2.Ex35.m1.4.4.2.2.1.1.1.1.1.1.1.1.cmml">(</mo><mrow id="A2.Ex35.m1.4.4.2.2.1.1.1.1.1.1.1.1" xref="A2.Ex35.m1.4.4.2.2.1.1.1.1.1.1.1.1.cmml"><msubsup id="A2.Ex35.m1.4.4.2.2.1.1.1.1.1.1.1.1.4" xref="A2.Ex35.m1.4.4.2.2.1.1.1.1.1.1.1.1.4.cmml"><mi id="A2.Ex35.m1.4.4.2.2.1.1.1.1.1.1.1.1.4.2.2" xref="A2.Ex35.m1.4.4.2.2.1.1.1.1.1.1.1.1.4.2.2.cmml">a</mi><mi id="A2.Ex35.m1.4.4.2.2.1.1.1.1.1.1.1.1.4.2.3" xref="A2.Ex35.m1.4.4.2.2.1.1.1.1.1.1.1.1.4.2.3.cmml">t</mi><mi id="A2.Ex35.m1.4.4.2.2.1.1.1.1.1.1.1.1.4.3" xref="A2.Ex35.m1.4.4.2.2.1.1.1.1.1.1.1.1.4.3.cmml">i</mi></msubsup><mo fence="false" id="A2.Ex35.m1.4.4.2.2.1.1.1.1.1.1.1.1.3" xref="A2.Ex35.m1.4.4.2.2.1.1.1.1.1.1.1.1.3.cmml">|</mo><mrow id="A2.Ex35.m1.4.4.2.2.1.1.1.1.1.1.1.1.2.2" xref="A2.Ex35.m1.4.4.2.2.1.1.1.1.1.1.1.1.2.3.cmml"><msup id="A2.Ex35.m1.4.4.2.2.1.1.1.1.1.1.1.1.1.1.1" xref="A2.Ex35.m1.4.4.2.2.1.1.1.1.1.1.1.1.1.1.1.cmml"><mi id="A2.Ex35.m1.4.4.2.2.1.1.1.1.1.1.1.1.1.1.1.2" xref="A2.Ex35.m1.4.4.2.2.1.1.1.1.1.1.1.1.1.1.1.2.cmml">x</mi><mi id="A2.Ex35.m1.4.4.2.2.1.1.1.1.1.1.1.1.1.1.1.3" xref="A2.Ex35.m1.4.4.2.2.1.1.1.1.1.1.1.1.1.1.1.3.cmml">i</mi></msup><mo id="A2.Ex35.m1.4.4.2.2.1.1.1.1.1.1.1.1.2.2.3" xref="A2.Ex35.m1.4.4.2.2.1.1.1.1.1.1.1.1.2.3.cmml">,</mo><msubsup id="A2.Ex35.m1.4.4.2.2.1.1.1.1.1.1.1.1.2.2.2" xref="A2.Ex35.m1.4.4.2.2.1.1.1.1.1.1.1.1.2.2.2.cmml"><mi id="A2.Ex35.m1.4.4.2.2.1.1.1.1.1.1.1.1.2.2.2.2.2" xref="A2.Ex35.m1.4.4.2.2.1.1.1.1.1.1.1.1.2.2.2.2.2.cmml">a</mi><mrow id="A2.Ex35.m1.4.4.2.2.1.1.1.1.1.1.1.1.2.2.2.2.3" xref="A2.Ex35.m1.4.4.2.2.1.1.1.1.1.1.1.1.2.2.2.2.3.cmml"><mn id="A2.Ex35.m1.4.4.2.2.1.1.1.1.1.1.1.1.2.2.2.2.3.2" xref="A2.Ex35.m1.4.4.2.2.1.1.1.1.1.1.1.1.2.2.2.2.3.2.cmml">1</mn><mo lspace="0.278em" rspace="0.278em" id="A2.Ex35.m1.4.4.2.2.1.1.1.1.1.1.1.1.2.2.2.2.3.1" xref="A2.Ex35.m1.4.4.2.2.1.1.1.1.1.1.1.1.2.2.2.2.3.1.cmml">:</mo><mrow id="A2.Ex35.m1.4.4.2.2.1.1.1.1.1.1.1.1.2.2.2.2.3.3" xref="A2.Ex35.m1.4.4.2.2.1.1.1.1.1.1.1.1.2.2.2.2.3.3.cmml"><mi id="A2.Ex35.m1.4.4.2.2.1.1.1.1.1.1.1.1.2.2.2.2.3.3.2" xref="A2.Ex35.m1.4.4.2.2.1.1.1.1.1.1.1.1.2.2.2.2.3.3.2.cmml">t</mi><mo id="A2.Ex35.m1.4.4.2.2.1.1.1.1.1.1.1.1.2.2.2.2.3.3.1" xref="A2.Ex35.m1.4.4.2.2.1.1.1.1.1.1.1.1.2.2.2.2.3.3.1.cmml">−</mo><mn id="A2.Ex35.m1.4.4.2.2.1.1.1.1.1.1.1.1.2.2.2.2.3.3.3" xref="A2.Ex35.m1.4.4.2.2.1.1.1.1.1.1.1.1.2.2.2.2.3.3.3.cmml">1</mn></mrow></mrow><mi id="A2.Ex35.m1.4.4.2.2.1.1.1.1.1.1.1.1.2.2.2.3" xref="A2.Ex35.m1.4.4.2.2.1.1.1.1.1.1.1.1.2.2.2.3.cmml">i</mi></msubsup></mrow></mrow><mo stretchy="false" id="A2.Ex35.m1.4.4.2.2.1.1.1.1.1.1.1.3" xref="A2.Ex35.m1.4.4.2.2.1.1.1.1.1.1.1.1.cmml">)</mo></mrow><mo lspace="0em" rspace="0em" id="A2.Ex35.m1.4.4.2.2.1.1.1.2.2.3a" xref="A2.Ex35.m1.4.4.2.2.1.1.1.2.2.3.cmml">​</mo><mi id="A2.Ex35.m1.4.4.2.2.1.1.1.2.2.5" xref="A2.Ex35.m1.4.4.2.2.1.1.1.2.2.5.cmml">r</mi><mo lspace="0em" rspace="0em" id="A2.Ex35.m1.4.4.2.2.1.1.1.2.2.3b" xref="A2.Ex35.m1.4.4.2.2.1.1.1.2.2.3.cmml">​</mo><mrow id="A2.Ex35.m1.4.4.2.2.1.1.1.2.2.2.1" xref="A2.Ex35.m1.4.4.2.2.1.1.1.2.2.2.2.cmml"><mo stretchy="false" id="A2.Ex35.m1.4.4.2.2.1.1.1.2.2.2.1.2" xref="A2.Ex35.m1.4.4.2.2.1.1.1.2.2.2.2.cmml">(</mo><mi id="A2.Ex35.m1.2.2" xref="A2.Ex35.m1.2.2.cmml">x</mi><mo id="A2.Ex35.m1.4.4.2.2.1.1.1.2.2.2.1.3" xref="A2.Ex35.m1.4.4.2.2.1.1.1.2.2.2.2.cmml">,</mo><mrow id="A2.Ex35.m1.4.4.2.2.1.1.1.2.2.2.1.1" xref="A2.Ex35.m1.4.4.2.2.1.1.1.2.2.2.1.1.cmml"><merror class="ltx_ERROR undefined undefined" id="A2.Ex35.m1.4.4.2.2.1.1.1.2.2.2.1.1.2" xref="A2.Ex35.m1.4.4.2.2.1.1.1.2.2.2.1.1.2b.cmml"><mtext id="A2.Ex35.m1.4.4.2.2.1.1.1.2.2.2.1.1.2a" xref="A2.Ex35.m1.4.4.2.2.1.1.1.2.2.2.1.1.2b.cmml">\macc@depth</mtext></merror><mo lspace="0em" rspace="0em" id="A2.Ex35.m1.4.4.2.2.1.1.1.2.2.2.1.1.1" xref="A2.Ex35.m1.4.4.2.2.1.1.1.2.2.2.1.1.1.cmml">​</mo><mi mathvariant="normal" id="A2.Ex35.m1.4.4.2.2.1.1.1.2.2.2.1.1.3" xref="A2.Ex35.m1.4.4.2.2.1.1.1.2.2.2.1.1.3.cmml">Δ</mi><mo lspace="0em" rspace="0em" id="A2.Ex35.m1.4.4.2.2.1.1.1.2.2.2.1.1.1a" xref="A2.Ex35.m1.4.4.2.2.1.1.1.2.2.2.1.1.1.cmml">​</mo><merror class="ltx_ERROR undefined undefined" id="A2.Ex35.m1.4.4.2.2.1.1.1.2.2.2.1.1.4" xref="A2.Ex35.m1.4.4.2.2.1.1.1.2.2.2.1.1.4b.cmml"><mtext id="A2.Ex35.m1.4.4.2.2.1.1.1.2.2.2.1.1.4a" xref="A2.Ex35.m1.4.4.2.2.1.1.1.2.2.2.1.1.4b.cmml">\frozen@everymath</mtext></merror><mo lspace="0em" rspace="0em" id="A2.Ex35.m1.4.4.2.2.1.1.1.2.2.2.1.1.1b" xref="A2.Ex35.m1.4.4.2.2.1.1.1.2.2.2.1.1.1.cmml">​</mo><merror class="ltx_ERROR undefined undefined" id="A2.Ex35.m1.4.4.2.2.1.1.1.2.2.2.1.1.5" xref="A2.Ex35.m1.4.4.2.2.1.1.1.2.2.2.1.1.5b.cmml"><mtext id="A2.Ex35.m1.4.4.2.2.1.1.1.2.2.2.1.1.5a" xref="A2.Ex35.m1.4.4.2.2.1.1.1.2.2.2.1.1.5b.cmml">\macc@group</mtext></merror><mo lspace="0em" rspace="0em" id="A2.Ex35.m1.4.4.2.2.1.1.1.2.2.2.1.1.1c" xref="A2.Ex35.m1.4.4.2.2.1.1.1.2.2.2.1.1.1.cmml">​</mo><merror class="ltx_ERROR undefined undefined" id="A2.Ex35.m1.4.4.2.2.1.1.1.2.2.2.1.1.6" xref="A2.Ex35.m1.4.4.2.2.1.1.1.2.2.2.1.1.6b.cmml"><mtext id="A2.Ex35.m1.4.4.2.2.1.1.1.2.2.2.1.1.6a" xref="A2.Ex35.m1.4.4.2.2.1.1.1.2.2.2.1.1.6b.cmml">\macc@set@skewchar</mtext></merror><mo lspace="0em" rspace="0em" id="A2.Ex35.m1.4.4.2.2.1.1.1.2.2.2.1.1.1d" xref="A2.Ex35.m1.4.4.2.2.1.1.1.2.2.2.1.1.1.cmml">​</mo><merror class="ltx_ERROR undefined undefined" id="A2.Ex35.m1.4.4.2.2.1.1.1.2.2.2.1.1.7" xref="A2.Ex35.m1.4.4.2.2.1.1.1.2.2.2.1.1.7b.cmml"><mtext id="A2.Ex35.m1.4.4.2.2.1.1.1.2.2.2.1.1.7a" xref="A2.Ex35.m1.4.4.2.2.1.1.1.2.2.2.1.1.7b.cmml">\macc@nested@a</mtext></merror><mo lspace="0em" rspace="0em" id="A2.Ex35.m1.4.4.2.2.1.1.1.2.2.2.1.1.1e" xref="A2.Ex35.m1.4.4.2.2.1.1.1.2.2.2.1.1.1.cmml">​</mo><mn id="A2.Ex35.m1.4.4.2.2.1.1.1.2.2.2.1.1.8" xref="A2.Ex35.m1.4.4.2.2.1.1.1.2.2.2.1.1.8.cmml">111</mn><mo lspace="0em" rspace="0em" id="A2.Ex35.m1.4.4.2.2.1.1.1.2.2.2.1.1.1f" xref="A2.Ex35.m1.4.4.2.2.1.1.1.2.2.2.1.1.1.cmml">​</mo><msubsup id="A2.Ex35.m1.4.4.2.2.1.1.1.2.2.2.1.1.9" xref="A2.Ex35.m1.4.4.2.2.1.1.1.2.2.2.1.1.9.cmml"><mi id="A2.Ex35.m1.4.4.2.2.1.1.1.2.2.2.1.1.9.2.2" xref="A2.Ex35.m1.4.4.2.2.1.1.1.2.2.2.1.1.9.2.2.cmml">a</mi><mrow id="A2.Ex35.m1.4.4.2.2.1.1.1.2.2.2.1.1.9.2.3" xref="A2.Ex35.m1.4.4.2.2.1.1.1.2.2.2.1.1.9.2.3.cmml"><mn id="A2.Ex35.m1.4.4.2.2.1.1.1.2.2.2.1.1.9.2.3.2" xref="A2.Ex35.m1.4.4.2.2.1.1.1.2.2.2.1.1.9.2.3.2.cmml">1</mn><mo lspace="0.278em" rspace="0.278em" id="A2.Ex35.m1.4.4.2.2.1.1.1.2.2.2.1.1.9.2.3.1" xref="A2.Ex35.m1.4.4.2.2.1.1.1.2.2.2.1.1.9.2.3.1.cmml">:</mo><mi id="A2.Ex35.m1.4.4.2.2.1.1.1.2.2.2.1.1.9.2.3.3" xref="A2.Ex35.m1.4.4.2.2.1.1.1.2.2.2.1.1.9.2.3.3.cmml">T</mi></mrow><mi id="A2.Ex35.m1.4.4.2.2.1.1.1.2.2.2.1.1.9.3" xref="A2.Ex35.m1.4.4.2.2.1.1.1.2.2.2.1.1.9.3.cmml">i</mi></msubsup></mrow><mo stretchy="false" id="A2.Ex35.m1.4.4.2.2.1.1.1.2.2.2.1.4" xref="A2.Ex35.m1.4.4.2.2.1.1.1.2.2.2.2.cmml">)</mo></mrow></mrow></mrow></mrow><mo id="A2.Ex35.m1.4.4.2.2.1.1.3" xref="A2.Ex35.m1.4.4.2.2.1.2.1.cmml">]</mo></mrow></mrow></mrow></mrow><annotation-xml encoding="MathML-Content" id="A2.Ex35.m1.4b"><apply id="A2.Ex35.m1.4.4.cmml" xref="A2.Ex35.m1.4.4"><eq id="A2.Ex35.m1.4.4.3.cmml" xref="A2.Ex35.m1.4.4.3"></eq><csymbol cd="latexml" id="A2.Ex35.m1.4.4.4.cmml" xref="A2.Ex35.m1.4.4.4">absent</csymbol><apply id="A2.Ex35.m1.4.4.2.cmml" xref="A2.Ex35.m1.4.4.2"><minus id="A2.Ex35.m1.4.4.2.3.cmml" xref="A2.Ex35.m1.4.4.2.3"></minus><apply id="A2.Ex35.m1.3.3.1.1.cmml" xref="A2.Ex35.m1.3.3.1.1"><times id="A2.Ex35.m1.3.3.1.1.2.cmml" xref="A2.Ex35.m1.3.3.1.1.2"></times><ci id="A2.Ex35.m1.3.3.1.1.3.cmml" xref="A2.Ex35.m1.3.3.1.1.3">𝔼</ci><apply id="A2.Ex35.m1.3.3.1.1.1.2.cmml" xref="A2.Ex35.m1.3.3.1.1.1.1"><csymbol cd="latexml" id="A2.Ex35.m1.3.3.1.1.1.2.1.cmml" xref="A2.Ex35.m1.3.3.1.1.1.1.2">delimited-[]</csymbol><apply id="A2.Ex35.m1.3.3.1.1.1.1.1.cmml" xref="A2.Ex35.m1.3.3.1.1.1.1.1"><apply id="A2.Ex35.m1.3.3.1.1.1.1.1.3.cmml" xref="A2.Ex35.m1.3.3.1.1.1.1.1.3"><csymbol cd="ambiguous" id="A2.Ex35.m1.3.3.1.1.1.1.1.3.1.cmml" xref="A2.Ex35.m1.3.3.1.1.1.1.1.3">superscript</csymbol><apply id="A2.Ex35.m1.3.3.1.1.1.1.1.3.2.cmml" xref="A2.Ex35.m1.3.3.1.1.1.1.1.3"><csymbol cd="ambiguous" id="A2.Ex35.m1.3.3.1.1.1.1.1.3.2.1.cmml" xref="A2.Ex35.m1.3.3.1.1.1.1.1.3">subscript</csymbol><sum id="A2.Ex35.m1.3.3.1.1.1.1.1.3.2.2.cmml" xref="A2.Ex35.m1.3.3.1.1.1.1.1.3.2.2"></sum><apply id="A2.Ex35.m1.3.3.1.1.1.1.1.3.2.3.cmml" xref="A2.Ex35.m1.3.3.1.1.1.1.1.3.2.3"><eq id="A2.Ex35.m1.3.3.1.1.1.1.1.3.2.3.1.cmml" xref="A2.Ex35.m1.3.3.1.1.1.1.1.3.2.3.1"></eq><ci id="A2.Ex35.m1.3.3.1.1.1.1.1.3.2.3.2.cmml" xref="A2.Ex35.m1.3.3.1.1.1.1.1.3.2.3.2">𝑖</ci><cn type="integer" id="A2.Ex35.m1.3.3.1.1.1.1.1.3.2.3.3.cmml" xref="A2.Ex35.m1.3.3.1.1.1.1.1.3.2.3.3">1</cn></apply></apply><ci id="A2.Ex35.m1.3.3.1.1.1.1.1.3.3.cmml" xref="A2.Ex35.m1.3.3.1.1.1.1.1.3.3">𝑁</ci></apply><apply id="A2.Ex35.m1.3.3.1.1.1.1.1.2.cmml" xref="A2.Ex35.m1.3.3.1.1.1.1.1.2"><apply id="A2.Ex35.m1.3.3.1.1.1.1.1.2.3.cmml" xref="A2.Ex35.m1.3.3.1.1.1.1.1.2.3"><csymbol cd="ambiguous" id="A2.Ex35.m1.3.3.1.1.1.1.1.2.3.1.cmml" xref="A2.Ex35.m1.3.3.1.1.1.1.1.2.3">superscript</csymbol><apply id="A2.Ex35.m1.3.3.1.1.1.1.1.2.3.2.cmml" xref="A2.Ex35.m1.3.3.1.1.1.1.1.2.3"><csymbol cd="ambiguous" id="A2.Ex35.m1.3.3.1.1.1.1.1.2.3.2.1.cmml" xref="A2.Ex35.m1.3.3.1.1.1.1.1.2.3">subscript</csymbol><sum id="A2.Ex35.m1.3.3.1.1.1.1.1.2.3.2.2.cmml" xref="A2.Ex35.m1.3.3.1.1.1.1.1.2.3.2.2"></sum><apply id="A2.Ex35.m1.3.3.1.1.1.1.1.2.3.2.3.cmml" xref="A2.Ex35.m1.3.3.1.1.1.1.1.2.3.2.3"><eq id="A2.Ex35.m1.3.3.1.1.1.1.1.2.3.2.3.1.cmml" xref="A2.Ex35.m1.3.3.1.1.1.1.1.2.3.2.3.1"></eq><ci id="A2.Ex35.m1.3.3.1.1.1.1.1.2.3.2.3.2.cmml" xref="A2.Ex35.m1.3.3.1.1.1.1.1.2.3.2.3.2">𝑡</ci><cn type="integer" id="A2.Ex35.m1.3.3.1.1.1.1.1.2.3.2.3.3.cmml" xref="A2.Ex35.m1.3.3.1.1.1.1.1.2.3.2.3.3">1</cn></apply></apply><ci id="A2.Ex35.m1.3.3.1.1.1.1.1.2.3.3.cmml" xref="A2.Ex35.m1.3.3.1.1.1.1.1.2.3.3">𝑇</ci></apply><apply id="A2.Ex35.m1.3.3.1.1.1.1.1.2.2.cmml" xref="A2.Ex35.m1.3.3.1.1.1.1.1.2.2"><times id="A2.Ex35.m1.3.3.1.1.1.1.1.2.2.3.cmml" xref="A2.Ex35.m1.3.3.1.1.1.1.1.2.2.3"></times><apply id="A2.Ex35.m1.3.3.1.1.1.1.1.2.2.4.cmml" xref="A2.Ex35.m1.3.3.1.1.1.1.1.2.2.4"><apply id="A2.Ex35.m1.3.3.1.1.1.1.1.2.2.4.1.cmml" xref="A2.Ex35.m1.3.3.1.1.1.1.1.2.2.4.1"><apply id="A2.Ex35.m1.3.3.1.1.1.1.1.2.2.4.1.1.cmml" xref="A2.Ex35.m1.3.3.1.1.1.1.1.2.2.4.1.1"><csymbol cd="ambiguous" id="A2.Ex35.m1.3.3.1.1.1.1.1.2.2.4.1.1.1.cmml" xref="A2.Ex35.m1.3.3.1.1.1.1.1.2.2.4.1.1">subscript</csymbol><ci id="A2.Ex35.m1.3.3.1.1.1.1.1.2.2.4.1.1.2.cmml" xref="A2.Ex35.m1.3.3.1.1.1.1.1.2.2.4.1.1.2">∇</ci><ci id="A2.Ex35.m1.3.3.1.1.1.1.1.2.2.4.1.1.3.cmml" xref="A2.Ex35.m1.3.3.1.1.1.1.1.2.2.4.1.1.3">𝜃</ci></apply><log id="A2.Ex35.m1.3.3.1.1.1.1.1.2.2.4.1.2.cmml" xref="A2.Ex35.m1.3.3.1.1.1.1.1.2.2.4.1.2"></log></apply><apply id="A2.Ex35.m1.3.3.1.1.1.1.1.2.2.4.2.cmml" xref="A2.Ex35.m1.3.3.1.1.1.1.1.2.2.4.2"><csymbol cd="ambiguous" id="A2.Ex35.m1.3.3.1.1.1.1.1.2.2.4.2.1.cmml" xref="A2.Ex35.m1.3.3.1.1.1.1.1.2.2.4.2">subscript</csymbol><ci id="A2.Ex35.m1.3.3.1.1.1.1.1.2.2.4.2.2.cmml" xref="A2.Ex35.m1.3.3.1.1.1.1.1.2.2.4.2.2">𝜋</ci><ci id="A2.Ex35.m1.3.3.1.1.1.1.1.2.2.4.2.3.cmml" xref="A2.Ex35.m1.3.3.1.1.1.1.1.2.2.4.2.3">𝜃</ci></apply></apply><apply id="A2.Ex35.m1.3.3.1.1.1.1.1.1.1.1.1.1.cmml" xref="A2.Ex35.m1.3.3.1.1.1.1.1.1.1.1.1"><csymbol cd="latexml" id="A2.Ex35.m1.3.3.1.1.1.1.1.1.1.1.1.1.3.cmml" xref="A2.Ex35.m1.3.3.1.1.1.1.1.1.1.1.1.1.3">conditional</csymbol><apply id="A2.Ex35.m1.3.3.1.1.1.1.1.1.1.1.1.1.4.cmml" xref="A2.Ex35.m1.3.3.1.1.1.1.1.1.1.1.1.1.4"><csymbol cd="ambiguous" id="A2.Ex35.m1.3.3.1.1.1.1.1.1.1.1.1.1.4.1.cmml" xref="A2.Ex35.m1.3.3.1.1.1.1.1.1.1.1.1.1.4">superscript</csymbol><apply id="A2.Ex35.m1.3.3.1.1.1.1.1.1.1.1.1.1.4.2.cmml" xref="A2.Ex35.m1.3.3.1.1.1.1.1.1.1.1.1.1.4"><csymbol cd="ambiguous" id="A2.Ex35.m1.3.3.1.1.1.1.1.1.1.1.1.1.4.2.1.cmml" xref="A2.Ex35.m1.3.3.1.1.1.1.1.1.1.1.1.1.4">subscript</csymbol><ci id="A2.Ex35.m1.3.3.1.1.1.1.1.1.1.1.1.1.4.2.2.cmml" xref="A2.Ex35.m1.3.3.1.1.1.1.1.1.1.1.1.1.4.2.2">𝑎</ci><ci id="A2.Ex35.m1.3.3.1.1.1.1.1.1.1.1.1.1.4.2.3.cmml" xref="A2.Ex35.m1.3.3.1.1.1.1.1.1.1.1.1.1.4.2.3">𝑡</ci></apply><ci id="A2.Ex35.m1.3.3.1.1.1.1.1.1.1.1.1.1.4.3.cmml" xref="A2.Ex35.m1.3.3.1.1.1.1.1.1.1.1.1.1.4.3">𝑖</ci></apply><list id="A2.Ex35.m1.3.3.1.1.1.1.1.1.1.1.1.1.2.3.cmml" xref="A2.Ex35.m1.3.3.1.1.1.1.1.1.1.1.1.1.2.2"><apply id="A2.Ex35.m1.3.3.1.1.1.1.1.1.1.1.1.1.1.1.1.cmml" xref="A2.Ex35.m1.3.3.1.1.1.1.1.1.1.1.1.1.1.1.1"><csymbol cd="ambiguous" id="A2.Ex35.m1.3.3.1.1.1.1.1.1.1.1.1.1.1.1.1.1.cmml" xref="A2.Ex35.m1.3.3.1.1.1.1.1.1.1.1.1.1.1.1.1">superscript</csymbol><ci id="A2.Ex35.m1.3.3.1.1.1.1.1.1.1.1.1.1.1.1.1.2.cmml" xref="A2.Ex35.m1.3.3.1.1.1.1.1.1.1.1.1.1.1.1.1.2">𝑥</ci><ci id="A2.Ex35.m1.3.3.1.1.1.1.1.1.1.1.1.1.1.1.1.3.cmml" xref="A2.Ex35.m1.3.3.1.1.1.1.1.1.1.1.1.1.1.1.1.3">𝑖</ci></apply><apply id="A2.Ex35.m1.3.3.1.1.1.1.1.1.1.1.1.1.2.2.2.cmml" xref="A2.Ex35.m1.3.3.1.1.1.1.1.1.1.1.1.1.2.2.2"><csymbol cd="ambiguous" id="A2.Ex35.m1.3.3.1.1.1.1.1.1.1.1.1.1.2.2.2.1.cmml" xref="A2.Ex35.m1.3.3.1.1.1.1.1.1.1.1.1.1.2.2.2">superscript</csymbol><apply id="A2.Ex35.m1.3.3.1.1.1.1.1.1.1.1.1.1.2.2.2.2.cmml" xref="A2.Ex35.m1.3.3.1.1.1.1.1.1.1.1.1.1.2.2.2"><csymbol cd="ambiguous" id="A2.Ex35.m1.3.3.1.1.1.1.1.1.1.1.1.1.2.2.2.2.1.cmml" xref="A2.Ex35.m1.3.3.1.1.1.1.1.1.1.1.1.1.2.2.2">subscript</csymbol><ci id="A2.Ex35.m1.3.3.1.1.1.1.1.1.1.1.1.1.2.2.2.2.2.cmml" xref="A2.Ex35.m1.3.3.1.1.1.1.1.1.1.1.1.1.2.2.2.2.2">𝑎</ci><apply id="A2.Ex35.m1.3.3.1.1.1.1.1.1.1.1.1.1.2.2.2.2.3.cmml" xref="A2.Ex35.m1.3.3.1.1.1.1.1.1.1.1.1.1.2.2.2.2.3"><ci id="A2.Ex35.m1.3.3.1.1.1.1.1.1.1.1.1.1.2.2.2.2.3.1.cmml" xref="A2.Ex35.m1.3.3.1.1.1.1.1.1.1.1.1.1.2.2.2.2.3.1">:</ci><cn type="integer" id="A2.Ex35.m1.3.3.1.1.1.1.1.1.1.1.1.1.2.2.2.2.3.2.cmml" xref="A2.Ex35.m1.3.3.1.1.1.1.1.1.1.1.1.1.2.2.2.2.3.2">1</cn><apply id="A2.Ex35.m1.3.3.1.1.1.1.1.1.1.1.1.1.2.2.2.2.3.3.cmml" xref="A2.Ex35.m1.3.3.1.1.1.1.1.1.1.1.1.1.2.2.2.2.3.3"><minus id="A2.Ex35.m1.3.3.1.1.1.1.1.1.1.1.1.1.2.2.2.2.3.3.1.cmml" xref="A2.Ex35.m1.3.3.1.1.1.1.1.1.1.1.1.1.2.2.2.2.3.3.1"></minus><ci id="A2.Ex35.m1.3.3.1.1.1.1.1.1.1.1.1.1.2.2.2.2.3.3.2.cmml" xref="A2.Ex35.m1.3.3.1.1.1.1.1.1.1.1.1.1.2.2.2.2.3.3.2">𝑡</ci><cn type="integer" id="A2.Ex35.m1.3.3.1.1.1.1.1.1.1.1.1.1.2.2.2.2.3.3.3.cmml" xref="A2.Ex35.m1.3.3.1.1.1.1.1.1.1.1.1.1.2.2.2.2.3.3.3">1</cn></apply></apply></apply><ci id="A2.Ex35.m1.3.3.1.1.1.1.1.1.1.1.1.1.2.2.2.3.cmml" xref="A2.Ex35.m1.3.3.1.1.1.1.1.1.1.1.1.1.2.2.2.3">𝑖</ci></apply></list></apply><ci id="A2.Ex35.m1.3.3.1.1.1.1.1.2.2.5.cmml" xref="A2.Ex35.m1.3.3.1.1.1.1.1.2.2.5">𝑟</ci><interval closure="open" id="A2.Ex35.m1.3.3.1.1.1.1.1.2.2.2.2.cmml" xref="A2.Ex35.m1.3.3.1.1.1.1.1.2.2.2.1"><ci id="A2.Ex35.m1.1.1.cmml" xref="A2.Ex35.m1.1.1">𝑥</ci><apply id="A2.Ex35.m1.3.3.1.1.1.1.1.2.2.2.1.1.cmml" xref="A2.Ex35.m1.3.3.1.1.1.1.1.2.2.2.1.1"><csymbol cd="ambiguous" id="A2.Ex35.m1.3.3.1.1.1.1.1.2.2.2.1.1.1.cmml" xref="A2.Ex35.m1.3.3.1.1.1.1.1.2.2.2.1.1">superscript</csymbol><apply id="A2.Ex35.m1.3.3.1.1.1.1.1.2.2.2.1.1.2.cmml" xref="A2.Ex35.m1.3.3.1.1.1.1.1.2.2.2.1.1"><csymbol cd="ambiguous" id="A2.Ex35.m1.3.3.1.1.1.1.1.2.2.2.1.1.2.1.cmml" xref="A2.Ex35.m1.3.3.1.1.1.1.1.2.2.2.1.1">subscript</csymbol><ci id="A2.Ex35.m1.3.3.1.1.1.1.1.2.2.2.1.1.2.2.cmml" xref="A2.Ex35.m1.3.3.1.1.1.1.1.2.2.2.1.1.2.2">𝑎</ci><apply id="A2.Ex35.m1.3.3.1.1.1.1.1.2.2.2.1.1.2.3.cmml" xref="A2.Ex35.m1.3.3.1.1.1.1.1.2.2.2.1.1.2.3"><ci id="A2.Ex35.m1.3.3.1.1.1.1.1.2.2.2.1.1.2.3.1.cmml" xref="A2.Ex35.m1.3.3.1.1.1.1.1.2.2.2.1.1.2.3.1">:</ci><cn type="integer" id="A2.Ex35.m1.3.3.1.1.1.1.1.2.2.2.1.1.2.3.2.cmml" xref="A2.Ex35.m1.3.3.1.1.1.1.1.2.2.2.1.1.2.3.2">1</cn><ci id="A2.Ex35.m1.3.3.1.1.1.1.1.2.2.2.1.1.2.3.3.cmml" xref="A2.Ex35.m1.3.3.1.1.1.1.1.2.2.2.1.1.2.3.3">𝑇</ci></apply></apply><ci id="A2.Ex35.m1.3.3.1.1.1.1.1.2.2.2.1.1.3.cmml" xref="A2.Ex35.m1.3.3.1.1.1.1.1.2.2.2.1.1.3">𝑖</ci></apply></interval></apply></apply></apply></apply></apply><apply id="A2.Ex35.m1.4.4.2.2.cmml" xref="A2.Ex35.m1.4.4.2.2"><times id="A2.Ex35.m1.4.4.2.2.2.cmml" xref="A2.Ex35.m1.4.4.2.2.2"></times><ci id="A2.Ex35.m1.4.4.2.2.3.cmml" xref="A2.Ex35.m1.4.4.2.2.3">𝔼</ci><apply id="A2.Ex35.m1.4.4.2.2.1.2.cmml" xref="A2.Ex35.m1.4.4.2.2.1.1"><csymbol cd="latexml" id="A2.Ex35.m1.4.4.2.2.1.2.1.cmml" xref="A2.Ex35.m1.4.4.2.2.1.1.2">delimited-[]</csymbol><apply id="A2.Ex35.m1.4.4.2.2.1.1.1.cmml" xref="A2.Ex35.m1.4.4.2.2.1.1.1"><apply id="A2.Ex35.m1.4.4.2.2.1.1.1.3.cmml" xref="A2.Ex35.m1.4.4.2.2.1.1.1.3"><csymbol cd="ambiguous" id="A2.Ex35.m1.4.4.2.2.1.1.1.3.1.cmml" xref="A2.Ex35.m1.4.4.2.2.1.1.1.3">superscript</csymbol><apply id="A2.Ex35.m1.4.4.2.2.1.1.1.3.2.cmml" xref="A2.Ex35.m1.4.4.2.2.1.1.1.3"><csymbol cd="ambiguous" id="A2.Ex35.m1.4.4.2.2.1.1.1.3.2.1.cmml" xref="A2.Ex35.m1.4.4.2.2.1.1.1.3">subscript</csymbol><sum id="A2.Ex35.m1.4.4.2.2.1.1.1.3.2.2.cmml" xref="A2.Ex35.m1.4.4.2.2.1.1.1.3.2.2"></sum><apply id="A2.Ex35.m1.4.4.2.2.1.1.1.3.2.3.cmml" xref="A2.Ex35.m1.4.4.2.2.1.1.1.3.2.3"><eq id="A2.Ex35.m1.4.4.2.2.1.1.1.3.2.3.1.cmml" xref="A2.Ex35.m1.4.4.2.2.1.1.1.3.2.3.1"></eq><ci id="A2.Ex35.m1.4.4.2.2.1.1.1.3.2.3.2.cmml" xref="A2.Ex35.m1.4.4.2.2.1.1.1.3.2.3.2">𝑖</ci><cn type="integer" id="A2.Ex35.m1.4.4.2.2.1.1.1.3.2.3.3.cmml" xref="A2.Ex35.m1.4.4.2.2.1.1.1.3.2.3.3">1</cn></apply></apply><ci id="A2.Ex35.m1.4.4.2.2.1.1.1.3.3.cmml" xref="A2.Ex35.m1.4.4.2.2.1.1.1.3.3">𝑁</ci></apply><apply id="A2.Ex35.m1.4.4.2.2.1.1.1.2.cmml" xref="A2.Ex35.m1.4.4.2.2.1.1.1.2"><apply id="A2.Ex35.m1.4.4.2.2.1.1.1.2.3.cmml" xref="A2.Ex35.m1.4.4.2.2.1.1.1.2.3"><csymbol cd="ambiguous" id="A2.Ex35.m1.4.4.2.2.1.1.1.2.3.1.cmml" xref="A2.Ex35.m1.4.4.2.2.1.1.1.2.3">superscript</csymbol><apply id="A2.Ex35.m1.4.4.2.2.1.1.1.2.3.2.cmml" xref="A2.Ex35.m1.4.4.2.2.1.1.1.2.3"><csymbol cd="ambiguous" id="A2.Ex35.m1.4.4.2.2.1.1.1.2.3.2.1.cmml" xref="A2.Ex35.m1.4.4.2.2.1.1.1.2.3">subscript</csymbol><sum id="A2.Ex35.m1.4.4.2.2.1.1.1.2.3.2.2.cmml" xref="A2.Ex35.m1.4.4.2.2.1.1.1.2.3.2.2"></sum><apply id="A2.Ex35.m1.4.4.2.2.1.1.1.2.3.2.3.cmml" xref="A2.Ex35.m1.4.4.2.2.1.1.1.2.3.2.3"><eq id="A2.Ex35.m1.4.4.2.2.1.1.1.2.3.2.3.1.cmml" xref="A2.Ex35.m1.4.4.2.2.1.1.1.2.3.2.3.1"></eq><ci id="A2.Ex35.m1.4.4.2.2.1.1.1.2.3.2.3.2.cmml" xref="A2.Ex35.m1.4.4.2.2.1.1.1.2.3.2.3.2">𝑡</ci><cn type="integer" id="A2.Ex35.m1.4.4.2.2.1.1.1.2.3.2.3.3.cmml" xref="A2.Ex35.m1.4.4.2.2.1.1.1.2.3.2.3.3">1</cn></apply></apply><ci id="A2.Ex35.m1.4.4.2.2.1.1.1.2.3.3.cmml" xref="A2.Ex35.m1.4.4.2.2.1.1.1.2.3.3">𝑇</ci></apply><apply id="A2.Ex35.m1.4.4.2.2.1.1.1.2.2.cmml" xref="A2.Ex35.m1.4.4.2.2.1.1.1.2.2"><times id="A2.Ex35.m1.4.4.2.2.1.1.1.2.2.3.cmml" xref="A2.Ex35.m1.4.4.2.2.1.1.1.2.2.3"></times><apply id="A2.Ex35.m1.4.4.2.2.1.1.1.2.2.4.cmml" xref="A2.Ex35.m1.4.4.2.2.1.1.1.2.2.4"><apply id="A2.Ex35.m1.4.4.2.2.1.1.1.2.2.4.1.cmml" xref="A2.Ex35.m1.4.4.2.2.1.1.1.2.2.4.1"><apply id="A2.Ex35.m1.4.4.2.2.1.1.1.2.2.4.1.1.cmml" xref="A2.Ex35.m1.4.4.2.2.1.1.1.2.2.4.1.1"><csymbol cd="ambiguous" id="A2.Ex35.m1.4.4.2.2.1.1.1.2.2.4.1.1.1.cmml" xref="A2.Ex35.m1.4.4.2.2.1.1.1.2.2.4.1.1">subscript</csymbol><ci id="A2.Ex35.m1.4.4.2.2.1.1.1.2.2.4.1.1.2.cmml" xref="A2.Ex35.m1.4.4.2.2.1.1.1.2.2.4.1.1.2">∇</ci><ci id="A2.Ex35.m1.4.4.2.2.1.1.1.2.2.4.1.1.3.cmml" xref="A2.Ex35.m1.4.4.2.2.1.1.1.2.2.4.1.1.3">𝜃</ci></apply><log id="A2.Ex35.m1.4.4.2.2.1.1.1.2.2.4.1.2.cmml" xref="A2.Ex35.m1.4.4.2.2.1.1.1.2.2.4.1.2"></log></apply><apply id="A2.Ex35.m1.4.4.2.2.1.1.1.2.2.4.2.cmml" xref="A2.Ex35.m1.4.4.2.2.1.1.1.2.2.4.2"><csymbol cd="ambiguous" id="A2.Ex35.m1.4.4.2.2.1.1.1.2.2.4.2.1.cmml" xref="A2.Ex35.m1.4.4.2.2.1.1.1.2.2.4.2">subscript</csymbol><ci id="A2.Ex35.m1.4.4.2.2.1.1.1.2.2.4.2.2.cmml" xref="A2.Ex35.m1.4.4.2.2.1.1.1.2.2.4.2.2">𝜋</ci><ci id="A2.Ex35.m1.4.4.2.2.1.1.1.2.2.4.2.3.cmml" xref="A2.Ex35.m1.4.4.2.2.1.1.1.2.2.4.2.3">𝜃</ci></apply></apply><apply id="A2.Ex35.m1.4.4.2.2.1.1.1.1.1.1.1.1.cmml" xref="A2.Ex35.m1.4.4.2.2.1.1.1.1.1.1.1"><csymbol cd="latexml" id="A2.Ex35.m1.4.4.2.2.1.1.1.1.1.1.1.1.3.cmml" xref="A2.Ex35.m1.4.4.2.2.1.1.1.1.1.1.1.1.3">conditional</csymbol><apply id="A2.Ex35.m1.4.4.2.2.1.1.1.1.1.1.1.1.4.cmml" xref="A2.Ex35.m1.4.4.2.2.1.1.1.1.1.1.1.1.4"><csymbol cd="ambiguous" id="A2.Ex35.m1.4.4.2.2.1.1.1.1.1.1.1.1.4.1.cmml" xref="A2.Ex35.m1.4.4.2.2.1.1.1.1.1.1.1.1.4">superscript</csymbol><apply id="A2.Ex35.m1.4.4.2.2.1.1.1.1.1.1.1.1.4.2.cmml" xref="A2.Ex35.m1.4.4.2.2.1.1.1.1.1.1.1.1.4"><csymbol cd="ambiguous" id="A2.Ex35.m1.4.4.2.2.1.1.1.1.1.1.1.1.4.2.1.cmml" xref="A2.Ex35.m1.4.4.2.2.1.1.1.1.1.1.1.1.4">subscript</csymbol><ci id="A2.Ex35.m1.4.4.2.2.1.1.1.1.1.1.1.1.4.2.2.cmml" xref="A2.Ex35.m1.4.4.2.2.1.1.1.1.1.1.1.1.4.2.2">𝑎</ci><ci id="A2.Ex35.m1.4.4.2.2.1.1.1.1.1.1.1.1.4.2.3.cmml" xref="A2.Ex35.m1.4.4.2.2.1.1.1.1.1.1.1.1.4.2.3">𝑡</ci></apply><ci id="A2.Ex35.m1.4.4.2.2.1.1.1.1.1.1.1.1.4.3.cmml" xref="A2.Ex35.m1.4.4.2.2.1.1.1.1.1.1.1.1.4.3">𝑖</ci></apply><list id="A2.Ex35.m1.4.4.2.2.1.1.1.1.1.1.1.1.2.3.cmml" xref="A2.Ex35.m1.4.4.2.2.1.1.1.1.1.1.1.1.2.2"><apply id="A2.Ex35.m1.4.4.2.2.1.1.1.1.1.1.1.1.1.1.1.cmml" xref="A2.Ex35.m1.4.4.2.2.1.1.1.1.1.1.1.1.1.1.1"><csymbol cd="ambiguous" id="A2.Ex35.m1.4.4.2.2.1.1.1.1.1.1.1.1.1.1.1.1.cmml" xref="A2.Ex35.m1.4.4.2.2.1.1.1.1.1.1.1.1.1.1.1">superscript</csymbol><ci id="A2.Ex35.m1.4.4.2.2.1.1.1.1.1.1.1.1.1.1.1.2.cmml" xref="A2.Ex35.m1.4.4.2.2.1.1.1.1.1.1.1.1.1.1.1.2">𝑥</ci><ci id="A2.Ex35.m1.4.4.2.2.1.1.1.1.1.1.1.1.1.1.1.3.cmml" xref="A2.Ex35.m1.4.4.2.2.1.1.1.1.1.1.1.1.1.1.1.3">𝑖</ci></apply><apply id="A2.Ex35.m1.4.4.2.2.1.1.1.1.1.1.1.1.2.2.2.cmml" xref="A2.Ex35.m1.4.4.2.2.1.1.1.1.1.1.1.1.2.2.2"><csymbol cd="ambiguous" id="A2.Ex35.m1.4.4.2.2.1.1.1.1.1.1.1.1.2.2.2.1.cmml" xref="A2.Ex35.m1.4.4.2.2.1.1.1.1.1.1.1.1.2.2.2">superscript</csymbol><apply id="A2.Ex35.m1.4.4.2.2.1.1.1.1.1.1.1.1.2.2.2.2.cmml" xref="A2.Ex35.m1.4.4.2.2.1.1.1.1.1.1.1.1.2.2.2"><csymbol cd="ambiguous" id="A2.Ex35.m1.4.4.2.2.1.1.1.1.1.1.1.1.2.2.2.2.1.cmml" xref="A2.Ex35.m1.4.4.2.2.1.1.1.1.1.1.1.1.2.2.2">subscript</csymbol><ci id="A2.Ex35.m1.4.4.2.2.1.1.1.1.1.1.1.1.2.2.2.2.2.cmml" xref="A2.Ex35.m1.4.4.2.2.1.1.1.1.1.1.1.1.2.2.2.2.2">𝑎</ci><apply id="A2.Ex35.m1.4.4.2.2.1.1.1.1.1.1.1.1.2.2.2.2.3.cmml" xref="A2.Ex35.m1.4.4.2.2.1.1.1.1.1.1.1.1.2.2.2.2.3"><ci id="A2.Ex35.m1.4.4.2.2.1.1.1.1.1.1.1.1.2.2.2.2.3.1.cmml" xref="A2.Ex35.m1.4.4.2.2.1.1.1.1.1.1.1.1.2.2.2.2.3.1">:</ci><cn type="integer" id="A2.Ex35.m1.4.4.2.2.1.1.1.1.1.1.1.1.2.2.2.2.3.2.cmml" xref="A2.Ex35.m1.4.4.2.2.1.1.1.1.1.1.1.1.2.2.2.2.3.2">1</cn><apply id="A2.Ex35.m1.4.4.2.2.1.1.1.1.1.1.1.1.2.2.2.2.3.3.cmml" xref="A2.Ex35.m1.4.4.2.2.1.1.1.1.1.1.1.1.2.2.2.2.3.3"><minus id="A2.Ex35.m1.4.4.2.2.1.1.1.1.1.1.1.1.2.2.2.2.3.3.1.cmml" xref="A2.Ex35.m1.4.4.2.2.1.1.1.1.1.1.1.1.2.2.2.2.3.3.1"></minus><ci id="A2.Ex35.m1.4.4.2.2.1.1.1.1.1.1.1.1.2.2.2.2.3.3.2.cmml" xref="A2.Ex35.m1.4.4.2.2.1.1.1.1.1.1.1.1.2.2.2.2.3.3.2">𝑡</ci><cn type="integer" id="A2.Ex35.m1.4.4.2.2.1.1.1.1.1.1.1.1.2.2.2.2.3.3.3.cmml" xref="A2.Ex35.m1.4.4.2.2.1.1.1.1.1.1.1.1.2.2.2.2.3.3.3">1</cn></apply></apply></apply><ci id="A2.Ex35.m1.4.4.2.2.1.1.1.1.1.1.1.1.2.2.2.3.cmml" xref="A2.Ex35.m1.4.4.2.2.1.1.1.1.1.1.1.1.2.2.2.3">𝑖</ci></apply></list></apply><ci id="A2.Ex35.m1.4.4.2.2.1.1.1.2.2.5.cmml" xref="A2.Ex35.m1.4.4.2.2.1.1.1.2.2.5">𝑟</ci><interval closure="open" id="A2.Ex35.m1.4.4.2.2.1.1.1.2.2.2.2.cmml" xref="A2.Ex35.m1.4.4.2.2.1.1.1.2.2.2.1"><ci id="A2.Ex35.m1.2.2.cmml" xref="A2.Ex35.m1.2.2">𝑥</ci><apply id="A2.Ex35.m1.4.4.2.2.1.1.1.2.2.2.1.1.cmml" xref="A2.Ex35.m1.4.4.2.2.1.1.1.2.2.2.1.1"><times id="A2.Ex35.m1.4.4.2.2.1.1.1.2.2.2.1.1.1.cmml" xref="A2.Ex35.m1.4.4.2.2.1.1.1.2.2.2.1.1.1"></times><ci id="A2.Ex35.m1.4.4.2.2.1.1.1.2.2.2.1.1.2b.cmml" xref="A2.Ex35.m1.4.4.2.2.1.1.1.2.2.2.1.1.2"><merror class="ltx_ERROR undefined undefined" id="A2.Ex35.m1.4.4.2.2.1.1.1.2.2.2.1.1.2.cmml" xref="A2.Ex35.m1.4.4.2.2.1.1.1.2.2.2.1.1.2"><mtext id="A2.Ex35.m1.4.4.2.2.1.1.1.2.2.2.1.1.2a.cmml" xref="A2.Ex35.m1.4.4.2.2.1.1.1.2.2.2.1.1.2">\macc@depth</mtext></merror></ci><ci id="A2.Ex35.m1.4.4.2.2.1.1.1.2.2.2.1.1.3.cmml" xref="A2.Ex35.m1.4.4.2.2.1.1.1.2.2.2.1.1.3">Δ</ci><ci id="A2.Ex35.m1.4.4.2.2.1.1.1.2.2.2.1.1.4b.cmml" xref="A2.Ex35.m1.4.4.2.2.1.1.1.2.2.2.1.1.4"><merror class="ltx_ERROR undefined undefined" id="A2.Ex35.m1.4.4.2.2.1.1.1.2.2.2.1.1.4.cmml" xref="A2.Ex35.m1.4.4.2.2.1.1.1.2.2.2.1.1.4"><mtext id="A2.Ex35.m1.4.4.2.2.1.1.1.2.2.2.1.1.4a.cmml" xref="A2.Ex35.m1.4.4.2.2.1.1.1.2.2.2.1.1.4">\frozen@everymath</mtext></merror></ci><ci id="A2.Ex35.m1.4.4.2.2.1.1.1.2.2.2.1.1.5b.cmml" xref="A2.Ex35.m1.4.4.2.2.1.1.1.2.2.2.1.1.5"><merror class="ltx_ERROR undefined undefined" id="A2.Ex35.m1.4.4.2.2.1.1.1.2.2.2.1.1.5.cmml" xref="A2.Ex35.m1.4.4.2.2.1.1.1.2.2.2.1.1.5"><mtext id="A2.Ex35.m1.4.4.2.2.1.1.1.2.2.2.1.1.5a.cmml" xref="A2.Ex35.m1.4.4.2.2.1.1.1.2.2.2.1.1.5">\macc@group</mtext></merror></ci><ci id="A2.Ex35.m1.4.4.2.2.1.1.1.2.2.2.1.1.6b.cmml" xref="A2.Ex35.m1.4.4.2.2.1.1.1.2.2.2.1.1.6"><merror class="ltx_ERROR undefined undefined" id="A2.Ex35.m1.4.4.2.2.1.1.1.2.2.2.1.1.6.cmml" xref="A2.Ex35.m1.4.4.2.2.1.1.1.2.2.2.1.1.6"><mtext id="A2.Ex35.m1.4.4.2.2.1.1.1.2.2.2.1.1.6a.cmml" xref="A2.Ex35.m1.4.4.2.2.1.1.1.2.2.2.1.1.6">\macc@set@skewchar</mtext></merror></ci><ci id="A2.Ex35.m1.4.4.2.2.1.1.1.2.2.2.1.1.7b.cmml" xref="A2.Ex35.m1.4.4.2.2.1.1.1.2.2.2.1.1.7"><merror class="ltx_ERROR undefined undefined" id="A2.Ex35.m1.4.4.2.2.1.1.1.2.2.2.1.1.7.cmml" xref="A2.Ex35.m1.4.4.2.2.1.1.1.2.2.2.1.1.7"><mtext id="A2.Ex35.m1.4.4.2.2.1.1.1.2.2.2.1.1.7a.cmml" xref="A2.Ex35.m1.4.4.2.2.1.1.1.2.2.2.1.1.7">\macc@nested@a</mtext></merror></ci><cn type="integer" id="A2.Ex35.m1.4.4.2.2.1.1.1.2.2.2.1.1.8.cmml" xref="A2.Ex35.m1.4.4.2.2.1.1.1.2.2.2.1.1.8">111</cn><apply id="A2.Ex35.m1.4.4.2.2.1.1.1.2.2.2.1.1.9.cmml" xref="A2.Ex35.m1.4.4.2.2.1.1.1.2.2.2.1.1.9"><csymbol cd="ambiguous" id="A2.Ex35.m1.4.4.2.2.1.1.1.2.2.2.1.1.9.1.cmml" xref="A2.Ex35.m1.4.4.2.2.1.1.1.2.2.2.1.1.9">superscript</csymbol><apply id="A2.Ex35.m1.4.4.2.2.1.1.1.2.2.2.1.1.9.2.cmml" xref="A2.Ex35.m1.4.4.2.2.1.1.1.2.2.2.1.1.9"><csymbol cd="ambiguous" id="A2.Ex35.m1.4.4.2.2.1.1.1.2.2.2.1.1.9.2.1.cmml" xref="A2.Ex35.m1.4.4.2.2.1.1.1.2.2.2.1.1.9">subscript</csymbol><ci id="A2.Ex35.m1.4.4.2.2.1.1.1.2.2.2.1.1.9.2.2.cmml" xref="A2.Ex35.m1.4.4.2.2.1.1.1.2.2.2.1.1.9.2.2">𝑎</ci><apply id="A2.Ex35.m1.4.4.2.2.1.1.1.2.2.2.1.1.9.2.3.cmml" xref="A2.Ex35.m1.4.4.2.2.1.1.1.2.2.2.1.1.9.2.3"><ci id="A2.Ex35.m1.4.4.2.2.1.1.1.2.2.2.1.1.9.2.3.1.cmml" xref="A2.Ex35.m1.4.4.2.2.1.1.1.2.2.2.1.1.9.2.3.1">:</ci><cn type="integer" id="A2.Ex35.m1.4.4.2.2.1.1.1.2.2.2.1.1.9.2.3.2.cmml" xref="A2.Ex35.m1.4.4.2.2.1.1.1.2.2.2.1.1.9.2.3.2">1</cn><ci id="A2.Ex35.m1.4.4.2.2.1.1.1.2.2.2.1.1.9.2.3.3.cmml" xref="A2.Ex35.m1.4.4.2.2.1.1.1.2.2.2.1.1.9.2.3.3">𝑇</ci></apply></apply><ci id="A2.Ex35.m1.4.4.2.2.1.1.1.2.2.2.1.1.9.3.cmml" xref="A2.Ex35.m1.4.4.2.2.1.1.1.2.2.2.1.1.9.3">𝑖</ci></apply></apply></interval></apply></apply></apply></apply></apply></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="A2.Ex35.m1.4c">\displaystyle=\mathbb{E}\left[\sum_{i=1}^{N}\sum_{t=1}^{T}\nabla_{\theta}\log\pi_{\theta}(a_{t}^{i}|x^{i},a_{1:t-1}^{i})r(x,a_{1:T}^{i})\right]-\mathbb{E}\left[\sum_{i=1}^{N}\sum_{t=1}^{T}\nabla_{\theta}\log\pi_{\theta}(a_{t}^{i}|x^{i},a_{1:t-1}^{i})r(x,\macc@depth\char 1\relax\frozen@everymath{\macc@group}\macc@set@skewchar\macc@nested@a 111{a}_{1:T}^{i})\right]</annotation></semantics></math></td>
<td class="ltx_eqn_cell ltx_eqn_center_padright"></td>
</tr></tbody>
<tbody id="A2.Ex36"><tr class="ltx_equation ltx_eqn_row ltx_align_baseline">
<td class="ltx_eqn_cell ltx_eqn_center_padleft"></td>
<td class="ltx_td ltx_eqn_cell"></td>
<td class="ltx_td ltx_align_left ltx_eqn_cell"><math id="A2.Ex36.m1.3" class="ltx_Math" alttext="\displaystyle=\nabla_{\theta}\mathbb{E}_{x\sim\rho}\mathbb{E}_{a_{1:T}\sim\pi_{\theta}}\left[\sum_{t=1}^{T}r(s_{t},a_{t})\right]-\mathbb{E}_{x\sim\rho}\mathbb{E}_{{a}_{1:T}\sim{\pi}_{\theta}}\bigg{\{}\nabla_{\theta}\big{[}\sum_{t=1}^{T}\log\pi_{\theta}(a_{t}|x,a_{1:t-1})\big{]}\times r(x,\macc@depth\char 1\relax\frozen@everymath{\macc@group}\macc@set@skewchar\macc@nested@a 111{a}_{1:T})\bigg{\}}." display="inline"><semantics id="A2.Ex36.m1.3a"><mrow id="A2.Ex36.m1.3.3.1" xref="A2.Ex36.m1.3.3.1.1.cmml"><mrow id="A2.Ex36.m1.3.3.1.1" xref="A2.Ex36.m1.3.3.1.1.cmml"><mi id="A2.Ex36.m1.3.3.1.1.4" xref="A2.Ex36.m1.3.3.1.1.4.cmml"></mi><mo id="A2.Ex36.m1.3.3.1.1.3" xref="A2.Ex36.m1.3.3.1.1.3.cmml">=</mo><mrow id="A2.Ex36.m1.3.3.1.1.2" xref="A2.Ex36.m1.3.3.1.1.2.cmml"><mrow id="A2.Ex36.m1.3.3.1.1.1.1" xref="A2.Ex36.m1.3.3.1.1.1.1.cmml"><mrow id="A2.Ex36.m1.3.3.1.1.1.1.3" xref="A2.Ex36.m1.3.3.1.1.1.1.3.cmml"><msub id="A2.Ex36.m1.3.3.1.1.1.1.3.1" xref="A2.Ex36.m1.3.3.1.1.1.1.3.1.cmml"><mo rspace="0.167em" id="A2.Ex36.m1.3.3.1.1.1.1.3.1.2" xref="A2.Ex36.m1.3.3.1.1.1.1.3.1.2.cmml">∇</mo><mi id="A2.Ex36.m1.3.3.1.1.1.1.3.1.3" xref="A2.Ex36.m1.3.3.1.1.1.1.3.1.3.cmml">θ</mi></msub><mrow id="A2.Ex36.m1.3.3.1.1.1.1.3.2" xref="A2.Ex36.m1.3.3.1.1.1.1.3.2.cmml"><msub id="A2.Ex36.m1.3.3.1.1.1.1.3.2.2" xref="A2.Ex36.m1.3.3.1.1.1.1.3.2.2.cmml"><mi id="A2.Ex36.m1.3.3.1.1.1.1.3.2.2.2" xref="A2.Ex36.m1.3.3.1.1.1.1.3.2.2.2.cmml">𝔼</mi><mrow id="A2.Ex36.m1.3.3.1.1.1.1.3.2.2.3" xref="A2.Ex36.m1.3.3.1.1.1.1.3.2.2.3.cmml"><mi id="A2.Ex36.m1.3.3.1.1.1.1.3.2.2.3.2" xref="A2.Ex36.m1.3.3.1.1.1.1.3.2.2.3.2.cmml">x</mi><mo id="A2.Ex36.m1.3.3.1.1.1.1.3.2.2.3.1" xref="A2.Ex36.m1.3.3.1.1.1.1.3.2.2.3.1.cmml">∼</mo><mi id="A2.Ex36.m1.3.3.1.1.1.1.3.2.2.3.3" xref="A2.Ex36.m1.3.3.1.1.1.1.3.2.2.3.3.cmml">ρ</mi></mrow></msub><mo lspace="0em" rspace="0em" id="A2.Ex36.m1.3.3.1.1.1.1.3.2.1" xref="A2.Ex36.m1.3.3.1.1.1.1.3.2.1.cmml">​</mo><msub id="A2.Ex36.m1.3.3.1.1.1.1.3.2.3" xref="A2.Ex36.m1.3.3.1.1.1.1.3.2.3.cmml"><mi id="A2.Ex36.m1.3.3.1.1.1.1.3.2.3.2" xref="A2.Ex36.m1.3.3.1.1.1.1.3.2.3.2.cmml">𝔼</mi><mrow id="A2.Ex36.m1.3.3.1.1.1.1.3.2.3.3" xref="A2.Ex36.m1.3.3.1.1.1.1.3.2.3.3.cmml"><msub id="A2.Ex36.m1.3.3.1.1.1.1.3.2.3.3.2" xref="A2.Ex36.m1.3.3.1.1.1.1.3.2.3.3.2.cmml"><mi id="A2.Ex36.m1.3.3.1.1.1.1.3.2.3.3.2.2" xref="A2.Ex36.m1.3.3.1.1.1.1.3.2.3.3.2.2.cmml">a</mi><mrow id="A2.Ex36.m1.3.3.1.1.1.1.3.2.3.3.2.3" xref="A2.Ex36.m1.3.3.1.1.1.1.3.2.3.3.2.3.cmml"><mn id="A2.Ex36.m1.3.3.1.1.1.1.3.2.3.3.2.3.2" xref="A2.Ex36.m1.3.3.1.1.1.1.3.2.3.3.2.3.2.cmml">1</mn><mo lspace="0.278em" rspace="0.278em" id="A2.Ex36.m1.3.3.1.1.1.1.3.2.3.3.2.3.1" xref="A2.Ex36.m1.3.3.1.1.1.1.3.2.3.3.2.3.1.cmml">:</mo><mi id="A2.Ex36.m1.3.3.1.1.1.1.3.2.3.3.2.3.3" xref="A2.Ex36.m1.3.3.1.1.1.1.3.2.3.3.2.3.3.cmml">T</mi></mrow></msub><mo id="A2.Ex36.m1.3.3.1.1.1.1.3.2.3.3.1" xref="A2.Ex36.m1.3.3.1.1.1.1.3.2.3.3.1.cmml">∼</mo><msub id="A2.Ex36.m1.3.3.1.1.1.1.3.2.3.3.3" xref="A2.Ex36.m1.3.3.1.1.1.1.3.2.3.3.3.cmml"><mi id="A2.Ex36.m1.3.3.1.1.1.1.3.2.3.3.3.2" xref="A2.Ex36.m1.3.3.1.1.1.1.3.2.3.3.3.2.cmml">π</mi><mi id="A2.Ex36.m1.3.3.1.1.1.1.3.2.3.3.3.3" xref="A2.Ex36.m1.3.3.1.1.1.1.3.2.3.3.3.3.cmml">θ</mi></msub></mrow></msub></mrow></mrow><mo lspace="0em" rspace="0em" id="A2.Ex36.m1.3.3.1.1.1.1.2" xref="A2.Ex36.m1.3.3.1.1.1.1.2.cmml">​</mo><mrow id="A2.Ex36.m1.3.3.1.1.1.1.1.1" xref="A2.Ex36.m1.3.3.1.1.1.1.1.2.cmml"><mo id="A2.Ex36.m1.3.3.1.1.1.1.1.1.2" xref="A2.Ex36.m1.3.3.1.1.1.1.1.2.1.cmml">[</mo><mrow id="A2.Ex36.m1.3.3.1.1.1.1.1.1.1" xref="A2.Ex36.m1.3.3.1.1.1.1.1.1.1.cmml"><mstyle displaystyle="true" id="A2.Ex36.m1.3.3.1.1.1.1.1.1.1.3" xref="A2.Ex36.m1.3.3.1.1.1.1.1.1.1.3.cmml"><munderover id="A2.Ex36.m1.3.3.1.1.1.1.1.1.1.3a" xref="A2.Ex36.m1.3.3.1.1.1.1.1.1.1.3.cmml"><mo movablelimits="false" id="A2.Ex36.m1.3.3.1.1.1.1.1.1.1.3.2.2" xref="A2.Ex36.m1.3.3.1.1.1.1.1.1.1.3.2.2.cmml">∑</mo><mrow id="A2.Ex36.m1.3.3.1.1.1.1.1.1.1.3.2.3" xref="A2.Ex36.m1.3.3.1.1.1.1.1.1.1.3.2.3.cmml"><mi id="A2.Ex36.m1.3.3.1.1.1.1.1.1.1.3.2.3.2" xref="A2.Ex36.m1.3.3.1.1.1.1.1.1.1.3.2.3.2.cmml">t</mi><mo id="A2.Ex36.m1.3.3.1.1.1.1.1.1.1.3.2.3.1" xref="A2.Ex36.m1.3.3.1.1.1.1.1.1.1.3.2.3.1.cmml">=</mo><mn id="A2.Ex36.m1.3.3.1.1.1.1.1.1.1.3.2.3.3" xref="A2.Ex36.m1.3.3.1.1.1.1.1.1.1.3.2.3.3.cmml">1</mn></mrow><mi id="A2.Ex36.m1.3.3.1.1.1.1.1.1.1.3.3" xref="A2.Ex36.m1.3.3.1.1.1.1.1.1.1.3.3.cmml">T</mi></munderover></mstyle><mrow id="A2.Ex36.m1.3.3.1.1.1.1.1.1.1.2" xref="A2.Ex36.m1.3.3.1.1.1.1.1.1.1.2.cmml"><mi id="A2.Ex36.m1.3.3.1.1.1.1.1.1.1.2.4" xref="A2.Ex36.m1.3.3.1.1.1.1.1.1.1.2.4.cmml">r</mi><mo lspace="0em" rspace="0em" id="A2.Ex36.m1.3.3.1.1.1.1.1.1.1.2.3" xref="A2.Ex36.m1.3.3.1.1.1.1.1.1.1.2.3.cmml">​</mo><mrow id="A2.Ex36.m1.3.3.1.1.1.1.1.1.1.2.2.2" xref="A2.Ex36.m1.3.3.1.1.1.1.1.1.1.2.2.3.cmml"><mo stretchy="false" id="A2.Ex36.m1.3.3.1.1.1.1.1.1.1.2.2.2.3" xref="A2.Ex36.m1.3.3.1.1.1.1.1.1.1.2.2.3.cmml">(</mo><msub id="A2.Ex36.m1.3.3.1.1.1.1.1.1.1.1.1.1.1" xref="A2.Ex36.m1.3.3.1.1.1.1.1.1.1.1.1.1.1.cmml"><mi id="A2.Ex36.m1.3.3.1.1.1.1.1.1.1.1.1.1.1.2" xref="A2.Ex36.m1.3.3.1.1.1.1.1.1.1.1.1.1.1.2.cmml">s</mi><mi id="A2.Ex36.m1.3.3.1.1.1.1.1.1.1.1.1.1.1.3" xref="A2.Ex36.m1.3.3.1.1.1.1.1.1.1.1.1.1.1.3.cmml">t</mi></msub><mo id="A2.Ex36.m1.3.3.1.1.1.1.1.1.1.2.2.2.4" xref="A2.Ex36.m1.3.3.1.1.1.1.1.1.1.2.2.3.cmml">,</mo><msub id="A2.Ex36.m1.3.3.1.1.1.1.1.1.1.2.2.2.2" xref="A2.Ex36.m1.3.3.1.1.1.1.1.1.1.2.2.2.2.cmml"><mi id="A2.Ex36.m1.3.3.1.1.1.1.1.1.1.2.2.2.2.2" xref="A2.Ex36.m1.3.3.1.1.1.1.1.1.1.2.2.2.2.2.cmml">a</mi><mi id="A2.Ex36.m1.3.3.1.1.1.1.1.1.1.2.2.2.2.3" xref="A2.Ex36.m1.3.3.1.1.1.1.1.1.1.2.2.2.2.3.cmml">t</mi></msub><mo stretchy="false" id="A2.Ex36.m1.3.3.1.1.1.1.1.1.1.2.2.2.5" xref="A2.Ex36.m1.3.3.1.1.1.1.1.1.1.2.2.3.cmml">)</mo></mrow></mrow></mrow><mo id="A2.Ex36.m1.3.3.1.1.1.1.1.1.3" xref="A2.Ex36.m1.3.3.1.1.1.1.1.2.1.cmml">]</mo></mrow></mrow><mo id="A2.Ex36.m1.3.3.1.1.2.3" xref="A2.Ex36.m1.3.3.1.1.2.3.cmml">−</mo><mrow id="A2.Ex36.m1.3.3.1.1.2.2" xref="A2.Ex36.m1.3.3.1.1.2.2.cmml"><msub id="A2.Ex36.m1.3.3.1.1.2.2.3" xref="A2.Ex36.m1.3.3.1.1.2.2.3.cmml"><mi id="A2.Ex36.m1.3.3.1.1.2.2.3.2" xref="A2.Ex36.m1.3.3.1.1.2.2.3.2.cmml">𝔼</mi><mrow id="A2.Ex36.m1.3.3.1.1.2.2.3.3" xref="A2.Ex36.m1.3.3.1.1.2.2.3.3.cmml"><mi id="A2.Ex36.m1.3.3.1.1.2.2.3.3.2" xref="A2.Ex36.m1.3.3.1.1.2.2.3.3.2.cmml">x</mi><mo id="A2.Ex36.m1.3.3.1.1.2.2.3.3.1" xref="A2.Ex36.m1.3.3.1.1.2.2.3.3.1.cmml">∼</mo><mi id="A2.Ex36.m1.3.3.1.1.2.2.3.3.3" xref="A2.Ex36.m1.3.3.1.1.2.2.3.3.3.cmml">ρ</mi></mrow></msub><mo lspace="0em" rspace="0em" id="A2.Ex36.m1.3.3.1.1.2.2.2" xref="A2.Ex36.m1.3.3.1.1.2.2.2.cmml">​</mo><msub id="A2.Ex36.m1.3.3.1.1.2.2.4" xref="A2.Ex36.m1.3.3.1.1.2.2.4.cmml"><mi id="A2.Ex36.m1.3.3.1.1.2.2.4.2" xref="A2.Ex36.m1.3.3.1.1.2.2.4.2.cmml">𝔼</mi><mrow id="A2.Ex36.m1.3.3.1.1.2.2.4.3" xref="A2.Ex36.m1.3.3.1.1.2.2.4.3.cmml"><msub id="A2.Ex36.m1.3.3.1.1.2.2.4.3.2" xref="A2.Ex36.m1.3.3.1.1.2.2.4.3.2.cmml"><mi id="A2.Ex36.m1.3.3.1.1.2.2.4.3.2.2" xref="A2.Ex36.m1.3.3.1.1.2.2.4.3.2.2.cmml">a</mi><mrow id="A2.Ex36.m1.3.3.1.1.2.2.4.3.2.3" xref="A2.Ex36.m1.3.3.1.1.2.2.4.3.2.3.cmml"><mn id="A2.Ex36.m1.3.3.1.1.2.2.4.3.2.3.2" xref="A2.Ex36.m1.3.3.1.1.2.2.4.3.2.3.2.cmml">1</mn><mo lspace="0.278em" rspace="0.278em" id="A2.Ex36.m1.3.3.1.1.2.2.4.3.2.3.1" xref="A2.Ex36.m1.3.3.1.1.2.2.4.3.2.3.1.cmml">:</mo><mi id="A2.Ex36.m1.3.3.1.1.2.2.4.3.2.3.3" xref="A2.Ex36.m1.3.3.1.1.2.2.4.3.2.3.3.cmml">T</mi></mrow></msub><mo id="A2.Ex36.m1.3.3.1.1.2.2.4.3.1" xref="A2.Ex36.m1.3.3.1.1.2.2.4.3.1.cmml">∼</mo><msub id="A2.Ex36.m1.3.3.1.1.2.2.4.3.3" xref="A2.Ex36.m1.3.3.1.1.2.2.4.3.3.cmml"><mi id="A2.Ex36.m1.3.3.1.1.2.2.4.3.3.2" xref="A2.Ex36.m1.3.3.1.1.2.2.4.3.3.2.cmml">π</mi><mi id="A2.Ex36.m1.3.3.1.1.2.2.4.3.3.3" xref="A2.Ex36.m1.3.3.1.1.2.2.4.3.3.3.cmml">θ</mi></msub></mrow></msub><mo lspace="0em" rspace="0em" id="A2.Ex36.m1.3.3.1.1.2.2.2a" xref="A2.Ex36.m1.3.3.1.1.2.2.2.cmml">​</mo><mrow id="A2.Ex36.m1.3.3.1.1.2.2.1.1" xref="A2.Ex36.m1.3.3.1.1.2.2.1.2.cmml"><mo maxsize="210%" minsize="210%" id="A2.Ex36.m1.3.3.1.1.2.2.1.1.2" xref="A2.Ex36.m1.3.3.1.1.2.2.1.2.cmml">{</mo><mrow id="A2.Ex36.m1.3.3.1.1.2.2.1.1.1" xref="A2.Ex36.m1.3.3.1.1.2.2.1.1.1.cmml"><mrow id="A2.Ex36.m1.3.3.1.1.2.2.1.1.1.2" xref="A2.Ex36.m1.3.3.1.1.2.2.1.1.1.2.cmml"><mrow id="A2.Ex36.m1.3.3.1.1.2.2.1.1.1.2.2.2" xref="A2.Ex36.m1.3.3.1.1.2.2.1.1.1.2.2.3.cmml"><msub id="A2.Ex36.m1.3.3.1.1.2.2.1.1.1.1.1.1.1" xref="A2.Ex36.m1.3.3.1.1.2.2.1.1.1.1.1.1.1.cmml"><mo id="A2.Ex36.m1.3.3.1.1.2.2.1.1.1.1.1.1.1.2" xref="A2.Ex36.m1.3.3.1.1.2.2.1.1.1.1.1.1.1.2.cmml">∇</mo><mi id="A2.Ex36.m1.3.3.1.1.2.2.1.1.1.1.1.1.1.3" xref="A2.Ex36.m1.3.3.1.1.2.2.1.1.1.1.1.1.1.3.cmml">θ</mi></msub><mrow id="A2.Ex36.m1.3.3.1.1.2.2.1.1.1.2.2.2.2" xref="A2.Ex36.m1.3.3.1.1.2.2.1.1.1.2.2.3.cmml"><mo maxsize="120%" minsize="120%" id="A2.Ex36.m1.3.3.1.1.2.2.1.1.1.2.2.2.2.2" xref="A2.Ex36.m1.3.3.1.1.2.2.1.1.1.2.2.3.cmml">[</mo><mrow id="A2.Ex36.m1.3.3.1.1.2.2.1.1.1.2.2.2.2.1" xref="A2.Ex36.m1.3.3.1.1.2.2.1.1.1.2.2.2.2.1.cmml"><mstyle displaystyle="true" id="A2.Ex36.m1.3.3.1.1.2.2.1.1.1.2.2.2.2.1.2" xref="A2.Ex36.m1.3.3.1.1.2.2.1.1.1.2.2.2.2.1.2.cmml"><munderover id="A2.Ex36.m1.3.3.1.1.2.2.1.1.1.2.2.2.2.1.2a" xref="A2.Ex36.m1.3.3.1.1.2.2.1.1.1.2.2.2.2.1.2.cmml"><mo movablelimits="false" id="A2.Ex36.m1.3.3.1.1.2.2.1.1.1.2.2.2.2.1.2.2.2" xref="A2.Ex36.m1.3.3.1.1.2.2.1.1.1.2.2.2.2.1.2.2.2.cmml">∑</mo><mrow id="A2.Ex36.m1.3.3.1.1.2.2.1.1.1.2.2.2.2.1.2.2.3" xref="A2.Ex36.m1.3.3.1.1.2.2.1.1.1.2.2.2.2.1.2.2.3.cmml"><mi id="A2.Ex36.m1.3.3.1.1.2.2.1.1.1.2.2.2.2.1.2.2.3.2" xref="A2.Ex36.m1.3.3.1.1.2.2.1.1.1.2.2.2.2.1.2.2.3.2.cmml">t</mi><mo id="A2.Ex36.m1.3.3.1.1.2.2.1.1.1.2.2.2.2.1.2.2.3.1" xref="A2.Ex36.m1.3.3.1.1.2.2.1.1.1.2.2.2.2.1.2.2.3.1.cmml">=</mo><mn id="A2.Ex36.m1.3.3.1.1.2.2.1.1.1.2.2.2.2.1.2.2.3.3" xref="A2.Ex36.m1.3.3.1.1.2.2.1.1.1.2.2.2.2.1.2.2.3.3.cmml">1</mn></mrow><mi id="A2.Ex36.m1.3.3.1.1.2.2.1.1.1.2.2.2.2.1.2.3" xref="A2.Ex36.m1.3.3.1.1.2.2.1.1.1.2.2.2.2.1.2.3.cmml">T</mi></munderover></mstyle><mrow id="A2.Ex36.m1.3.3.1.1.2.2.1.1.1.2.2.2.2.1.1" xref="A2.Ex36.m1.3.3.1.1.2.2.1.1.1.2.2.2.2.1.1.cmml"><mrow id="A2.Ex36.m1.3.3.1.1.2.2.1.1.1.2.2.2.2.1.1.3" xref="A2.Ex36.m1.3.3.1.1.2.2.1.1.1.2.2.2.2.1.1.3.cmml"><mi id="A2.Ex36.m1.3.3.1.1.2.2.1.1.1.2.2.2.2.1.1.3.1" xref="A2.Ex36.m1.3.3.1.1.2.2.1.1.1.2.2.2.2.1.1.3.1.cmml">log</mi><mo lspace="0.167em" id="A2.Ex36.m1.3.3.1.1.2.2.1.1.1.2.2.2.2.1.1.3a" xref="A2.Ex36.m1.3.3.1.1.2.2.1.1.1.2.2.2.2.1.1.3.cmml">⁡</mo><msub id="A2.Ex36.m1.3.3.1.1.2.2.1.1.1.2.2.2.2.1.1.3.2" xref="A2.Ex36.m1.3.3.1.1.2.2.1.1.1.2.2.2.2.1.1.3.2.cmml"><mi id="A2.Ex36.m1.3.3.1.1.2.2.1.1.1.2.2.2.2.1.1.3.2.2" xref="A2.Ex36.m1.3.3.1.1.2.2.1.1.1.2.2.2.2.1.1.3.2.2.cmml">π</mi><mi id="A2.Ex36.m1.3.3.1.1.2.2.1.1.1.2.2.2.2.1.1.3.2.3" xref="A2.Ex36.m1.3.3.1.1.2.2.1.1.1.2.2.2.2.1.1.3.2.3.cmml">θ</mi></msub></mrow><mo lspace="0em" rspace="0em" id="A2.Ex36.m1.3.3.1.1.2.2.1.1.1.2.2.2.2.1.1.2" xref="A2.Ex36.m1.3.3.1.1.2.2.1.1.1.2.2.2.2.1.1.2.cmml">​</mo><mrow id="A2.Ex36.m1.3.3.1.1.2.2.1.1.1.2.2.2.2.1.1.1.1" xref="A2.Ex36.m1.3.3.1.1.2.2.1.1.1.2.2.2.2.1.1.1.1.1.cmml"><mo stretchy="false" id="A2.Ex36.m1.3.3.1.1.2.2.1.1.1.2.2.2.2.1.1.1.1.2" xref="A2.Ex36.m1.3.3.1.1.2.2.1.1.1.2.2.2.2.1.1.1.1.1.cmml">(</mo><mrow id="A2.Ex36.m1.3.3.1.1.2.2.1.1.1.2.2.2.2.1.1.1.1.1" xref="A2.Ex36.m1.3.3.1.1.2.2.1.1.1.2.2.2.2.1.1.1.1.1.cmml"><msub id="A2.Ex36.m1.3.3.1.1.2.2.1.1.1.2.2.2.2.1.1.1.1.1.3" xref="A2.Ex36.m1.3.3.1.1.2.2.1.1.1.2.2.2.2.1.1.1.1.1.3.cmml"><mi id="A2.Ex36.m1.3.3.1.1.2.2.1.1.1.2.2.2.2.1.1.1.1.1.3.2" xref="A2.Ex36.m1.3.3.1.1.2.2.1.1.1.2.2.2.2.1.1.1.1.1.3.2.cmml">a</mi><mi id="A2.Ex36.m1.3.3.1.1.2.2.1.1.1.2.2.2.2.1.1.1.1.1.3.3" xref="A2.Ex36.m1.3.3.1.1.2.2.1.1.1.2.2.2.2.1.1.1.1.1.3.3.cmml">t</mi></msub><mo fence="false" id="A2.Ex36.m1.3.3.1.1.2.2.1.1.1.2.2.2.2.1.1.1.1.1.2" xref="A2.Ex36.m1.3.3.1.1.2.2.1.1.1.2.2.2.2.1.1.1.1.1.2.cmml">|</mo><mrow id="A2.Ex36.m1.3.3.1.1.2.2.1.1.1.2.2.2.2.1.1.1.1.1.1.1" xref="A2.Ex36.m1.3.3.1.1.2.2.1.1.1.2.2.2.2.1.1.1.1.1.1.2.cmml"><mi id="A2.Ex36.m1.1.1" xref="A2.Ex36.m1.1.1.cmml">x</mi><mo id="A2.Ex36.m1.3.3.1.1.2.2.1.1.1.2.2.2.2.1.1.1.1.1.1.1.2" xref="A2.Ex36.m1.3.3.1.1.2.2.1.1.1.2.2.2.2.1.1.1.1.1.1.2.cmml">,</mo><msub id="A2.Ex36.m1.3.3.1.1.2.2.1.1.1.2.2.2.2.1.1.1.1.1.1.1.1" xref="A2.Ex36.m1.3.3.1.1.2.2.1.1.1.2.2.2.2.1.1.1.1.1.1.1.1.cmml"><mi id="A2.Ex36.m1.3.3.1.1.2.2.1.1.1.2.2.2.2.1.1.1.1.1.1.1.1.2" xref="A2.Ex36.m1.3.3.1.1.2.2.1.1.1.2.2.2.2.1.1.1.1.1.1.1.1.2.cmml">a</mi><mrow id="A2.Ex36.m1.3.3.1.1.2.2.1.1.1.2.2.2.2.1.1.1.1.1.1.1.1.3" xref="A2.Ex36.m1.3.3.1.1.2.2.1.1.1.2.2.2.2.1.1.1.1.1.1.1.1.3.cmml"><mn id="A2.Ex36.m1.3.3.1.1.2.2.1.1.1.2.2.2.2.1.1.1.1.1.1.1.1.3.2" xref="A2.Ex36.m1.3.3.1.1.2.2.1.1.1.2.2.2.2.1.1.1.1.1.1.1.1.3.2.cmml">1</mn><mo lspace="0.278em" rspace="0.278em" id="A2.Ex36.m1.3.3.1.1.2.2.1.1.1.2.2.2.2.1.1.1.1.1.1.1.1.3.1" xref="A2.Ex36.m1.3.3.1.1.2.2.1.1.1.2.2.2.2.1.1.1.1.1.1.1.1.3.1.cmml">:</mo><mrow id="A2.Ex36.m1.3.3.1.1.2.2.1.1.1.2.2.2.2.1.1.1.1.1.1.1.1.3.3" xref="A2.Ex36.m1.3.3.1.1.2.2.1.1.1.2.2.2.2.1.1.1.1.1.1.1.1.3.3.cmml"><mi id="A2.Ex36.m1.3.3.1.1.2.2.1.1.1.2.2.2.2.1.1.1.1.1.1.1.1.3.3.2" xref="A2.Ex36.m1.3.3.1.1.2.2.1.1.1.2.2.2.2.1.1.1.1.1.1.1.1.3.3.2.cmml">t</mi><mo id="A2.Ex36.m1.3.3.1.1.2.2.1.1.1.2.2.2.2.1.1.1.1.1.1.1.1.3.3.1" xref="A2.Ex36.m1.3.3.1.1.2.2.1.1.1.2.2.2.2.1.1.1.1.1.1.1.1.3.3.1.cmml">−</mo><mn id="A2.Ex36.m1.3.3.1.1.2.2.1.1.1.2.2.2.2.1.1.1.1.1.1.1.1.3.3.3" xref="A2.Ex36.m1.3.3.1.1.2.2.1.1.1.2.2.2.2.1.1.1.1.1.1.1.1.3.3.3.cmml">1</mn></mrow></mrow></msub></mrow></mrow><mo stretchy="false" id="A2.Ex36.m1.3.3.1.1.2.2.1.1.1.2.2.2.2.1.1.1.1.3" xref="A2.Ex36.m1.3.3.1.1.2.2.1.1.1.2.2.2.2.1.1.1.1.1.cmml">)</mo></mrow></mrow></mrow><mo maxsize="120%" minsize="120%" rspace="0.055em" id="A2.Ex36.m1.3.3.1.1.2.2.1.1.1.2.2.2.2.3" xref="A2.Ex36.m1.3.3.1.1.2.2.1.1.1.2.2.3.cmml">]</mo></mrow></mrow><mo rspace="0.222em" id="A2.Ex36.m1.3.3.1.1.2.2.1.1.1.2.3" xref="A2.Ex36.m1.3.3.1.1.2.2.1.1.1.2.3.cmml">×</mo><mi id="A2.Ex36.m1.3.3.1.1.2.2.1.1.1.2.4" xref="A2.Ex36.m1.3.3.1.1.2.2.1.1.1.2.4.cmml">r</mi></mrow><mo lspace="0em" rspace="0em" id="A2.Ex36.m1.3.3.1.1.2.2.1.1.1.4" xref="A2.Ex36.m1.3.3.1.1.2.2.1.1.1.4.cmml">​</mo><mrow id="A2.Ex36.m1.3.3.1.1.2.2.1.1.1.3.1" xref="A2.Ex36.m1.3.3.1.1.2.2.1.1.1.3.2.cmml"><mo stretchy="false" id="A2.Ex36.m1.3.3.1.1.2.2.1.1.1.3.1.2" xref="A2.Ex36.m1.3.3.1.1.2.2.1.1.1.3.2.cmml">(</mo><mi id="A2.Ex36.m1.2.2" xref="A2.Ex36.m1.2.2.cmml">x</mi><mo id="A2.Ex36.m1.3.3.1.1.2.2.1.1.1.3.1.3" xref="A2.Ex36.m1.3.3.1.1.2.2.1.1.1.3.2.cmml">,</mo><mrow id="A2.Ex36.m1.3.3.1.1.2.2.1.1.1.3.1.1" xref="A2.Ex36.m1.3.3.1.1.2.2.1.1.1.3.1.1.cmml"><merror class="ltx_ERROR undefined undefined" id="A2.Ex36.m1.3.3.1.1.2.2.1.1.1.3.1.1.2" xref="A2.Ex36.m1.3.3.1.1.2.2.1.1.1.3.1.1.2b.cmml"><mtext id="A2.Ex36.m1.3.3.1.1.2.2.1.1.1.3.1.1.2a" xref="A2.Ex36.m1.3.3.1.1.2.2.1.1.1.3.1.1.2b.cmml">\macc@depth</mtext></merror><mo lspace="0em" rspace="0em" id="A2.Ex36.m1.3.3.1.1.2.2.1.1.1.3.1.1.1" xref="A2.Ex36.m1.3.3.1.1.2.2.1.1.1.3.1.1.1.cmml">​</mo><mi mathvariant="normal" id="A2.Ex36.m1.3.3.1.1.2.2.1.1.1.3.1.1.3" xref="A2.Ex36.m1.3.3.1.1.2.2.1.1.1.3.1.1.3.cmml">Δ</mi><mo lspace="0em" rspace="0em" id="A2.Ex36.m1.3.3.1.1.2.2.1.1.1.3.1.1.1a" xref="A2.Ex36.m1.3.3.1.1.2.2.1.1.1.3.1.1.1.cmml">​</mo><merror class="ltx_ERROR undefined undefined" id="A2.Ex36.m1.3.3.1.1.2.2.1.1.1.3.1.1.4" xref="A2.Ex36.m1.3.3.1.1.2.2.1.1.1.3.1.1.4b.cmml"><mtext id="A2.Ex36.m1.3.3.1.1.2.2.1.1.1.3.1.1.4a" xref="A2.Ex36.m1.3.3.1.1.2.2.1.1.1.3.1.1.4b.cmml">\frozen@everymath</mtext></merror><mo lspace="0em" rspace="0em" id="A2.Ex36.m1.3.3.1.1.2.2.1.1.1.3.1.1.1b" xref="A2.Ex36.m1.3.3.1.1.2.2.1.1.1.3.1.1.1.cmml">​</mo><merror class="ltx_ERROR undefined undefined" id="A2.Ex36.m1.3.3.1.1.2.2.1.1.1.3.1.1.5" xref="A2.Ex36.m1.3.3.1.1.2.2.1.1.1.3.1.1.5b.cmml"><mtext id="A2.Ex36.m1.3.3.1.1.2.2.1.1.1.3.1.1.5a" xref="A2.Ex36.m1.3.3.1.1.2.2.1.1.1.3.1.1.5b.cmml">\macc@group</mtext></merror><mo lspace="0em" rspace="0em" id="A2.Ex36.m1.3.3.1.1.2.2.1.1.1.3.1.1.1c" xref="A2.Ex36.m1.3.3.1.1.2.2.1.1.1.3.1.1.1.cmml">​</mo><merror class="ltx_ERROR undefined undefined" id="A2.Ex36.m1.3.3.1.1.2.2.1.1.1.3.1.1.6" xref="A2.Ex36.m1.3.3.1.1.2.2.1.1.1.3.1.1.6b.cmml"><mtext id="A2.Ex36.m1.3.3.1.1.2.2.1.1.1.3.1.1.6a" xref="A2.Ex36.m1.3.3.1.1.2.2.1.1.1.3.1.1.6b.cmml">\macc@set@skewchar</mtext></merror><mo lspace="0em" rspace="0em" id="A2.Ex36.m1.3.3.1.1.2.2.1.1.1.3.1.1.1d" xref="A2.Ex36.m1.3.3.1.1.2.2.1.1.1.3.1.1.1.cmml">​</mo><merror class="ltx_ERROR undefined undefined" id="A2.Ex36.m1.3.3.1.1.2.2.1.1.1.3.1.1.7" xref="A2.Ex36.m1.3.3.1.1.2.2.1.1.1.3.1.1.7b.cmml"><mtext id="A2.Ex36.m1.3.3.1.1.2.2.1.1.1.3.1.1.7a" xref="A2.Ex36.m1.3.3.1.1.2.2.1.1.1.3.1.1.7b.cmml">\macc@nested@a</mtext></merror><mo lspace="0em" rspace="0em" id="A2.Ex36.m1.3.3.1.1.2.2.1.1.1.3.1.1.1e" xref="A2.Ex36.m1.3.3.1.1.2.2.1.1.1.3.1.1.1.cmml">​</mo><mn id="A2.Ex36.m1.3.3.1.1.2.2.1.1.1.3.1.1.8" xref="A2.Ex36.m1.3.3.1.1.2.2.1.1.1.3.1.1.8.cmml">111</mn><mo lspace="0em" rspace="0em" id="A2.Ex36.m1.3.3.1.1.2.2.1.1.1.3.1.1.1f" xref="A2.Ex36.m1.3.3.1.1.2.2.1.1.1.3.1.1.1.cmml">​</mo><msub id="A2.Ex36.m1.3.3.1.1.2.2.1.1.1.3.1.1.9" xref="A2.Ex36.m1.3.3.1.1.2.2.1.1.1.3.1.1.9.cmml"><mi id="A2.Ex36.m1.3.3.1.1.2.2.1.1.1.3.1.1.9.2" xref="A2.Ex36.m1.3.3.1.1.2.2.1.1.1.3.1.1.9.2.cmml">a</mi><mrow id="A2.Ex36.m1.3.3.1.1.2.2.1.1.1.3.1.1.9.3" xref="A2.Ex36.m1.3.3.1.1.2.2.1.1.1.3.1.1.9.3.cmml"><mn id="A2.Ex36.m1.3.3.1.1.2.2.1.1.1.3.1.1.9.3.2" xref="A2.Ex36.m1.3.3.1.1.2.2.1.1.1.3.1.1.9.3.2.cmml">1</mn><mo lspace="0.278em" rspace="0.278em" id="A2.Ex36.m1.3.3.1.1.2.2.1.1.1.3.1.1.9.3.1" xref="A2.Ex36.m1.3.3.1.1.2.2.1.1.1.3.1.1.9.3.1.cmml">:</mo><mi id="A2.Ex36.m1.3.3.1.1.2.2.1.1.1.3.1.1.9.3.3" xref="A2.Ex36.m1.3.3.1.1.2.2.1.1.1.3.1.1.9.3.3.cmml">T</mi></mrow></msub></mrow><mo stretchy="false" id="A2.Ex36.m1.3.3.1.1.2.2.1.1.1.3.1.4" xref="A2.Ex36.m1.3.3.1.1.2.2.1.1.1.3.2.cmml">)</mo></mrow></mrow><mo maxsize="210%" minsize="210%" id="A2.Ex36.m1.3.3.1.1.2.2.1.1.3" xref="A2.Ex36.m1.3.3.1.1.2.2.1.2.cmml">}</mo></mrow></mrow></mrow></mrow><mo lspace="0em" id="A2.Ex36.m1.3.3.1.2" xref="A2.Ex36.m1.3.3.1.1.cmml">.</mo></mrow><annotation-xml encoding="MathML-Content" id="A2.Ex36.m1.3b"><apply id="A2.Ex36.m1.3.3.1.1.cmml" xref="A2.Ex36.m1.3.3.1"><eq id="A2.Ex36.m1.3.3.1.1.3.cmml" xref="A2.Ex36.m1.3.3.1.1.3"></eq><csymbol cd="latexml" id="A2.Ex36.m1.3.3.1.1.4.cmml" xref="A2.Ex36.m1.3.3.1.1.4">absent</csymbol><apply id="A2.Ex36.m1.3.3.1.1.2.cmml" xref="A2.Ex36.m1.3.3.1.1.2"><minus id="A2.Ex36.m1.3.3.1.1.2.3.cmml" xref="A2.Ex36.m1.3.3.1.1.2.3"></minus><apply id="A2.Ex36.m1.3.3.1.1.1.1.cmml" xref="A2.Ex36.m1.3.3.1.1.1.1"><times id="A2.Ex36.m1.3.3.1.1.1.1.2.cmml" xref="A2.Ex36.m1.3.3.1.1.1.1.2"></times><apply id="A2.Ex36.m1.3.3.1.1.1.1.3.cmml" xref="A2.Ex36.m1.3.3.1.1.1.1.3"><apply id="A2.Ex36.m1.3.3.1.1.1.1.3.1.cmml" xref="A2.Ex36.m1.3.3.1.1.1.1.3.1"><csymbol cd="ambiguous" id="A2.Ex36.m1.3.3.1.1.1.1.3.1.1.cmml" xref="A2.Ex36.m1.3.3.1.1.1.1.3.1">subscript</csymbol><ci id="A2.Ex36.m1.3.3.1.1.1.1.3.1.2.cmml" xref="A2.Ex36.m1.3.3.1.1.1.1.3.1.2">∇</ci><ci id="A2.Ex36.m1.3.3.1.1.1.1.3.1.3.cmml" xref="A2.Ex36.m1.3.3.1.1.1.1.3.1.3">𝜃</ci></apply><apply id="A2.Ex36.m1.3.3.1.1.1.1.3.2.cmml" xref="A2.Ex36.m1.3.3.1.1.1.1.3.2"><times id="A2.Ex36.m1.3.3.1.1.1.1.3.2.1.cmml" xref="A2.Ex36.m1.3.3.1.1.1.1.3.2.1"></times><apply id="A2.Ex36.m1.3.3.1.1.1.1.3.2.2.cmml" xref="A2.Ex36.m1.3.3.1.1.1.1.3.2.2"><csymbol cd="ambiguous" id="A2.Ex36.m1.3.3.1.1.1.1.3.2.2.1.cmml" xref="A2.Ex36.m1.3.3.1.1.1.1.3.2.2">subscript</csymbol><ci id="A2.Ex36.m1.3.3.1.1.1.1.3.2.2.2.cmml" xref="A2.Ex36.m1.3.3.1.1.1.1.3.2.2.2">𝔼</ci><apply id="A2.Ex36.m1.3.3.1.1.1.1.3.2.2.3.cmml" xref="A2.Ex36.m1.3.3.1.1.1.1.3.2.2.3"><csymbol cd="latexml" id="A2.Ex36.m1.3.3.1.1.1.1.3.2.2.3.1.cmml" xref="A2.Ex36.m1.3.3.1.1.1.1.3.2.2.3.1">similar-to</csymbol><ci id="A2.Ex36.m1.3.3.1.1.1.1.3.2.2.3.2.cmml" xref="A2.Ex36.m1.3.3.1.1.1.1.3.2.2.3.2">𝑥</ci><ci id="A2.Ex36.m1.3.3.1.1.1.1.3.2.2.3.3.cmml" xref="A2.Ex36.m1.3.3.1.1.1.1.3.2.2.3.3">𝜌</ci></apply></apply><apply id="A2.Ex36.m1.3.3.1.1.1.1.3.2.3.cmml" xref="A2.Ex36.m1.3.3.1.1.1.1.3.2.3"><csymbol cd="ambiguous" id="A2.Ex36.m1.3.3.1.1.1.1.3.2.3.1.cmml" xref="A2.Ex36.m1.3.3.1.1.1.1.3.2.3">subscript</csymbol><ci id="A2.Ex36.m1.3.3.1.1.1.1.3.2.3.2.cmml" xref="A2.Ex36.m1.3.3.1.1.1.1.3.2.3.2">𝔼</ci><apply id="A2.Ex36.m1.3.3.1.1.1.1.3.2.3.3.cmml" xref="A2.Ex36.m1.3.3.1.1.1.1.3.2.3.3"><csymbol cd="latexml" id="A2.Ex36.m1.3.3.1.1.1.1.3.2.3.3.1.cmml" xref="A2.Ex36.m1.3.3.1.1.1.1.3.2.3.3.1">similar-to</csymbol><apply id="A2.Ex36.m1.3.3.1.1.1.1.3.2.3.3.2.cmml" xref="A2.Ex36.m1.3.3.1.1.1.1.3.2.3.3.2"><csymbol cd="ambiguous" id="A2.Ex36.m1.3.3.1.1.1.1.3.2.3.3.2.1.cmml" xref="A2.Ex36.m1.3.3.1.1.1.1.3.2.3.3.2">subscript</csymbol><ci id="A2.Ex36.m1.3.3.1.1.1.1.3.2.3.3.2.2.cmml" xref="A2.Ex36.m1.3.3.1.1.1.1.3.2.3.3.2.2">𝑎</ci><apply id="A2.Ex36.m1.3.3.1.1.1.1.3.2.3.3.2.3.cmml" xref="A2.Ex36.m1.3.3.1.1.1.1.3.2.3.3.2.3"><ci id="A2.Ex36.m1.3.3.1.1.1.1.3.2.3.3.2.3.1.cmml" xref="A2.Ex36.m1.3.3.1.1.1.1.3.2.3.3.2.3.1">:</ci><cn type="integer" id="A2.Ex36.m1.3.3.1.1.1.1.3.2.3.3.2.3.2.cmml" xref="A2.Ex36.m1.3.3.1.1.1.1.3.2.3.3.2.3.2">1</cn><ci id="A2.Ex36.m1.3.3.1.1.1.1.3.2.3.3.2.3.3.cmml" xref="A2.Ex36.m1.3.3.1.1.1.1.3.2.3.3.2.3.3">𝑇</ci></apply></apply><apply id="A2.Ex36.m1.3.3.1.1.1.1.3.2.3.3.3.cmml" xref="A2.Ex36.m1.3.3.1.1.1.1.3.2.3.3.3"><csymbol cd="ambiguous" id="A2.Ex36.m1.3.3.1.1.1.1.3.2.3.3.3.1.cmml" xref="A2.Ex36.m1.3.3.1.1.1.1.3.2.3.3.3">subscript</csymbol><ci id="A2.Ex36.m1.3.3.1.1.1.1.3.2.3.3.3.2.cmml" xref="A2.Ex36.m1.3.3.1.1.1.1.3.2.3.3.3.2">𝜋</ci><ci id="A2.Ex36.m1.3.3.1.1.1.1.3.2.3.3.3.3.cmml" xref="A2.Ex36.m1.3.3.1.1.1.1.3.2.3.3.3.3">𝜃</ci></apply></apply></apply></apply></apply><apply id="A2.Ex36.m1.3.3.1.1.1.1.1.2.cmml" xref="A2.Ex36.m1.3.3.1.1.1.1.1.1"><csymbol cd="latexml" id="A2.Ex36.m1.3.3.1.1.1.1.1.2.1.cmml" xref="A2.Ex36.m1.3.3.1.1.1.1.1.1.2">delimited-[]</csymbol><apply id="A2.Ex36.m1.3.3.1.1.1.1.1.1.1.cmml" xref="A2.Ex36.m1.3.3.1.1.1.1.1.1.1"><apply id="A2.Ex36.m1.3.3.1.1.1.1.1.1.1.3.cmml" xref="A2.Ex36.m1.3.3.1.1.1.1.1.1.1.3"><csymbol cd="ambiguous" id="A2.Ex36.m1.3.3.1.1.1.1.1.1.1.3.1.cmml" xref="A2.Ex36.m1.3.3.1.1.1.1.1.1.1.3">superscript</csymbol><apply id="A2.Ex36.m1.3.3.1.1.1.1.1.1.1.3.2.cmml" xref="A2.Ex36.m1.3.3.1.1.1.1.1.1.1.3"><csymbol cd="ambiguous" id="A2.Ex36.m1.3.3.1.1.1.1.1.1.1.3.2.1.cmml" xref="A2.Ex36.m1.3.3.1.1.1.1.1.1.1.3">subscript</csymbol><sum id="A2.Ex36.m1.3.3.1.1.1.1.1.1.1.3.2.2.cmml" xref="A2.Ex36.m1.3.3.1.1.1.1.1.1.1.3.2.2"></sum><apply id="A2.Ex36.m1.3.3.1.1.1.1.1.1.1.3.2.3.cmml" xref="A2.Ex36.m1.3.3.1.1.1.1.1.1.1.3.2.3"><eq id="A2.Ex36.m1.3.3.1.1.1.1.1.1.1.3.2.3.1.cmml" xref="A2.Ex36.m1.3.3.1.1.1.1.1.1.1.3.2.3.1"></eq><ci id="A2.Ex36.m1.3.3.1.1.1.1.1.1.1.3.2.3.2.cmml" xref="A2.Ex36.m1.3.3.1.1.1.1.1.1.1.3.2.3.2">𝑡</ci><cn type="integer" id="A2.Ex36.m1.3.3.1.1.1.1.1.1.1.3.2.3.3.cmml" xref="A2.Ex36.m1.3.3.1.1.1.1.1.1.1.3.2.3.3">1</cn></apply></apply><ci id="A2.Ex36.m1.3.3.1.1.1.1.1.1.1.3.3.cmml" xref="A2.Ex36.m1.3.3.1.1.1.1.1.1.1.3.3">𝑇</ci></apply><apply id="A2.Ex36.m1.3.3.1.1.1.1.1.1.1.2.cmml" xref="A2.Ex36.m1.3.3.1.1.1.1.1.1.1.2"><times id="A2.Ex36.m1.3.3.1.1.1.1.1.1.1.2.3.cmml" xref="A2.Ex36.m1.3.3.1.1.1.1.1.1.1.2.3"></times><ci id="A2.Ex36.m1.3.3.1.1.1.1.1.1.1.2.4.cmml" xref="A2.Ex36.m1.3.3.1.1.1.1.1.1.1.2.4">𝑟</ci><interval closure="open" id="A2.Ex36.m1.3.3.1.1.1.1.1.1.1.2.2.3.cmml" xref="A2.Ex36.m1.3.3.1.1.1.1.1.1.1.2.2.2"><apply id="A2.Ex36.m1.3.3.1.1.1.1.1.1.1.1.1.1.1.cmml" xref="A2.Ex36.m1.3.3.1.1.1.1.1.1.1.1.1.1.1"><csymbol cd="ambiguous" id="A2.Ex36.m1.3.3.1.1.1.1.1.1.1.1.1.1.1.1.cmml" xref="A2.Ex36.m1.3.3.1.1.1.1.1.1.1.1.1.1.1">subscript</csymbol><ci id="A2.Ex36.m1.3.3.1.1.1.1.1.1.1.1.1.1.1.2.cmml" xref="A2.Ex36.m1.3.3.1.1.1.1.1.1.1.1.1.1.1.2">𝑠</ci><ci id="A2.Ex36.m1.3.3.1.1.1.1.1.1.1.1.1.1.1.3.cmml" xref="A2.Ex36.m1.3.3.1.1.1.1.1.1.1.1.1.1.1.3">𝑡</ci></apply><apply id="A2.Ex36.m1.3.3.1.1.1.1.1.1.1.2.2.2.2.cmml" xref="A2.Ex36.m1.3.3.1.1.1.1.1.1.1.2.2.2.2"><csymbol cd="ambiguous" id="A2.Ex36.m1.3.3.1.1.1.1.1.1.1.2.2.2.2.1.cmml" xref="A2.Ex36.m1.3.3.1.1.1.1.1.1.1.2.2.2.2">subscript</csymbol><ci id="A2.Ex36.m1.3.3.1.1.1.1.1.1.1.2.2.2.2.2.cmml" xref="A2.Ex36.m1.3.3.1.1.1.1.1.1.1.2.2.2.2.2">𝑎</ci><ci id="A2.Ex36.m1.3.3.1.1.1.1.1.1.1.2.2.2.2.3.cmml" xref="A2.Ex36.m1.3.3.1.1.1.1.1.1.1.2.2.2.2.3">𝑡</ci></apply></interval></apply></apply></apply></apply><apply id="A2.Ex36.m1.3.3.1.1.2.2.cmml" xref="A2.Ex36.m1.3.3.1.1.2.2"><times id="A2.Ex36.m1.3.3.1.1.2.2.2.cmml" xref="A2.Ex36.m1.3.3.1.1.2.2.2"></times><apply id="A2.Ex36.m1.3.3.1.1.2.2.3.cmml" xref="A2.Ex36.m1.3.3.1.1.2.2.3"><csymbol cd="ambiguous" id="A2.Ex36.m1.3.3.1.1.2.2.3.1.cmml" xref="A2.Ex36.m1.3.3.1.1.2.2.3">subscript</csymbol><ci id="A2.Ex36.m1.3.3.1.1.2.2.3.2.cmml" xref="A2.Ex36.m1.3.3.1.1.2.2.3.2">𝔼</ci><apply id="A2.Ex36.m1.3.3.1.1.2.2.3.3.cmml" xref="A2.Ex36.m1.3.3.1.1.2.2.3.3"><csymbol cd="latexml" id="A2.Ex36.m1.3.3.1.1.2.2.3.3.1.cmml" xref="A2.Ex36.m1.3.3.1.1.2.2.3.3.1">similar-to</csymbol><ci id="A2.Ex36.m1.3.3.1.1.2.2.3.3.2.cmml" xref="A2.Ex36.m1.3.3.1.1.2.2.3.3.2">𝑥</ci><ci id="A2.Ex36.m1.3.3.1.1.2.2.3.3.3.cmml" xref="A2.Ex36.m1.3.3.1.1.2.2.3.3.3">𝜌</ci></apply></apply><apply id="A2.Ex36.m1.3.3.1.1.2.2.4.cmml" xref="A2.Ex36.m1.3.3.1.1.2.2.4"><csymbol cd="ambiguous" id="A2.Ex36.m1.3.3.1.1.2.2.4.1.cmml" xref="A2.Ex36.m1.3.3.1.1.2.2.4">subscript</csymbol><ci id="A2.Ex36.m1.3.3.1.1.2.2.4.2.cmml" xref="A2.Ex36.m1.3.3.1.1.2.2.4.2">𝔼</ci><apply id="A2.Ex36.m1.3.3.1.1.2.2.4.3.cmml" xref="A2.Ex36.m1.3.3.1.1.2.2.4.3"><csymbol cd="latexml" id="A2.Ex36.m1.3.3.1.1.2.2.4.3.1.cmml" xref="A2.Ex36.m1.3.3.1.1.2.2.4.3.1">similar-to</csymbol><apply id="A2.Ex36.m1.3.3.1.1.2.2.4.3.2.cmml" xref="A2.Ex36.m1.3.3.1.1.2.2.4.3.2"><csymbol cd="ambiguous" id="A2.Ex36.m1.3.3.1.1.2.2.4.3.2.1.cmml" xref="A2.Ex36.m1.3.3.1.1.2.2.4.3.2">subscript</csymbol><ci id="A2.Ex36.m1.3.3.1.1.2.2.4.3.2.2.cmml" xref="A2.Ex36.m1.3.3.1.1.2.2.4.3.2.2">𝑎</ci><apply id="A2.Ex36.m1.3.3.1.1.2.2.4.3.2.3.cmml" xref="A2.Ex36.m1.3.3.1.1.2.2.4.3.2.3"><ci id="A2.Ex36.m1.3.3.1.1.2.2.4.3.2.3.1.cmml" xref="A2.Ex36.m1.3.3.1.1.2.2.4.3.2.3.1">:</ci><cn type="integer" id="A2.Ex36.m1.3.3.1.1.2.2.4.3.2.3.2.cmml" xref="A2.Ex36.m1.3.3.1.1.2.2.4.3.2.3.2">1</cn><ci id="A2.Ex36.m1.3.3.1.1.2.2.4.3.2.3.3.cmml" xref="A2.Ex36.m1.3.3.1.1.2.2.4.3.2.3.3">𝑇</ci></apply></apply><apply id="A2.Ex36.m1.3.3.1.1.2.2.4.3.3.cmml" xref="A2.Ex36.m1.3.3.1.1.2.2.4.3.3"><csymbol cd="ambiguous" id="A2.Ex36.m1.3.3.1.1.2.2.4.3.3.1.cmml" xref="A2.Ex36.m1.3.3.1.1.2.2.4.3.3">subscript</csymbol><ci id="A2.Ex36.m1.3.3.1.1.2.2.4.3.3.2.cmml" xref="A2.Ex36.m1.3.3.1.1.2.2.4.3.3.2">𝜋</ci><ci id="A2.Ex36.m1.3.3.1.1.2.2.4.3.3.3.cmml" xref="A2.Ex36.m1.3.3.1.1.2.2.4.3.3.3">𝜃</ci></apply></apply></apply><set id="A2.Ex36.m1.3.3.1.1.2.2.1.2.cmml" xref="A2.Ex36.m1.3.3.1.1.2.2.1.1"><apply id="A2.Ex36.m1.3.3.1.1.2.2.1.1.1.cmml" xref="A2.Ex36.m1.3.3.1.1.2.2.1.1.1"><times id="A2.Ex36.m1.3.3.1.1.2.2.1.1.1.4.cmml" xref="A2.Ex36.m1.3.3.1.1.2.2.1.1.1.4"></times><apply id="A2.Ex36.m1.3.3.1.1.2.2.1.1.1.2.cmml" xref="A2.Ex36.m1.3.3.1.1.2.2.1.1.1.2"><times id="A2.Ex36.m1.3.3.1.1.2.2.1.1.1.2.3.cmml" xref="A2.Ex36.m1.3.3.1.1.2.2.1.1.1.2.3"></times><apply id="A2.Ex36.m1.3.3.1.1.2.2.1.1.1.2.2.3.cmml" xref="A2.Ex36.m1.3.3.1.1.2.2.1.1.1.2.2.2"><apply id="A2.Ex36.m1.3.3.1.1.2.2.1.1.1.1.1.1.1.cmml" xref="A2.Ex36.m1.3.3.1.1.2.2.1.1.1.1.1.1.1"><csymbol cd="ambiguous" id="A2.Ex36.m1.3.3.1.1.2.2.1.1.1.1.1.1.1.1.cmml" xref="A2.Ex36.m1.3.3.1.1.2.2.1.1.1.1.1.1.1">subscript</csymbol><ci id="A2.Ex36.m1.3.3.1.1.2.2.1.1.1.1.1.1.1.2.cmml" xref="A2.Ex36.m1.3.3.1.1.2.2.1.1.1.1.1.1.1.2">∇</ci><ci id="A2.Ex36.m1.3.3.1.1.2.2.1.1.1.1.1.1.1.3.cmml" xref="A2.Ex36.m1.3.3.1.1.2.2.1.1.1.1.1.1.1.3">𝜃</ci></apply><apply id="A2.Ex36.m1.3.3.1.1.2.2.1.1.1.2.2.2.2.1.cmml" xref="A2.Ex36.m1.3.3.1.1.2.2.1.1.1.2.2.2.2.1"><apply id="A2.Ex36.m1.3.3.1.1.2.2.1.1.1.2.2.2.2.1.2.cmml" xref="A2.Ex36.m1.3.3.1.1.2.2.1.1.1.2.2.2.2.1.2"><csymbol cd="ambiguous" id="A2.Ex36.m1.3.3.1.1.2.2.1.1.1.2.2.2.2.1.2.1.cmml" xref="A2.Ex36.m1.3.3.1.1.2.2.1.1.1.2.2.2.2.1.2">superscript</csymbol><apply id="A2.Ex36.m1.3.3.1.1.2.2.1.1.1.2.2.2.2.1.2.2.cmml" xref="A2.Ex36.m1.3.3.1.1.2.2.1.1.1.2.2.2.2.1.2"><csymbol cd="ambiguous" id="A2.Ex36.m1.3.3.1.1.2.2.1.1.1.2.2.2.2.1.2.2.1.cmml" xref="A2.Ex36.m1.3.3.1.1.2.2.1.1.1.2.2.2.2.1.2">subscript</csymbol><sum id="A2.Ex36.m1.3.3.1.1.2.2.1.1.1.2.2.2.2.1.2.2.2.cmml" xref="A2.Ex36.m1.3.3.1.1.2.2.1.1.1.2.2.2.2.1.2.2.2"></sum><apply id="A2.Ex36.m1.3.3.1.1.2.2.1.1.1.2.2.2.2.1.2.2.3.cmml" xref="A2.Ex36.m1.3.3.1.1.2.2.1.1.1.2.2.2.2.1.2.2.3"><eq id="A2.Ex36.m1.3.3.1.1.2.2.1.1.1.2.2.2.2.1.2.2.3.1.cmml" xref="A2.Ex36.m1.3.3.1.1.2.2.1.1.1.2.2.2.2.1.2.2.3.1"></eq><ci id="A2.Ex36.m1.3.3.1.1.2.2.1.1.1.2.2.2.2.1.2.2.3.2.cmml" xref="A2.Ex36.m1.3.3.1.1.2.2.1.1.1.2.2.2.2.1.2.2.3.2">𝑡</ci><cn type="integer" id="A2.Ex36.m1.3.3.1.1.2.2.1.1.1.2.2.2.2.1.2.2.3.3.cmml" xref="A2.Ex36.m1.3.3.1.1.2.2.1.1.1.2.2.2.2.1.2.2.3.3">1</cn></apply></apply><ci id="A2.Ex36.m1.3.3.1.1.2.2.1.1.1.2.2.2.2.1.2.3.cmml" xref="A2.Ex36.m1.3.3.1.1.2.2.1.1.1.2.2.2.2.1.2.3">𝑇</ci></apply><apply id="A2.Ex36.m1.3.3.1.1.2.2.1.1.1.2.2.2.2.1.1.cmml" xref="A2.Ex36.m1.3.3.1.1.2.2.1.1.1.2.2.2.2.1.1"><times id="A2.Ex36.m1.3.3.1.1.2.2.1.1.1.2.2.2.2.1.1.2.cmml" xref="A2.Ex36.m1.3.3.1.1.2.2.1.1.1.2.2.2.2.1.1.2"></times><apply id="A2.Ex36.m1.3.3.1.1.2.2.1.1.1.2.2.2.2.1.1.3.cmml" xref="A2.Ex36.m1.3.3.1.1.2.2.1.1.1.2.2.2.2.1.1.3"><log id="A2.Ex36.m1.3.3.1.1.2.2.1.1.1.2.2.2.2.1.1.3.1.cmml" xref="A2.Ex36.m1.3.3.1.1.2.2.1.1.1.2.2.2.2.1.1.3.1"></log><apply id="A2.Ex36.m1.3.3.1.1.2.2.1.1.1.2.2.2.2.1.1.3.2.cmml" xref="A2.Ex36.m1.3.3.1.1.2.2.1.1.1.2.2.2.2.1.1.3.2"><csymbol cd="ambiguous" id="A2.Ex36.m1.3.3.1.1.2.2.1.1.1.2.2.2.2.1.1.3.2.1.cmml" xref="A2.Ex36.m1.3.3.1.1.2.2.1.1.1.2.2.2.2.1.1.3.2">subscript</csymbol><ci id="A2.Ex36.m1.3.3.1.1.2.2.1.1.1.2.2.2.2.1.1.3.2.2.cmml" xref="A2.Ex36.m1.3.3.1.1.2.2.1.1.1.2.2.2.2.1.1.3.2.2">𝜋</ci><ci id="A2.Ex36.m1.3.3.1.1.2.2.1.1.1.2.2.2.2.1.1.3.2.3.cmml" xref="A2.Ex36.m1.3.3.1.1.2.2.1.1.1.2.2.2.2.1.1.3.2.3">𝜃</ci></apply></apply><apply id="A2.Ex36.m1.3.3.1.1.2.2.1.1.1.2.2.2.2.1.1.1.1.1.cmml" xref="A2.Ex36.m1.3.3.1.1.2.2.1.1.1.2.2.2.2.1.1.1.1"><csymbol cd="latexml" id="A2.Ex36.m1.3.3.1.1.2.2.1.1.1.2.2.2.2.1.1.1.1.1.2.cmml" xref="A2.Ex36.m1.3.3.1.1.2.2.1.1.1.2.2.2.2.1.1.1.1.1.2">conditional</csymbol><apply id="A2.Ex36.m1.3.3.1.1.2.2.1.1.1.2.2.2.2.1.1.1.1.1.3.cmml" xref="A2.Ex36.m1.3.3.1.1.2.2.1.1.1.2.2.2.2.1.1.1.1.1.3"><csymbol cd="ambiguous" id="A2.Ex36.m1.3.3.1.1.2.2.1.1.1.2.2.2.2.1.1.1.1.1.3.1.cmml" xref="A2.Ex36.m1.3.3.1.1.2.2.1.1.1.2.2.2.2.1.1.1.1.1.3">subscript</csymbol><ci id="A2.Ex36.m1.3.3.1.1.2.2.1.1.1.2.2.2.2.1.1.1.1.1.3.2.cmml" xref="A2.Ex36.m1.3.3.1.1.2.2.1.1.1.2.2.2.2.1.1.1.1.1.3.2">𝑎</ci><ci id="A2.Ex36.m1.3.3.1.1.2.2.1.1.1.2.2.2.2.1.1.1.1.1.3.3.cmml" xref="A2.Ex36.m1.3.3.1.1.2.2.1.1.1.2.2.2.2.1.1.1.1.1.3.3">𝑡</ci></apply><list id="A2.Ex36.m1.3.3.1.1.2.2.1.1.1.2.2.2.2.1.1.1.1.1.1.2.cmml" xref="A2.Ex36.m1.3.3.1.1.2.2.1.1.1.2.2.2.2.1.1.1.1.1.1.1"><ci id="A2.Ex36.m1.1.1.cmml" xref="A2.Ex36.m1.1.1">𝑥</ci><apply id="A2.Ex36.m1.3.3.1.1.2.2.1.1.1.2.2.2.2.1.1.1.1.1.1.1.1.cmml" xref="A2.Ex36.m1.3.3.1.1.2.2.1.1.1.2.2.2.2.1.1.1.1.1.1.1.1"><csymbol cd="ambiguous" id="A2.Ex36.m1.3.3.1.1.2.2.1.1.1.2.2.2.2.1.1.1.1.1.1.1.1.1.cmml" xref="A2.Ex36.m1.3.3.1.1.2.2.1.1.1.2.2.2.2.1.1.1.1.1.1.1.1">subscript</csymbol><ci id="A2.Ex36.m1.3.3.1.1.2.2.1.1.1.2.2.2.2.1.1.1.1.1.1.1.1.2.cmml" xref="A2.Ex36.m1.3.3.1.1.2.2.1.1.1.2.2.2.2.1.1.1.1.1.1.1.1.2">𝑎</ci><apply id="A2.Ex36.m1.3.3.1.1.2.2.1.1.1.2.2.2.2.1.1.1.1.1.1.1.1.3.cmml" xref="A2.Ex36.m1.3.3.1.1.2.2.1.1.1.2.2.2.2.1.1.1.1.1.1.1.1.3"><ci id="A2.Ex36.m1.3.3.1.1.2.2.1.1.1.2.2.2.2.1.1.1.1.1.1.1.1.3.1.cmml" xref="A2.Ex36.m1.3.3.1.1.2.2.1.1.1.2.2.2.2.1.1.1.1.1.1.1.1.3.1">:</ci><cn type="integer" id="A2.Ex36.m1.3.3.1.1.2.2.1.1.1.2.2.2.2.1.1.1.1.1.1.1.1.3.2.cmml" xref="A2.Ex36.m1.3.3.1.1.2.2.1.1.1.2.2.2.2.1.1.1.1.1.1.1.1.3.2">1</cn><apply id="A2.Ex36.m1.3.3.1.1.2.2.1.1.1.2.2.2.2.1.1.1.1.1.1.1.1.3.3.cmml" xref="A2.Ex36.m1.3.3.1.1.2.2.1.1.1.2.2.2.2.1.1.1.1.1.1.1.1.3.3"><minus id="A2.Ex36.m1.3.3.1.1.2.2.1.1.1.2.2.2.2.1.1.1.1.1.1.1.1.3.3.1.cmml" xref="A2.Ex36.m1.3.3.1.1.2.2.1.1.1.2.2.2.2.1.1.1.1.1.1.1.1.3.3.1"></minus><ci id="A2.Ex36.m1.3.3.1.1.2.2.1.1.1.2.2.2.2.1.1.1.1.1.1.1.1.3.3.2.cmml" xref="A2.Ex36.m1.3.3.1.1.2.2.1.1.1.2.2.2.2.1.1.1.1.1.1.1.1.3.3.2">𝑡</ci><cn type="integer" id="A2.Ex36.m1.3.3.1.1.2.2.1.1.1.2.2.2.2.1.1.1.1.1.1.1.1.3.3.3.cmml" xref="A2.Ex36.m1.3.3.1.1.2.2.1.1.1.2.2.2.2.1.1.1.1.1.1.1.1.3.3.3">1</cn></apply></apply></apply></list></apply></apply></apply></apply><ci id="A2.Ex36.m1.3.3.1.1.2.2.1.1.1.2.4.cmml" xref="A2.Ex36.m1.3.3.1.1.2.2.1.1.1.2.4">𝑟</ci></apply><interval closure="open" id="A2.Ex36.m1.3.3.1.1.2.2.1.1.1.3.2.cmml" xref="A2.Ex36.m1.3.3.1.1.2.2.1.1.1.3.1"><ci id="A2.Ex36.m1.2.2.cmml" xref="A2.Ex36.m1.2.2">𝑥</ci><apply id="A2.Ex36.m1.3.3.1.1.2.2.1.1.1.3.1.1.cmml" xref="A2.Ex36.m1.3.3.1.1.2.2.1.1.1.3.1.1"><times id="A2.Ex36.m1.3.3.1.1.2.2.1.1.1.3.1.1.1.cmml" xref="A2.Ex36.m1.3.3.1.1.2.2.1.1.1.3.1.1.1"></times><ci id="A2.Ex36.m1.3.3.1.1.2.2.1.1.1.3.1.1.2b.cmml" xref="A2.Ex36.m1.3.3.1.1.2.2.1.1.1.3.1.1.2"><merror class="ltx_ERROR undefined undefined" id="A2.Ex36.m1.3.3.1.1.2.2.1.1.1.3.1.1.2.cmml" xref="A2.Ex36.m1.3.3.1.1.2.2.1.1.1.3.1.1.2"><mtext id="A2.Ex36.m1.3.3.1.1.2.2.1.1.1.3.1.1.2a.cmml" xref="A2.Ex36.m1.3.3.1.1.2.2.1.1.1.3.1.1.2">\macc@depth</mtext></merror></ci><ci id="A2.Ex36.m1.3.3.1.1.2.2.1.1.1.3.1.1.3.cmml" xref="A2.Ex36.m1.3.3.1.1.2.2.1.1.1.3.1.1.3">Δ</ci><ci id="A2.Ex36.m1.3.3.1.1.2.2.1.1.1.3.1.1.4b.cmml" xref="A2.Ex36.m1.3.3.1.1.2.2.1.1.1.3.1.1.4"><merror class="ltx_ERROR undefined undefined" id="A2.Ex36.m1.3.3.1.1.2.2.1.1.1.3.1.1.4.cmml" xref="A2.Ex36.m1.3.3.1.1.2.2.1.1.1.3.1.1.4"><mtext id="A2.Ex36.m1.3.3.1.1.2.2.1.1.1.3.1.1.4a.cmml" xref="A2.Ex36.m1.3.3.1.1.2.2.1.1.1.3.1.1.4">\frozen@everymath</mtext></merror></ci><ci id="A2.Ex36.m1.3.3.1.1.2.2.1.1.1.3.1.1.5b.cmml" xref="A2.Ex36.m1.3.3.1.1.2.2.1.1.1.3.1.1.5"><merror class="ltx_ERROR undefined undefined" id="A2.Ex36.m1.3.3.1.1.2.2.1.1.1.3.1.1.5.cmml" xref="A2.Ex36.m1.3.3.1.1.2.2.1.1.1.3.1.1.5"><mtext id="A2.Ex36.m1.3.3.1.1.2.2.1.1.1.3.1.1.5a.cmml" xref="A2.Ex36.m1.3.3.1.1.2.2.1.1.1.3.1.1.5">\macc@group</mtext></merror></ci><ci id="A2.Ex36.m1.3.3.1.1.2.2.1.1.1.3.1.1.6b.cmml" xref="A2.Ex36.m1.3.3.1.1.2.2.1.1.1.3.1.1.6"><merror class="ltx_ERROR undefined undefined" id="A2.Ex36.m1.3.3.1.1.2.2.1.1.1.3.1.1.6.cmml" xref="A2.Ex36.m1.3.3.1.1.2.2.1.1.1.3.1.1.6"><mtext id="A2.Ex36.m1.3.3.1.1.2.2.1.1.1.3.1.1.6a.cmml" xref="A2.Ex36.m1.3.3.1.1.2.2.1.1.1.3.1.1.6">\macc@set@skewchar</mtext></merror></ci><ci id="A2.Ex36.m1.3.3.1.1.2.2.1.1.1.3.1.1.7b.cmml" xref="A2.Ex36.m1.3.3.1.1.2.2.1.1.1.3.1.1.7"><merror class="ltx_ERROR undefined undefined" id="A2.Ex36.m1.3.3.1.1.2.2.1.1.1.3.1.1.7.cmml" xref="A2.Ex36.m1.3.3.1.1.2.2.1.1.1.3.1.1.7"><mtext id="A2.Ex36.m1.3.3.1.1.2.2.1.1.1.3.1.1.7a.cmml" xref="A2.Ex36.m1.3.3.1.1.2.2.1.1.1.3.1.1.7">\macc@nested@a</mtext></merror></ci><cn type="integer" id="A2.Ex36.m1.3.3.1.1.2.2.1.1.1.3.1.1.8.cmml" xref="A2.Ex36.m1.3.3.1.1.2.2.1.1.1.3.1.1.8">111</cn><apply id="A2.Ex36.m1.3.3.1.1.2.2.1.1.1.3.1.1.9.cmml" xref="A2.Ex36.m1.3.3.1.1.2.2.1.1.1.3.1.1.9"><csymbol cd="ambiguous" id="A2.Ex36.m1.3.3.1.1.2.2.1.1.1.3.1.1.9.1.cmml" xref="A2.Ex36.m1.3.3.1.1.2.2.1.1.1.3.1.1.9">subscript</csymbol><ci id="A2.Ex36.m1.3.3.1.1.2.2.1.1.1.3.1.1.9.2.cmml" xref="A2.Ex36.m1.3.3.1.1.2.2.1.1.1.3.1.1.9.2">𝑎</ci><apply id="A2.Ex36.m1.3.3.1.1.2.2.1.1.1.3.1.1.9.3.cmml" xref="A2.Ex36.m1.3.3.1.1.2.2.1.1.1.3.1.1.9.3"><ci id="A2.Ex36.m1.3.3.1.1.2.2.1.1.1.3.1.1.9.3.1.cmml" xref="A2.Ex36.m1.3.3.1.1.2.2.1.1.1.3.1.1.9.3.1">:</ci><cn type="integer" id="A2.Ex36.m1.3.3.1.1.2.2.1.1.1.3.1.1.9.3.2.cmml" xref="A2.Ex36.m1.3.3.1.1.2.2.1.1.1.3.1.1.9.3.2">1</cn><ci id="A2.Ex36.m1.3.3.1.1.2.2.1.1.1.3.1.1.9.3.3.cmml" xref="A2.Ex36.m1.3.3.1.1.2.2.1.1.1.3.1.1.9.3.3">𝑇</ci></apply></apply></apply></interval></apply></set></apply></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="A2.Ex36.m1.3c">\displaystyle=\nabla_{\theta}\mathbb{E}_{x\sim\rho}\mathbb{E}_{a_{1:T}\sim\pi_{\theta}}\left[\sum_{t=1}^{T}r(s_{t},a_{t})\right]-\mathbb{E}_{x\sim\rho}\mathbb{E}_{{a}_{1:T}\sim{\pi}_{\theta}}\bigg{\{}\nabla_{\theta}\big{[}\sum_{t=1}^{T}\log\pi_{\theta}(a_{t}|x,a_{1:t-1})\big{]}\times r(x,\macc@depth\char 1\relax\frozen@everymath{\macc@group}\macc@set@skewchar\macc@nested@a 111{a}_{1:T})\bigg{\}}.</annotation></semantics></math></td>
<td class="ltx_eqn_cell ltx_eqn_center_padright"></td>
</tr></tbody>
</table>
</div>
<div id="A2.SS1.3.p3" class="ltx_para">
<p id="A2.SS1.3.p3.10" class="ltx_p">Then, we need to show that the second term is 0. The proof is based on the Bartlett identity <cite class="ltx_cite ltx_citemacro_citep">[Bartlett, <a href="#bib.bib3" title="" class="ltx_ref">1953</a>]</cite>:</p>
<table id="A5.EGx15" class="ltx_equationgroup ltx_eqn_align ltx_eqn_table">

<tbody id="A2.Ex37"><tr class="ltx_equation ltx_eqn_row ltx_align_baseline">
<td class="ltx_eqn_cell ltx_eqn_center_padleft"></td>
<td class="ltx_td ltx_align_right ltx_eqn_cell"><math id="A2.Ex37.m1.1" class="ltx_Math" alttext="\displaystyle\sum_{z}\nabla_{\theta}p_{\theta}(z)b" display="inline"><semantics id="A2.Ex37.m1.1a"><mrow id="A2.Ex37.m1.1.2" xref="A2.Ex37.m1.1.2.cmml"><mstyle displaystyle="true" id="A2.Ex37.m1.1.2.1" xref="A2.Ex37.m1.1.2.1.cmml"><munder id="A2.Ex37.m1.1.2.1a" xref="A2.Ex37.m1.1.2.1.cmml"><mo movablelimits="false" id="A2.Ex37.m1.1.2.1.2" xref="A2.Ex37.m1.1.2.1.2.cmml">∑</mo><mi id="A2.Ex37.m1.1.2.1.3" xref="A2.Ex37.m1.1.2.1.3.cmml">z</mi></munder></mstyle><mrow id="A2.Ex37.m1.1.2.2" xref="A2.Ex37.m1.1.2.2.cmml"><mrow id="A2.Ex37.m1.1.2.2.2" xref="A2.Ex37.m1.1.2.2.2.cmml"><msub id="A2.Ex37.m1.1.2.2.2.1" xref="A2.Ex37.m1.1.2.2.2.1.cmml"><mo lspace="0.167em" rspace="0.167em" id="A2.Ex37.m1.1.2.2.2.1.2" xref="A2.Ex37.m1.1.2.2.2.1.2.cmml">∇</mo><mi id="A2.Ex37.m1.1.2.2.2.1.3" xref="A2.Ex37.m1.1.2.2.2.1.3.cmml">θ</mi></msub><msub id="A2.Ex37.m1.1.2.2.2.2" xref="A2.Ex37.m1.1.2.2.2.2.cmml"><mi id="A2.Ex37.m1.1.2.2.2.2.2" xref="A2.Ex37.m1.1.2.2.2.2.2.cmml">p</mi><mi id="A2.Ex37.m1.1.2.2.2.2.3" xref="A2.Ex37.m1.1.2.2.2.2.3.cmml">θ</mi></msub></mrow><mo lspace="0em" rspace="0em" id="A2.Ex37.m1.1.2.2.1" xref="A2.Ex37.m1.1.2.2.1.cmml">​</mo><mrow id="A2.Ex37.m1.1.2.2.3.2" xref="A2.Ex37.m1.1.2.2.cmml"><mo stretchy="false" id="A2.Ex37.m1.1.2.2.3.2.1" xref="A2.Ex37.m1.1.2.2.cmml">(</mo><mi id="A2.Ex37.m1.1.1" xref="A2.Ex37.m1.1.1.cmml">z</mi><mo stretchy="false" id="A2.Ex37.m1.1.2.2.3.2.2" xref="A2.Ex37.m1.1.2.2.cmml">)</mo></mrow><mo lspace="0em" rspace="0em" id="A2.Ex37.m1.1.2.2.1a" xref="A2.Ex37.m1.1.2.2.1.cmml">​</mo><mi id="A2.Ex37.m1.1.2.2.4" xref="A2.Ex37.m1.1.2.2.4.cmml">b</mi></mrow></mrow><annotation-xml encoding="MathML-Content" id="A2.Ex37.m1.1b"><apply id="A2.Ex37.m1.1.2.cmml" xref="A2.Ex37.m1.1.2"><apply id="A2.Ex37.m1.1.2.1.cmml" xref="A2.Ex37.m1.1.2.1"><csymbol cd="ambiguous" id="A2.Ex37.m1.1.2.1.1.cmml" xref="A2.Ex37.m1.1.2.1">subscript</csymbol><sum id="A2.Ex37.m1.1.2.1.2.cmml" xref="A2.Ex37.m1.1.2.1.2"></sum><ci id="A2.Ex37.m1.1.2.1.3.cmml" xref="A2.Ex37.m1.1.2.1.3">𝑧</ci></apply><apply id="A2.Ex37.m1.1.2.2.cmml" xref="A2.Ex37.m1.1.2.2"><times id="A2.Ex37.m1.1.2.2.1.cmml" xref="A2.Ex37.m1.1.2.2.1"></times><apply id="A2.Ex37.m1.1.2.2.2.cmml" xref="A2.Ex37.m1.1.2.2.2"><apply id="A2.Ex37.m1.1.2.2.2.1.cmml" xref="A2.Ex37.m1.1.2.2.2.1"><csymbol cd="ambiguous" id="A2.Ex37.m1.1.2.2.2.1.1.cmml" xref="A2.Ex37.m1.1.2.2.2.1">subscript</csymbol><ci id="A2.Ex37.m1.1.2.2.2.1.2.cmml" xref="A2.Ex37.m1.1.2.2.2.1.2">∇</ci><ci id="A2.Ex37.m1.1.2.2.2.1.3.cmml" xref="A2.Ex37.m1.1.2.2.2.1.3">𝜃</ci></apply><apply id="A2.Ex37.m1.1.2.2.2.2.cmml" xref="A2.Ex37.m1.1.2.2.2.2"><csymbol cd="ambiguous" id="A2.Ex37.m1.1.2.2.2.2.1.cmml" xref="A2.Ex37.m1.1.2.2.2.2">subscript</csymbol><ci id="A2.Ex37.m1.1.2.2.2.2.2.cmml" xref="A2.Ex37.m1.1.2.2.2.2.2">𝑝</ci><ci id="A2.Ex37.m1.1.2.2.2.2.3.cmml" xref="A2.Ex37.m1.1.2.2.2.2.3">𝜃</ci></apply></apply><ci id="A2.Ex37.m1.1.1.cmml" xref="A2.Ex37.m1.1.1">𝑧</ci><ci id="A2.Ex37.m1.1.2.2.4.cmml" xref="A2.Ex37.m1.1.2.2.4">𝑏</ci></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="A2.Ex37.m1.1c">\displaystyle\sum_{z}\nabla_{\theta}p_{\theta}(z)b</annotation></semantics></math></td>
<td class="ltx_td ltx_align_left ltx_eqn_cell"><math id="A2.Ex37.m2.5" class="ltx_Math" alttext="\displaystyle=\nabla_{\theta}\left[\sum_{z}p_{\theta}(z)b\right]=\nabla_{\theta}\left[1\cdot b\right]=0" display="inline"><semantics id="A2.Ex37.m2.5a"><mrow id="A2.Ex37.m2.5.5" xref="A2.Ex37.m2.5.5.cmml"><mi id="A2.Ex37.m2.5.5.6" xref="A2.Ex37.m2.5.5.6.cmml"></mi><mo id="A2.Ex37.m2.5.5.7" xref="A2.Ex37.m2.5.5.7.cmml">=</mo><mrow id="A2.Ex37.m2.3.3.2.2" xref="A2.Ex37.m2.3.3.2.3.cmml"><msub id="A2.Ex37.m2.2.2.1.1.1" xref="A2.Ex37.m2.2.2.1.1.1.cmml"><mo id="A2.Ex37.m2.2.2.1.1.1.2" xref="A2.Ex37.m2.2.2.1.1.1.2.cmml">∇</mo><mi id="A2.Ex37.m2.2.2.1.1.1.3" xref="A2.Ex37.m2.2.2.1.1.1.3.cmml">θ</mi></msub><mrow id="A2.Ex37.m2.3.3.2.2.2" xref="A2.Ex37.m2.3.3.2.3.cmml"><mo id="A2.Ex37.m2.3.3.2.2.2.2" xref="A2.Ex37.m2.3.3.2.3.cmml">[</mo><mrow id="A2.Ex37.m2.3.3.2.2.2.1" xref="A2.Ex37.m2.3.3.2.2.2.1.cmml"><mstyle displaystyle="true" id="A2.Ex37.m2.3.3.2.2.2.1.1" xref="A2.Ex37.m2.3.3.2.2.2.1.1.cmml"><munder id="A2.Ex37.m2.3.3.2.2.2.1.1a" xref="A2.Ex37.m2.3.3.2.2.2.1.1.cmml"><mo movablelimits="false" id="A2.Ex37.m2.3.3.2.2.2.1.1.2" xref="A2.Ex37.m2.3.3.2.2.2.1.1.2.cmml">∑</mo><mi id="A2.Ex37.m2.3.3.2.2.2.1.1.3" xref="A2.Ex37.m2.3.3.2.2.2.1.1.3.cmml">z</mi></munder></mstyle><mrow id="A2.Ex37.m2.3.3.2.2.2.1.2" xref="A2.Ex37.m2.3.3.2.2.2.1.2.cmml"><msub id="A2.Ex37.m2.3.3.2.2.2.1.2.2" xref="A2.Ex37.m2.3.3.2.2.2.1.2.2.cmml"><mi id="A2.Ex37.m2.3.3.2.2.2.1.2.2.2" xref="A2.Ex37.m2.3.3.2.2.2.1.2.2.2.cmml">p</mi><mi id="A2.Ex37.m2.3.3.2.2.2.1.2.2.3" xref="A2.Ex37.m2.3.3.2.2.2.1.2.2.3.cmml">θ</mi></msub><mo lspace="0em" rspace="0em" id="A2.Ex37.m2.3.3.2.2.2.1.2.1" xref="A2.Ex37.m2.3.3.2.2.2.1.2.1.cmml">​</mo><mrow id="A2.Ex37.m2.3.3.2.2.2.1.2.3.2" xref="A2.Ex37.m2.3.3.2.2.2.1.2.cmml"><mo stretchy="false" id="A2.Ex37.m2.3.3.2.2.2.1.2.3.2.1" xref="A2.Ex37.m2.3.3.2.2.2.1.2.cmml">(</mo><mi id="A2.Ex37.m2.1.1" xref="A2.Ex37.m2.1.1.cmml">z</mi><mo stretchy="false" id="A2.Ex37.m2.3.3.2.2.2.1.2.3.2.2" xref="A2.Ex37.m2.3.3.2.2.2.1.2.cmml">)</mo></mrow><mo lspace="0em" rspace="0em" id="A2.Ex37.m2.3.3.2.2.2.1.2.1a" xref="A2.Ex37.m2.3.3.2.2.2.1.2.1.cmml">​</mo><mi id="A2.Ex37.m2.3.3.2.2.2.1.2.4" xref="A2.Ex37.m2.3.3.2.2.2.1.2.4.cmml">b</mi></mrow></mrow><mo id="A2.Ex37.m2.3.3.2.2.2.3" xref="A2.Ex37.m2.3.3.2.3.cmml">]</mo></mrow></mrow><mo id="A2.Ex37.m2.5.5.8" xref="A2.Ex37.m2.5.5.8.cmml">=</mo><mrow id="A2.Ex37.m2.5.5.4.2" xref="A2.Ex37.m2.5.5.4.3.cmml"><msub id="A2.Ex37.m2.4.4.3.1.1" xref="A2.Ex37.m2.4.4.3.1.1.cmml"><mo id="A2.Ex37.m2.4.4.3.1.1.2" xref="A2.Ex37.m2.4.4.3.1.1.2.cmml">∇</mo><mi id="A2.Ex37.m2.4.4.3.1.1.3" xref="A2.Ex37.m2.4.4.3.1.1.3.cmml">θ</mi></msub><mrow id="A2.Ex37.m2.5.5.4.2.2" xref="A2.Ex37.m2.5.5.4.3.cmml"><mo id="A2.Ex37.m2.5.5.4.2.2.2" xref="A2.Ex37.m2.5.5.4.3.cmml">[</mo><mrow id="A2.Ex37.m2.5.5.4.2.2.1" xref="A2.Ex37.m2.5.5.4.2.2.1.cmml"><mn id="A2.Ex37.m2.5.5.4.2.2.1.2" xref="A2.Ex37.m2.5.5.4.2.2.1.2.cmml">1</mn><mo lspace="0.222em" rspace="0.222em" id="A2.Ex37.m2.5.5.4.2.2.1.1" xref="A2.Ex37.m2.5.5.4.2.2.1.1.cmml">⋅</mo><mi id="A2.Ex37.m2.5.5.4.2.2.1.3" xref="A2.Ex37.m2.5.5.4.2.2.1.3.cmml">b</mi></mrow><mo id="A2.Ex37.m2.5.5.4.2.2.3" xref="A2.Ex37.m2.5.5.4.3.cmml">]</mo></mrow></mrow><mo id="A2.Ex37.m2.5.5.9" xref="A2.Ex37.m2.5.5.9.cmml">=</mo><mn id="A2.Ex37.m2.5.5.10" xref="A2.Ex37.m2.5.5.10.cmml">0</mn></mrow><annotation-xml encoding="MathML-Content" id="A2.Ex37.m2.5b"><apply id="A2.Ex37.m2.5.5.cmml" xref="A2.Ex37.m2.5.5"><and id="A2.Ex37.m2.5.5a.cmml" xref="A2.Ex37.m2.5.5"></and><apply id="A2.Ex37.m2.5.5b.cmml" xref="A2.Ex37.m2.5.5"><eq id="A2.Ex37.m2.5.5.7.cmml" xref="A2.Ex37.m2.5.5.7"></eq><csymbol cd="latexml" id="A2.Ex37.m2.5.5.6.cmml" xref="A2.Ex37.m2.5.5.6">absent</csymbol><apply id="A2.Ex37.m2.3.3.2.3.cmml" xref="A2.Ex37.m2.3.3.2.2"><apply id="A2.Ex37.m2.2.2.1.1.1.cmml" xref="A2.Ex37.m2.2.2.1.1.1"><csymbol cd="ambiguous" id="A2.Ex37.m2.2.2.1.1.1.1.cmml" xref="A2.Ex37.m2.2.2.1.1.1">subscript</csymbol><ci id="A2.Ex37.m2.2.2.1.1.1.2.cmml" xref="A2.Ex37.m2.2.2.1.1.1.2">∇</ci><ci id="A2.Ex37.m2.2.2.1.1.1.3.cmml" xref="A2.Ex37.m2.2.2.1.1.1.3">𝜃</ci></apply><apply id="A2.Ex37.m2.3.3.2.2.2.1.cmml" xref="A2.Ex37.m2.3.3.2.2.2.1"><apply id="A2.Ex37.m2.3.3.2.2.2.1.1.cmml" xref="A2.Ex37.m2.3.3.2.2.2.1.1"><csymbol cd="ambiguous" id="A2.Ex37.m2.3.3.2.2.2.1.1.1.cmml" xref="A2.Ex37.m2.3.3.2.2.2.1.1">subscript</csymbol><sum id="A2.Ex37.m2.3.3.2.2.2.1.1.2.cmml" xref="A2.Ex37.m2.3.3.2.2.2.1.1.2"></sum><ci id="A2.Ex37.m2.3.3.2.2.2.1.1.3.cmml" xref="A2.Ex37.m2.3.3.2.2.2.1.1.3">𝑧</ci></apply><apply id="A2.Ex37.m2.3.3.2.2.2.1.2.cmml" xref="A2.Ex37.m2.3.3.2.2.2.1.2"><times id="A2.Ex37.m2.3.3.2.2.2.1.2.1.cmml" xref="A2.Ex37.m2.3.3.2.2.2.1.2.1"></times><apply id="A2.Ex37.m2.3.3.2.2.2.1.2.2.cmml" xref="A2.Ex37.m2.3.3.2.2.2.1.2.2"><csymbol cd="ambiguous" id="A2.Ex37.m2.3.3.2.2.2.1.2.2.1.cmml" xref="A2.Ex37.m2.3.3.2.2.2.1.2.2">subscript</csymbol><ci id="A2.Ex37.m2.3.3.2.2.2.1.2.2.2.cmml" xref="A2.Ex37.m2.3.3.2.2.2.1.2.2.2">𝑝</ci><ci id="A2.Ex37.m2.3.3.2.2.2.1.2.2.3.cmml" xref="A2.Ex37.m2.3.3.2.2.2.1.2.2.3">𝜃</ci></apply><ci id="A2.Ex37.m2.1.1.cmml" xref="A2.Ex37.m2.1.1">𝑧</ci><ci id="A2.Ex37.m2.3.3.2.2.2.1.2.4.cmml" xref="A2.Ex37.m2.3.3.2.2.2.1.2.4">𝑏</ci></apply></apply></apply></apply><apply id="A2.Ex37.m2.5.5c.cmml" xref="A2.Ex37.m2.5.5"><eq id="A2.Ex37.m2.5.5.8.cmml" xref="A2.Ex37.m2.5.5.8"></eq><share href="#A2.Ex37.m2.3.3.2.cmml" id="A2.Ex37.m2.5.5d.cmml" xref="A2.Ex37.m2.5.5"></share><apply id="A2.Ex37.m2.5.5.4.3.cmml" xref="A2.Ex37.m2.5.5.4.2"><apply id="A2.Ex37.m2.4.4.3.1.1.cmml" xref="A2.Ex37.m2.4.4.3.1.1"><csymbol cd="ambiguous" id="A2.Ex37.m2.4.4.3.1.1.1.cmml" xref="A2.Ex37.m2.4.4.3.1.1">subscript</csymbol><ci id="A2.Ex37.m2.4.4.3.1.1.2.cmml" xref="A2.Ex37.m2.4.4.3.1.1.2">∇</ci><ci id="A2.Ex37.m2.4.4.3.1.1.3.cmml" xref="A2.Ex37.m2.4.4.3.1.1.3">𝜃</ci></apply><apply id="A2.Ex37.m2.5.5.4.2.2.1.cmml" xref="A2.Ex37.m2.5.5.4.2.2.1"><ci id="A2.Ex37.m2.5.5.4.2.2.1.1.cmml" xref="A2.Ex37.m2.5.5.4.2.2.1.1">⋅</ci><cn type="integer" id="A2.Ex37.m2.5.5.4.2.2.1.2.cmml" xref="A2.Ex37.m2.5.5.4.2.2.1.2">1</cn><ci id="A2.Ex37.m2.5.5.4.2.2.1.3.cmml" xref="A2.Ex37.m2.5.5.4.2.2.1.3">𝑏</ci></apply></apply></apply><apply id="A2.Ex37.m2.5.5e.cmml" xref="A2.Ex37.m2.5.5"><eq id="A2.Ex37.m2.5.5.9.cmml" xref="A2.Ex37.m2.5.5.9"></eq><share href="#A2.Ex37.m2.5.5.4.cmml" id="A2.Ex37.m2.5.5f.cmml" xref="A2.Ex37.m2.5.5"></share><cn type="integer" id="A2.Ex37.m2.5.5.10.cmml" xref="A2.Ex37.m2.5.5.10">0</cn></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="A2.Ex37.m2.5c">\displaystyle=\nabla_{\theta}\left[\sum_{z}p_{\theta}(z)b\right]=\nabla_{\theta}\left[1\cdot b\right]=0</annotation></semantics></math></td>
<td class="ltx_eqn_cell ltx_eqn_center_padright"></td>
</tr></tbody>
</table>
<p id="A2.SS1.3.p3.9" class="ltx_p">for any parameterized distribution <math id="A2.SS1.3.p3.1.m1.1" class="ltx_Math" alttext="p_{\theta}" display="inline"><semantics id="A2.SS1.3.p3.1.m1.1a"><msub id="A2.SS1.3.p3.1.m1.1.1" xref="A2.SS1.3.p3.1.m1.1.1.cmml"><mi id="A2.SS1.3.p3.1.m1.1.1.2" xref="A2.SS1.3.p3.1.m1.1.1.2.cmml">p</mi><mi id="A2.SS1.3.p3.1.m1.1.1.3" xref="A2.SS1.3.p3.1.m1.1.1.3.cmml">θ</mi></msub><annotation-xml encoding="MathML-Content" id="A2.SS1.3.p3.1.m1.1b"><apply id="A2.SS1.3.p3.1.m1.1.1.cmml" xref="A2.SS1.3.p3.1.m1.1.1"><csymbol cd="ambiguous" id="A2.SS1.3.p3.1.m1.1.1.1.cmml" xref="A2.SS1.3.p3.1.m1.1.1">subscript</csymbol><ci id="A2.SS1.3.p3.1.m1.1.1.2.cmml" xref="A2.SS1.3.p3.1.m1.1.1.2">𝑝</ci><ci id="A2.SS1.3.p3.1.m1.1.1.3.cmml" xref="A2.SS1.3.p3.1.m1.1.1.3">𝜃</ci></apply></annotation-xml><annotation encoding="application/x-tex" id="A2.SS1.3.p3.1.m1.1c">p_{\theta}</annotation></semantics></math> and constant <math id="A2.SS1.3.p3.2.m2.1" class="ltx_Math" alttext="b" display="inline"><semantics id="A2.SS1.3.p3.2.m2.1a"><mi id="A2.SS1.3.p3.2.m2.1.1" xref="A2.SS1.3.p3.2.m2.1.1.cmml">b</mi><annotation-xml encoding="MathML-Content" id="A2.SS1.3.p3.2.m2.1b"><ci id="A2.SS1.3.p3.2.m2.1.1.cmml" xref="A2.SS1.3.p3.2.m2.1.1">𝑏</ci></annotation-xml><annotation encoding="application/x-tex" id="A2.SS1.3.p3.2.m2.1c">b</annotation></semantics></math>. Notice that <math id="A2.SS1.3.p3.3.m3.1" class="ltx_Math" alttext="\macc@depth\char 1\relax\frozen@everymath{\macc@group}\macc@set@skewchar\macc@nested@a 111{a}_{1:T}" display="inline"><semantics id="A2.SS1.3.p3.3.m3.1a"><mrow id="A2.SS1.3.p3.3.m3.1.1" xref="A2.SS1.3.p3.3.m3.1.1.cmml"><merror class="ltx_ERROR undefined undefined" id="A2.SS1.3.p3.3.m3.1.1.2" xref="A2.SS1.3.p3.3.m3.1.1.2b.cmml"><mtext id="A2.SS1.3.p3.3.m3.1.1.2a" xref="A2.SS1.3.p3.3.m3.1.1.2b.cmml">\macc@depth</mtext></merror><mo lspace="0em" rspace="0em" id="A2.SS1.3.p3.3.m3.1.1.1" xref="A2.SS1.3.p3.3.m3.1.1.1.cmml">​</mo><mi mathvariant="normal" id="A2.SS1.3.p3.3.m3.1.1.3" xref="A2.SS1.3.p3.3.m3.1.1.3.cmml">Δ</mi><mo lspace="0em" rspace="0em" id="A2.SS1.3.p3.3.m3.1.1.1a" xref="A2.SS1.3.p3.3.m3.1.1.1.cmml">​</mo><merror class="ltx_ERROR undefined undefined" id="A2.SS1.3.p3.3.m3.1.1.4" xref="A2.SS1.3.p3.3.m3.1.1.4b.cmml"><mtext id="A2.SS1.3.p3.3.m3.1.1.4a" xref="A2.SS1.3.p3.3.m3.1.1.4b.cmml">\frozen@everymath</mtext></merror><mo lspace="0em" rspace="0em" id="A2.SS1.3.p3.3.m3.1.1.1b" xref="A2.SS1.3.p3.3.m3.1.1.1.cmml">​</mo><merror class="ltx_ERROR undefined undefined" id="A2.SS1.3.p3.3.m3.1.1.5" xref="A2.SS1.3.p3.3.m3.1.1.5b.cmml"><mtext id="A2.SS1.3.p3.3.m3.1.1.5a" xref="A2.SS1.3.p3.3.m3.1.1.5b.cmml">\macc@group</mtext></merror><mo lspace="0em" rspace="0em" id="A2.SS1.3.p3.3.m3.1.1.1c" xref="A2.SS1.3.p3.3.m3.1.1.1.cmml">​</mo><merror class="ltx_ERROR undefined undefined" id="A2.SS1.3.p3.3.m3.1.1.6" xref="A2.SS1.3.p3.3.m3.1.1.6b.cmml"><mtext id="A2.SS1.3.p3.3.m3.1.1.6a" xref="A2.SS1.3.p3.3.m3.1.1.6b.cmml">\macc@set@skewchar</mtext></merror><mo lspace="0em" rspace="0em" id="A2.SS1.3.p3.3.m3.1.1.1d" xref="A2.SS1.3.p3.3.m3.1.1.1.cmml">​</mo><merror class="ltx_ERROR undefined undefined" id="A2.SS1.3.p3.3.m3.1.1.7" xref="A2.SS1.3.p3.3.m3.1.1.7b.cmml"><mtext id="A2.SS1.3.p3.3.m3.1.1.7a" xref="A2.SS1.3.p3.3.m3.1.1.7b.cmml">\macc@nested@a</mtext></merror><mo lspace="0em" rspace="0em" id="A2.SS1.3.p3.3.m3.1.1.1e" xref="A2.SS1.3.p3.3.m3.1.1.1.cmml">​</mo><mn id="A2.SS1.3.p3.3.m3.1.1.8" xref="A2.SS1.3.p3.3.m3.1.1.8.cmml">111</mn><mo lspace="0em" rspace="0em" id="A2.SS1.3.p3.3.m3.1.1.1f" xref="A2.SS1.3.p3.3.m3.1.1.1.cmml">​</mo><msub id="A2.SS1.3.p3.3.m3.1.1.9" xref="A2.SS1.3.p3.3.m3.1.1.9.cmml"><mi id="A2.SS1.3.p3.3.m3.1.1.9.2" xref="A2.SS1.3.p3.3.m3.1.1.9.2.cmml">a</mi><mrow id="A2.SS1.3.p3.3.m3.1.1.9.3" xref="A2.SS1.3.p3.3.m3.1.1.9.3.cmml"><mn id="A2.SS1.3.p3.3.m3.1.1.9.3.2" xref="A2.SS1.3.p3.3.m3.1.1.9.3.2.cmml">1</mn><mo lspace="0.278em" rspace="0.278em" id="A2.SS1.3.p3.3.m3.1.1.9.3.1" xref="A2.SS1.3.p3.3.m3.1.1.9.3.1.cmml">:</mo><mi id="A2.SS1.3.p3.3.m3.1.1.9.3.3" xref="A2.SS1.3.p3.3.m3.1.1.9.3.3.cmml">T</mi></mrow></msub></mrow><annotation-xml encoding="MathML-Content" id="A2.SS1.3.p3.3.m3.1b"><apply id="A2.SS1.3.p3.3.m3.1.1.cmml" xref="A2.SS1.3.p3.3.m3.1.1"><times id="A2.SS1.3.p3.3.m3.1.1.1.cmml" xref="A2.SS1.3.p3.3.m3.1.1.1"></times><ci id="A2.SS1.3.p3.3.m3.1.1.2b.cmml" xref="A2.SS1.3.p3.3.m3.1.1.2"><merror class="ltx_ERROR undefined undefined" id="A2.SS1.3.p3.3.m3.1.1.2.cmml" xref="A2.SS1.3.p3.3.m3.1.1.2"><mtext id="A2.SS1.3.p3.3.m3.1.1.2a.cmml" xref="A2.SS1.3.p3.3.m3.1.1.2">\macc@depth</mtext></merror></ci><ci id="A2.SS1.3.p3.3.m3.1.1.3.cmml" xref="A2.SS1.3.p3.3.m3.1.1.3">Δ</ci><ci id="A2.SS1.3.p3.3.m3.1.1.4b.cmml" xref="A2.SS1.3.p3.3.m3.1.1.4"><merror class="ltx_ERROR undefined undefined" id="A2.SS1.3.p3.3.m3.1.1.4.cmml" xref="A2.SS1.3.p3.3.m3.1.1.4"><mtext id="A2.SS1.3.p3.3.m3.1.1.4a.cmml" xref="A2.SS1.3.p3.3.m3.1.1.4">\frozen@everymath</mtext></merror></ci><ci id="A2.SS1.3.p3.3.m3.1.1.5b.cmml" xref="A2.SS1.3.p3.3.m3.1.1.5"><merror class="ltx_ERROR undefined undefined" id="A2.SS1.3.p3.3.m3.1.1.5.cmml" xref="A2.SS1.3.p3.3.m3.1.1.5"><mtext id="A2.SS1.3.p3.3.m3.1.1.5a.cmml" xref="A2.SS1.3.p3.3.m3.1.1.5">\macc@group</mtext></merror></ci><ci id="A2.SS1.3.p3.3.m3.1.1.6b.cmml" xref="A2.SS1.3.p3.3.m3.1.1.6"><merror class="ltx_ERROR undefined undefined" id="A2.SS1.3.p3.3.m3.1.1.6.cmml" xref="A2.SS1.3.p3.3.m3.1.1.6"><mtext id="A2.SS1.3.p3.3.m3.1.1.6a.cmml" xref="A2.SS1.3.p3.3.m3.1.1.6">\macc@set@skewchar</mtext></merror></ci><ci id="A2.SS1.3.p3.3.m3.1.1.7b.cmml" xref="A2.SS1.3.p3.3.m3.1.1.7"><merror class="ltx_ERROR undefined undefined" id="A2.SS1.3.p3.3.m3.1.1.7.cmml" xref="A2.SS1.3.p3.3.m3.1.1.7"><mtext id="A2.SS1.3.p3.3.m3.1.1.7a.cmml" xref="A2.SS1.3.p3.3.m3.1.1.7">\macc@nested@a</mtext></merror></ci><cn type="integer" id="A2.SS1.3.p3.3.m3.1.1.8.cmml" xref="A2.SS1.3.p3.3.m3.1.1.8">111</cn><apply id="A2.SS1.3.p3.3.m3.1.1.9.cmml" xref="A2.SS1.3.p3.3.m3.1.1.9"><csymbol cd="ambiguous" id="A2.SS1.3.p3.3.m3.1.1.9.1.cmml" xref="A2.SS1.3.p3.3.m3.1.1.9">subscript</csymbol><ci id="A2.SS1.3.p3.3.m3.1.1.9.2.cmml" xref="A2.SS1.3.p3.3.m3.1.1.9.2">𝑎</ci><apply id="A2.SS1.3.p3.3.m3.1.1.9.3.cmml" xref="A2.SS1.3.p3.3.m3.1.1.9.3"><ci id="A2.SS1.3.p3.3.m3.1.1.9.3.1.cmml" xref="A2.SS1.3.p3.3.m3.1.1.9.3.1">:</ci><cn type="integer" id="A2.SS1.3.p3.3.m3.1.1.9.3.2.cmml" xref="A2.SS1.3.p3.3.m3.1.1.9.3.2">1</cn><ci id="A2.SS1.3.p3.3.m3.1.1.9.3.3.cmml" xref="A2.SS1.3.p3.3.m3.1.1.9.3.3">𝑇</ci></apply></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="A2.SS1.3.p3.3.m3.1c">\macc@depth\char 1\relax\frozen@everymath{\macc@group}\macc@set@skewchar\macc@nested@a 111{a}_{1:T}</annotation></semantics></math> is conditionally independent on <math id="A2.SS1.3.p3.4.m4.1" class="ltx_Math" alttext="x" display="inline"><semantics id="A2.SS1.3.p3.4.m4.1a"><mi id="A2.SS1.3.p3.4.m4.1.1" xref="A2.SS1.3.p3.4.m4.1.1.cmml">x</mi><annotation-xml encoding="MathML-Content" id="A2.SS1.3.p3.4.m4.1b"><ci id="A2.SS1.3.p3.4.m4.1.1.cmml" xref="A2.SS1.3.p3.4.m4.1.1">𝑥</ci></annotation-xml><annotation encoding="application/x-tex" id="A2.SS1.3.p3.4.m4.1c">x</annotation></semantics></math> and <math id="A2.SS1.3.p3.5.m5.1" class="ltx_Math" alttext="\theta" display="inline"><semantics id="A2.SS1.3.p3.5.m5.1a"><mi id="A2.SS1.3.p3.5.m5.1.1" xref="A2.SS1.3.p3.5.m5.1.1.cmml">θ</mi><annotation-xml encoding="MathML-Content" id="A2.SS1.3.p3.5.m5.1b"><ci id="A2.SS1.3.p3.5.m5.1.1.cmml" xref="A2.SS1.3.p3.5.m5.1.1">𝜃</ci></annotation-xml><annotation encoding="application/x-tex" id="A2.SS1.3.p3.5.m5.1c">\theta</annotation></semantics></math>, due to the greedy sampling. Thus, applying <math id="A2.SS1.3.p3.6.m6.1" class="ltx_Math" alttext="p_{\theta}" display="inline"><semantics id="A2.SS1.3.p3.6.m6.1a"><msub id="A2.SS1.3.p3.6.m6.1.1" xref="A2.SS1.3.p3.6.m6.1.1.cmml"><mi id="A2.SS1.3.p3.6.m6.1.1.2" xref="A2.SS1.3.p3.6.m6.1.1.2.cmml">p</mi><mi id="A2.SS1.3.p3.6.m6.1.1.3" xref="A2.SS1.3.p3.6.m6.1.1.3.cmml">θ</mi></msub><annotation-xml encoding="MathML-Content" id="A2.SS1.3.p3.6.m6.1b"><apply id="A2.SS1.3.p3.6.m6.1.1.cmml" xref="A2.SS1.3.p3.6.m6.1.1"><csymbol cd="ambiguous" id="A2.SS1.3.p3.6.m6.1.1.1.cmml" xref="A2.SS1.3.p3.6.m6.1.1">subscript</csymbol><ci id="A2.SS1.3.p3.6.m6.1.1.2.cmml" xref="A2.SS1.3.p3.6.m6.1.1.2">𝑝</ci><ci id="A2.SS1.3.p3.6.m6.1.1.3.cmml" xref="A2.SS1.3.p3.6.m6.1.1.3">𝜃</ci></apply></annotation-xml><annotation encoding="application/x-tex" id="A2.SS1.3.p3.6.m6.1c">p_{\theta}</annotation></semantics></math> to the the distribution <math id="A2.SS1.3.p3.7.m7.1" class="ltx_Math" alttext="\pi_{\theta}(\macc@depth\char 1\relax\frozen@everymath{\macc@group}\macc@set@skewchar\macc@nested@a 111{a}_{1:T}|x)" display="inline"><semantics id="A2.SS1.3.p3.7.m7.1a"><mrow id="A2.SS1.3.p3.7.m7.1.1" xref="A2.SS1.3.p3.7.m7.1.1.cmml"><msub id="A2.SS1.3.p3.7.m7.1.1.3" xref="A2.SS1.3.p3.7.m7.1.1.3.cmml"><mi id="A2.SS1.3.p3.7.m7.1.1.3.2" xref="A2.SS1.3.p3.7.m7.1.1.3.2.cmml">π</mi><mi id="A2.SS1.3.p3.7.m7.1.1.3.3" xref="A2.SS1.3.p3.7.m7.1.1.3.3.cmml">θ</mi></msub><mo lspace="0em" rspace="0em" id="A2.SS1.3.p3.7.m7.1.1.2" xref="A2.SS1.3.p3.7.m7.1.1.2.cmml">​</mo><mrow id="A2.SS1.3.p3.7.m7.1.1.1.1" xref="A2.SS1.3.p3.7.m7.1.1.1.1.1.cmml"><mo stretchy="false" id="A2.SS1.3.p3.7.m7.1.1.1.1.2" xref="A2.SS1.3.p3.7.m7.1.1.1.1.1.cmml">(</mo><mrow id="A2.SS1.3.p3.7.m7.1.1.1.1.1" xref="A2.SS1.3.p3.7.m7.1.1.1.1.1.cmml"><mrow id="A2.SS1.3.p3.7.m7.1.1.1.1.1.2" xref="A2.SS1.3.p3.7.m7.1.1.1.1.1.2.cmml"><merror class="ltx_ERROR undefined undefined" id="A2.SS1.3.p3.7.m7.1.1.1.1.1.2.2" xref="A2.SS1.3.p3.7.m7.1.1.1.1.1.2.2b.cmml"><mtext id="A2.SS1.3.p3.7.m7.1.1.1.1.1.2.2a" xref="A2.SS1.3.p3.7.m7.1.1.1.1.1.2.2b.cmml">\macc@depth</mtext></merror><mo lspace="0em" rspace="0em" id="A2.SS1.3.p3.7.m7.1.1.1.1.1.2.1" xref="A2.SS1.3.p3.7.m7.1.1.1.1.1.2.1.cmml">​</mo><mi mathvariant="normal" id="A2.SS1.3.p3.7.m7.1.1.1.1.1.2.3" xref="A2.SS1.3.p3.7.m7.1.1.1.1.1.2.3.cmml">Δ</mi><mo lspace="0em" rspace="0em" id="A2.SS1.3.p3.7.m7.1.1.1.1.1.2.1a" xref="A2.SS1.3.p3.7.m7.1.1.1.1.1.2.1.cmml">​</mo><merror class="ltx_ERROR undefined undefined" id="A2.SS1.3.p3.7.m7.1.1.1.1.1.2.4" xref="A2.SS1.3.p3.7.m7.1.1.1.1.1.2.4b.cmml"><mtext id="A2.SS1.3.p3.7.m7.1.1.1.1.1.2.4a" xref="A2.SS1.3.p3.7.m7.1.1.1.1.1.2.4b.cmml">\frozen@everymath</mtext></merror><mo lspace="0em" rspace="0em" id="A2.SS1.3.p3.7.m7.1.1.1.1.1.2.1b" xref="A2.SS1.3.p3.7.m7.1.1.1.1.1.2.1.cmml">​</mo><merror class="ltx_ERROR undefined undefined" id="A2.SS1.3.p3.7.m7.1.1.1.1.1.2.5" xref="A2.SS1.3.p3.7.m7.1.1.1.1.1.2.5b.cmml"><mtext id="A2.SS1.3.p3.7.m7.1.1.1.1.1.2.5a" xref="A2.SS1.3.p3.7.m7.1.1.1.1.1.2.5b.cmml">\macc@group</mtext></merror><mo lspace="0em" rspace="0em" id="A2.SS1.3.p3.7.m7.1.1.1.1.1.2.1c" xref="A2.SS1.3.p3.7.m7.1.1.1.1.1.2.1.cmml">​</mo><merror class="ltx_ERROR undefined undefined" id="A2.SS1.3.p3.7.m7.1.1.1.1.1.2.6" xref="A2.SS1.3.p3.7.m7.1.1.1.1.1.2.6b.cmml"><mtext id="A2.SS1.3.p3.7.m7.1.1.1.1.1.2.6a" xref="A2.SS1.3.p3.7.m7.1.1.1.1.1.2.6b.cmml">\macc@set@skewchar</mtext></merror><mo lspace="0em" rspace="0em" id="A2.SS1.3.p3.7.m7.1.1.1.1.1.2.1d" xref="A2.SS1.3.p3.7.m7.1.1.1.1.1.2.1.cmml">​</mo><merror class="ltx_ERROR undefined undefined" id="A2.SS1.3.p3.7.m7.1.1.1.1.1.2.7" xref="A2.SS1.3.p3.7.m7.1.1.1.1.1.2.7b.cmml"><mtext id="A2.SS1.3.p3.7.m7.1.1.1.1.1.2.7a" xref="A2.SS1.3.p3.7.m7.1.1.1.1.1.2.7b.cmml">\macc@nested@a</mtext></merror><mo lspace="0em" rspace="0em" id="A2.SS1.3.p3.7.m7.1.1.1.1.1.2.1e" xref="A2.SS1.3.p3.7.m7.1.1.1.1.1.2.1.cmml">​</mo><mn id="A2.SS1.3.p3.7.m7.1.1.1.1.1.2.8" xref="A2.SS1.3.p3.7.m7.1.1.1.1.1.2.8.cmml">111</mn><mo lspace="0em" rspace="0em" id="A2.SS1.3.p3.7.m7.1.1.1.1.1.2.1f" xref="A2.SS1.3.p3.7.m7.1.1.1.1.1.2.1.cmml">​</mo><msub id="A2.SS1.3.p3.7.m7.1.1.1.1.1.2.9" xref="A2.SS1.3.p3.7.m7.1.1.1.1.1.2.9.cmml"><mi id="A2.SS1.3.p3.7.m7.1.1.1.1.1.2.9.2" xref="A2.SS1.3.p3.7.m7.1.1.1.1.1.2.9.2.cmml">a</mi><mrow id="A2.SS1.3.p3.7.m7.1.1.1.1.1.2.9.3" xref="A2.SS1.3.p3.7.m7.1.1.1.1.1.2.9.3.cmml"><mn id="A2.SS1.3.p3.7.m7.1.1.1.1.1.2.9.3.2" xref="A2.SS1.3.p3.7.m7.1.1.1.1.1.2.9.3.2.cmml">1</mn><mo lspace="0.278em" rspace="0.278em" id="A2.SS1.3.p3.7.m7.1.1.1.1.1.2.9.3.1" xref="A2.SS1.3.p3.7.m7.1.1.1.1.1.2.9.3.1.cmml">:</mo><mi id="A2.SS1.3.p3.7.m7.1.1.1.1.1.2.9.3.3" xref="A2.SS1.3.p3.7.m7.1.1.1.1.1.2.9.3.3.cmml">T</mi></mrow></msub></mrow><mo fence="false" id="A2.SS1.3.p3.7.m7.1.1.1.1.1.1" xref="A2.SS1.3.p3.7.m7.1.1.1.1.1.1.cmml">|</mo><mi id="A2.SS1.3.p3.7.m7.1.1.1.1.1.3" xref="A2.SS1.3.p3.7.m7.1.1.1.1.1.3.cmml">x</mi></mrow><mo stretchy="false" id="A2.SS1.3.p3.7.m7.1.1.1.1.3" xref="A2.SS1.3.p3.7.m7.1.1.1.1.1.cmml">)</mo></mrow></mrow><annotation-xml encoding="MathML-Content" id="A2.SS1.3.p3.7.m7.1b"><apply id="A2.SS1.3.p3.7.m7.1.1.cmml" xref="A2.SS1.3.p3.7.m7.1.1"><times id="A2.SS1.3.p3.7.m7.1.1.2.cmml" xref="A2.SS1.3.p3.7.m7.1.1.2"></times><apply id="A2.SS1.3.p3.7.m7.1.1.3.cmml" xref="A2.SS1.3.p3.7.m7.1.1.3"><csymbol cd="ambiguous" id="A2.SS1.3.p3.7.m7.1.1.3.1.cmml" xref="A2.SS1.3.p3.7.m7.1.1.3">subscript</csymbol><ci id="A2.SS1.3.p3.7.m7.1.1.3.2.cmml" xref="A2.SS1.3.p3.7.m7.1.1.3.2">𝜋</ci><ci id="A2.SS1.3.p3.7.m7.1.1.3.3.cmml" xref="A2.SS1.3.p3.7.m7.1.1.3.3">𝜃</ci></apply><apply id="A2.SS1.3.p3.7.m7.1.1.1.1.1.cmml" xref="A2.SS1.3.p3.7.m7.1.1.1.1"><csymbol cd="latexml" id="A2.SS1.3.p3.7.m7.1.1.1.1.1.1.cmml" xref="A2.SS1.3.p3.7.m7.1.1.1.1.1.1">conditional</csymbol><apply id="A2.SS1.3.p3.7.m7.1.1.1.1.1.2.cmml" xref="A2.SS1.3.p3.7.m7.1.1.1.1.1.2"><times id="A2.SS1.3.p3.7.m7.1.1.1.1.1.2.1.cmml" xref="A2.SS1.3.p3.7.m7.1.1.1.1.1.2.1"></times><ci id="A2.SS1.3.p3.7.m7.1.1.1.1.1.2.2b.cmml" xref="A2.SS1.3.p3.7.m7.1.1.1.1.1.2.2"><merror class="ltx_ERROR undefined undefined" id="A2.SS1.3.p3.7.m7.1.1.1.1.1.2.2.cmml" xref="A2.SS1.3.p3.7.m7.1.1.1.1.1.2.2"><mtext id="A2.SS1.3.p3.7.m7.1.1.1.1.1.2.2a.cmml" xref="A2.SS1.3.p3.7.m7.1.1.1.1.1.2.2">\macc@depth</mtext></merror></ci><ci id="A2.SS1.3.p3.7.m7.1.1.1.1.1.2.3.cmml" xref="A2.SS1.3.p3.7.m7.1.1.1.1.1.2.3">Δ</ci><ci id="A2.SS1.3.p3.7.m7.1.1.1.1.1.2.4b.cmml" xref="A2.SS1.3.p3.7.m7.1.1.1.1.1.2.4"><merror class="ltx_ERROR undefined undefined" id="A2.SS1.3.p3.7.m7.1.1.1.1.1.2.4.cmml" xref="A2.SS1.3.p3.7.m7.1.1.1.1.1.2.4"><mtext id="A2.SS1.3.p3.7.m7.1.1.1.1.1.2.4a.cmml" xref="A2.SS1.3.p3.7.m7.1.1.1.1.1.2.4">\frozen@everymath</mtext></merror></ci><ci id="A2.SS1.3.p3.7.m7.1.1.1.1.1.2.5b.cmml" xref="A2.SS1.3.p3.7.m7.1.1.1.1.1.2.5"><merror class="ltx_ERROR undefined undefined" id="A2.SS1.3.p3.7.m7.1.1.1.1.1.2.5.cmml" xref="A2.SS1.3.p3.7.m7.1.1.1.1.1.2.5"><mtext id="A2.SS1.3.p3.7.m7.1.1.1.1.1.2.5a.cmml" xref="A2.SS1.3.p3.7.m7.1.1.1.1.1.2.5">\macc@group</mtext></merror></ci><ci id="A2.SS1.3.p3.7.m7.1.1.1.1.1.2.6b.cmml" xref="A2.SS1.3.p3.7.m7.1.1.1.1.1.2.6"><merror class="ltx_ERROR undefined undefined" id="A2.SS1.3.p3.7.m7.1.1.1.1.1.2.6.cmml" xref="A2.SS1.3.p3.7.m7.1.1.1.1.1.2.6"><mtext id="A2.SS1.3.p3.7.m7.1.1.1.1.1.2.6a.cmml" xref="A2.SS1.3.p3.7.m7.1.1.1.1.1.2.6">\macc@set@skewchar</mtext></merror></ci><ci id="A2.SS1.3.p3.7.m7.1.1.1.1.1.2.7b.cmml" xref="A2.SS1.3.p3.7.m7.1.1.1.1.1.2.7"><merror class="ltx_ERROR undefined undefined" id="A2.SS1.3.p3.7.m7.1.1.1.1.1.2.7.cmml" xref="A2.SS1.3.p3.7.m7.1.1.1.1.1.2.7"><mtext id="A2.SS1.3.p3.7.m7.1.1.1.1.1.2.7a.cmml" xref="A2.SS1.3.p3.7.m7.1.1.1.1.1.2.7">\macc@nested@a</mtext></merror></ci><cn type="integer" id="A2.SS1.3.p3.7.m7.1.1.1.1.1.2.8.cmml" xref="A2.SS1.3.p3.7.m7.1.1.1.1.1.2.8">111</cn><apply id="A2.SS1.3.p3.7.m7.1.1.1.1.1.2.9.cmml" xref="A2.SS1.3.p3.7.m7.1.1.1.1.1.2.9"><csymbol cd="ambiguous" id="A2.SS1.3.p3.7.m7.1.1.1.1.1.2.9.1.cmml" xref="A2.SS1.3.p3.7.m7.1.1.1.1.1.2.9">subscript</csymbol><ci id="A2.SS1.3.p3.7.m7.1.1.1.1.1.2.9.2.cmml" xref="A2.SS1.3.p3.7.m7.1.1.1.1.1.2.9.2">𝑎</ci><apply id="A2.SS1.3.p3.7.m7.1.1.1.1.1.2.9.3.cmml" xref="A2.SS1.3.p3.7.m7.1.1.1.1.1.2.9.3"><ci id="A2.SS1.3.p3.7.m7.1.1.1.1.1.2.9.3.1.cmml" xref="A2.SS1.3.p3.7.m7.1.1.1.1.1.2.9.3.1">:</ci><cn type="integer" id="A2.SS1.3.p3.7.m7.1.1.1.1.1.2.9.3.2.cmml" xref="A2.SS1.3.p3.7.m7.1.1.1.1.1.2.9.3.2">1</cn><ci id="A2.SS1.3.p3.7.m7.1.1.1.1.1.2.9.3.3.cmml" xref="A2.SS1.3.p3.7.m7.1.1.1.1.1.2.9.3.3">𝑇</ci></apply></apply></apply><ci id="A2.SS1.3.p3.7.m7.1.1.1.1.1.3.cmml" xref="A2.SS1.3.p3.7.m7.1.1.1.1.1.3">𝑥</ci></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="A2.SS1.3.p3.7.m7.1c">\pi_{\theta}(\macc@depth\char 1\relax\frozen@everymath{\macc@group}\macc@set@skewchar\macc@nested@a 111{a}_{1:T}|x)</annotation></semantics></math> and <math id="A2.SS1.3.p3.8.m8.1" class="ltx_Math" alttext="b" display="inline"><semantics id="A2.SS1.3.p3.8.m8.1a"><mi id="A2.SS1.3.p3.8.m8.1.1" xref="A2.SS1.3.p3.8.m8.1.1.cmml">b</mi><annotation-xml encoding="MathML-Content" id="A2.SS1.3.p3.8.m8.1b"><ci id="A2.SS1.3.p3.8.m8.1.1.cmml" xref="A2.SS1.3.p3.8.m8.1.1">𝑏</ci></annotation-xml><annotation encoding="application/x-tex" id="A2.SS1.3.p3.8.m8.1c">b</annotation></semantics></math> to the reward value <math id="A2.SS1.3.p3.9.m9.2" class="ltx_Math" alttext="r(x,\macc@depth\char 1\relax\frozen@everymath{\macc@group}\macc@set@skewchar\macc@nested@a 111{a}_{1:T})" display="inline"><semantics id="A2.SS1.3.p3.9.m9.2a"><mrow id="A2.SS1.3.p3.9.m9.2.2" xref="A2.SS1.3.p3.9.m9.2.2.cmml"><mi id="A2.SS1.3.p3.9.m9.2.2.3" xref="A2.SS1.3.p3.9.m9.2.2.3.cmml">r</mi><mo lspace="0em" rspace="0em" id="A2.SS1.3.p3.9.m9.2.2.2" xref="A2.SS1.3.p3.9.m9.2.2.2.cmml">​</mo><mrow id="A2.SS1.3.p3.9.m9.2.2.1.1" xref="A2.SS1.3.p3.9.m9.2.2.1.2.cmml"><mo stretchy="false" id="A2.SS1.3.p3.9.m9.2.2.1.1.2" xref="A2.SS1.3.p3.9.m9.2.2.1.2.cmml">(</mo><mi id="A2.SS1.3.p3.9.m9.1.1" xref="A2.SS1.3.p3.9.m9.1.1.cmml">x</mi><mo id="A2.SS1.3.p3.9.m9.2.2.1.1.3" xref="A2.SS1.3.p3.9.m9.2.2.1.2.cmml">,</mo><mrow id="A2.SS1.3.p3.9.m9.2.2.1.1.1" xref="A2.SS1.3.p3.9.m9.2.2.1.1.1.cmml"><merror class="ltx_ERROR undefined undefined" id="A2.SS1.3.p3.9.m9.2.2.1.1.1.2" xref="A2.SS1.3.p3.9.m9.2.2.1.1.1.2b.cmml"><mtext id="A2.SS1.3.p3.9.m9.2.2.1.1.1.2a" xref="A2.SS1.3.p3.9.m9.2.2.1.1.1.2b.cmml">\macc@depth</mtext></merror><mo lspace="0em" rspace="0em" id="A2.SS1.3.p3.9.m9.2.2.1.1.1.1" xref="A2.SS1.3.p3.9.m9.2.2.1.1.1.1.cmml">​</mo><mi mathvariant="normal" id="A2.SS1.3.p3.9.m9.2.2.1.1.1.3" xref="A2.SS1.3.p3.9.m9.2.2.1.1.1.3.cmml">Δ</mi><mo lspace="0em" rspace="0em" id="A2.SS1.3.p3.9.m9.2.2.1.1.1.1a" xref="A2.SS1.3.p3.9.m9.2.2.1.1.1.1.cmml">​</mo><merror class="ltx_ERROR undefined undefined" id="A2.SS1.3.p3.9.m9.2.2.1.1.1.4" xref="A2.SS1.3.p3.9.m9.2.2.1.1.1.4b.cmml"><mtext id="A2.SS1.3.p3.9.m9.2.2.1.1.1.4a" xref="A2.SS1.3.p3.9.m9.2.2.1.1.1.4b.cmml">\frozen@everymath</mtext></merror><mo lspace="0em" rspace="0em" id="A2.SS1.3.p3.9.m9.2.2.1.1.1.1b" xref="A2.SS1.3.p3.9.m9.2.2.1.1.1.1.cmml">​</mo><merror class="ltx_ERROR undefined undefined" id="A2.SS1.3.p3.9.m9.2.2.1.1.1.5" xref="A2.SS1.3.p3.9.m9.2.2.1.1.1.5b.cmml"><mtext id="A2.SS1.3.p3.9.m9.2.2.1.1.1.5a" xref="A2.SS1.3.p3.9.m9.2.2.1.1.1.5b.cmml">\macc@group</mtext></merror><mo lspace="0em" rspace="0em" id="A2.SS1.3.p3.9.m9.2.2.1.1.1.1c" xref="A2.SS1.3.p3.9.m9.2.2.1.1.1.1.cmml">​</mo><merror class="ltx_ERROR undefined undefined" id="A2.SS1.3.p3.9.m9.2.2.1.1.1.6" xref="A2.SS1.3.p3.9.m9.2.2.1.1.1.6b.cmml"><mtext id="A2.SS1.3.p3.9.m9.2.2.1.1.1.6a" xref="A2.SS1.3.p3.9.m9.2.2.1.1.1.6b.cmml">\macc@set@skewchar</mtext></merror><mo lspace="0em" rspace="0em" id="A2.SS1.3.p3.9.m9.2.2.1.1.1.1d" xref="A2.SS1.3.p3.9.m9.2.2.1.1.1.1.cmml">​</mo><merror class="ltx_ERROR undefined undefined" id="A2.SS1.3.p3.9.m9.2.2.1.1.1.7" xref="A2.SS1.3.p3.9.m9.2.2.1.1.1.7b.cmml"><mtext id="A2.SS1.3.p3.9.m9.2.2.1.1.1.7a" xref="A2.SS1.3.p3.9.m9.2.2.1.1.1.7b.cmml">\macc@nested@a</mtext></merror><mo lspace="0em" rspace="0em" id="A2.SS1.3.p3.9.m9.2.2.1.1.1.1e" xref="A2.SS1.3.p3.9.m9.2.2.1.1.1.1.cmml">​</mo><mn id="A2.SS1.3.p3.9.m9.2.2.1.1.1.8" xref="A2.SS1.3.p3.9.m9.2.2.1.1.1.8.cmml">111</mn><mo lspace="0em" rspace="0em" id="A2.SS1.3.p3.9.m9.2.2.1.1.1.1f" xref="A2.SS1.3.p3.9.m9.2.2.1.1.1.1.cmml">​</mo><msub id="A2.SS1.3.p3.9.m9.2.2.1.1.1.9" xref="A2.SS1.3.p3.9.m9.2.2.1.1.1.9.cmml"><mi id="A2.SS1.3.p3.9.m9.2.2.1.1.1.9.2" xref="A2.SS1.3.p3.9.m9.2.2.1.1.1.9.2.cmml">a</mi><mrow id="A2.SS1.3.p3.9.m9.2.2.1.1.1.9.3" xref="A2.SS1.3.p3.9.m9.2.2.1.1.1.9.3.cmml"><mn id="A2.SS1.3.p3.9.m9.2.2.1.1.1.9.3.2" xref="A2.SS1.3.p3.9.m9.2.2.1.1.1.9.3.2.cmml">1</mn><mo lspace="0.278em" rspace="0.278em" id="A2.SS1.3.p3.9.m9.2.2.1.1.1.9.3.1" xref="A2.SS1.3.p3.9.m9.2.2.1.1.1.9.3.1.cmml">:</mo><mi id="A2.SS1.3.p3.9.m9.2.2.1.1.1.9.3.3" xref="A2.SS1.3.p3.9.m9.2.2.1.1.1.9.3.3.cmml">T</mi></mrow></msub></mrow><mo stretchy="false" id="A2.SS1.3.p3.9.m9.2.2.1.1.4" xref="A2.SS1.3.p3.9.m9.2.2.1.2.cmml">)</mo></mrow></mrow><annotation-xml encoding="MathML-Content" id="A2.SS1.3.p3.9.m9.2b"><apply id="A2.SS1.3.p3.9.m9.2.2.cmml" xref="A2.SS1.3.p3.9.m9.2.2"><times id="A2.SS1.3.p3.9.m9.2.2.2.cmml" xref="A2.SS1.3.p3.9.m9.2.2.2"></times><ci id="A2.SS1.3.p3.9.m9.2.2.3.cmml" xref="A2.SS1.3.p3.9.m9.2.2.3">𝑟</ci><interval closure="open" id="A2.SS1.3.p3.9.m9.2.2.1.2.cmml" xref="A2.SS1.3.p3.9.m9.2.2.1.1"><ci id="A2.SS1.3.p3.9.m9.1.1.cmml" xref="A2.SS1.3.p3.9.m9.1.1">𝑥</ci><apply id="A2.SS1.3.p3.9.m9.2.2.1.1.1.cmml" xref="A2.SS1.3.p3.9.m9.2.2.1.1.1"><times id="A2.SS1.3.p3.9.m9.2.2.1.1.1.1.cmml" xref="A2.SS1.3.p3.9.m9.2.2.1.1.1.1"></times><ci id="A2.SS1.3.p3.9.m9.2.2.1.1.1.2b.cmml" xref="A2.SS1.3.p3.9.m9.2.2.1.1.1.2"><merror class="ltx_ERROR undefined undefined" id="A2.SS1.3.p3.9.m9.2.2.1.1.1.2.cmml" xref="A2.SS1.3.p3.9.m9.2.2.1.1.1.2"><mtext id="A2.SS1.3.p3.9.m9.2.2.1.1.1.2a.cmml" xref="A2.SS1.3.p3.9.m9.2.2.1.1.1.2">\macc@depth</mtext></merror></ci><ci id="A2.SS1.3.p3.9.m9.2.2.1.1.1.3.cmml" xref="A2.SS1.3.p3.9.m9.2.2.1.1.1.3">Δ</ci><ci id="A2.SS1.3.p3.9.m9.2.2.1.1.1.4b.cmml" xref="A2.SS1.3.p3.9.m9.2.2.1.1.1.4"><merror class="ltx_ERROR undefined undefined" id="A2.SS1.3.p3.9.m9.2.2.1.1.1.4.cmml" xref="A2.SS1.3.p3.9.m9.2.2.1.1.1.4"><mtext id="A2.SS1.3.p3.9.m9.2.2.1.1.1.4a.cmml" xref="A2.SS1.3.p3.9.m9.2.2.1.1.1.4">\frozen@everymath</mtext></merror></ci><ci id="A2.SS1.3.p3.9.m9.2.2.1.1.1.5b.cmml" xref="A2.SS1.3.p3.9.m9.2.2.1.1.1.5"><merror class="ltx_ERROR undefined undefined" id="A2.SS1.3.p3.9.m9.2.2.1.1.1.5.cmml" xref="A2.SS1.3.p3.9.m9.2.2.1.1.1.5"><mtext id="A2.SS1.3.p3.9.m9.2.2.1.1.1.5a.cmml" xref="A2.SS1.3.p3.9.m9.2.2.1.1.1.5">\macc@group</mtext></merror></ci><ci id="A2.SS1.3.p3.9.m9.2.2.1.1.1.6b.cmml" xref="A2.SS1.3.p3.9.m9.2.2.1.1.1.6"><merror class="ltx_ERROR undefined undefined" id="A2.SS1.3.p3.9.m9.2.2.1.1.1.6.cmml" xref="A2.SS1.3.p3.9.m9.2.2.1.1.1.6"><mtext id="A2.SS1.3.p3.9.m9.2.2.1.1.1.6a.cmml" xref="A2.SS1.3.p3.9.m9.2.2.1.1.1.6">\macc@set@skewchar</mtext></merror></ci><ci id="A2.SS1.3.p3.9.m9.2.2.1.1.1.7b.cmml" xref="A2.SS1.3.p3.9.m9.2.2.1.1.1.7"><merror class="ltx_ERROR undefined undefined" id="A2.SS1.3.p3.9.m9.2.2.1.1.1.7.cmml" xref="A2.SS1.3.p3.9.m9.2.2.1.1.1.7"><mtext id="A2.SS1.3.p3.9.m9.2.2.1.1.1.7a.cmml" xref="A2.SS1.3.p3.9.m9.2.2.1.1.1.7">\macc@nested@a</mtext></merror></ci><cn type="integer" id="A2.SS1.3.p3.9.m9.2.2.1.1.1.8.cmml" xref="A2.SS1.3.p3.9.m9.2.2.1.1.1.8">111</cn><apply id="A2.SS1.3.p3.9.m9.2.2.1.1.1.9.cmml" xref="A2.SS1.3.p3.9.m9.2.2.1.1.1.9"><csymbol cd="ambiguous" id="A2.SS1.3.p3.9.m9.2.2.1.1.1.9.1.cmml" xref="A2.SS1.3.p3.9.m9.2.2.1.1.1.9">subscript</csymbol><ci id="A2.SS1.3.p3.9.m9.2.2.1.1.1.9.2.cmml" xref="A2.SS1.3.p3.9.m9.2.2.1.1.1.9.2">𝑎</ci><apply id="A2.SS1.3.p3.9.m9.2.2.1.1.1.9.3.cmml" xref="A2.SS1.3.p3.9.m9.2.2.1.1.1.9.3"><ci id="A2.SS1.3.p3.9.m9.2.2.1.1.1.9.3.1.cmml" xref="A2.SS1.3.p3.9.m9.2.2.1.1.1.9.3.1">:</ci><cn type="integer" id="A2.SS1.3.p3.9.m9.2.2.1.1.1.9.3.2.cmml" xref="A2.SS1.3.p3.9.m9.2.2.1.1.1.9.3.2">1</cn><ci id="A2.SS1.3.p3.9.m9.2.2.1.1.1.9.3.3.cmml" xref="A2.SS1.3.p3.9.m9.2.2.1.1.1.9.3.3">𝑇</ci></apply></apply></apply></interval></apply></annotation-xml><annotation encoding="application/x-tex" id="A2.SS1.3.p3.9.m9.2c">r(x,\macc@depth\char 1\relax\frozen@everymath{\macc@group}\macc@set@skewchar\macc@nested@a 111{a}_{1:T})</annotation></semantics></math> finishes the proof.
∎</p>
</div>
</div>
</section>
<section id="A2.SS2" class="ltx_subsection">
<h3 class="ltx_title ltx_title_subsection">
<span class="ltx_tag ltx_tag_subsection">B.2 </span>Proof of Proposition <a href="#Thmprop2" title="Proposition 2. ‣ 4.2 From REINFORCE to ReMax ‣ 4 Proposed Method ‣ ReMax: A Simple, Effective, and Efficient Reinforcement Learning Method for Aligning Large Language Models" class="ltx_ref"><span class="ltx_text ltx_ref_tag">2</span></a>
</h3>

<div id="A2.SS2.1" class="ltx_proof">
<h6 class="ltx_title ltx_runin ltx_font_italic ltx_title_proof">Proof.</h6>
<div id="A2.SS2.1.p1" class="ltx_para">
<p id="A2.SS2.1.p1.7" class="ltx_p">Without loss of generality, we prove the variance reduction for a fixed <math id="A2.SS2.1.p1.1.m1.1" class="ltx_Math" alttext="x" display="inline"><semantics id="A2.SS2.1.p1.1.m1.1a"><mi id="A2.SS2.1.p1.1.m1.1.1" xref="A2.SS2.1.p1.1.m1.1.1.cmml">x</mi><annotation-xml encoding="MathML-Content" id="A2.SS2.1.p1.1.m1.1b"><ci id="A2.SS2.1.p1.1.m1.1.1.cmml" xref="A2.SS2.1.p1.1.m1.1.1">𝑥</ci></annotation-xml><annotation encoding="application/x-tex" id="A2.SS2.1.p1.1.m1.1c">x</annotation></semantics></math> and the proof actually holds true for any <math id="A2.SS2.1.p1.2.m2.1" class="ltx_Math" alttext="x" display="inline"><semantics id="A2.SS2.1.p1.2.m2.1a"><mi id="A2.SS2.1.p1.2.m2.1.1" xref="A2.SS2.1.p1.2.m2.1.1.cmml">x</mi><annotation-xml encoding="MathML-Content" id="A2.SS2.1.p1.2.m2.1b"><ci id="A2.SS2.1.p1.2.m2.1.1.cmml" xref="A2.SS2.1.p1.2.m2.1.1">𝑥</ci></annotation-xml><annotation encoding="application/x-tex" id="A2.SS2.1.p1.2.m2.1c">x</annotation></semantics></math>. Let <math id="A2.SS2.1.p1.3.m3.1" class="ltx_Math" alttext="p=\pi(a_{1}|x)" display="inline"><semantics id="A2.SS2.1.p1.3.m3.1a"><mrow id="A2.SS2.1.p1.3.m3.1.1" xref="A2.SS2.1.p1.3.m3.1.1.cmml"><mi id="A2.SS2.1.p1.3.m3.1.1.3" xref="A2.SS2.1.p1.3.m3.1.1.3.cmml">p</mi><mo id="A2.SS2.1.p1.3.m3.1.1.2" xref="A2.SS2.1.p1.3.m3.1.1.2.cmml">=</mo><mrow id="A2.SS2.1.p1.3.m3.1.1.1" xref="A2.SS2.1.p1.3.m3.1.1.1.cmml"><mi id="A2.SS2.1.p1.3.m3.1.1.1.3" xref="A2.SS2.1.p1.3.m3.1.1.1.3.cmml">π</mi><mo lspace="0em" rspace="0em" id="A2.SS2.1.p1.3.m3.1.1.1.2" xref="A2.SS2.1.p1.3.m3.1.1.1.2.cmml">​</mo><mrow id="A2.SS2.1.p1.3.m3.1.1.1.1.1" xref="A2.SS2.1.p1.3.m3.1.1.1.1.1.1.cmml"><mo stretchy="false" id="A2.SS2.1.p1.3.m3.1.1.1.1.1.2" xref="A2.SS2.1.p1.3.m3.1.1.1.1.1.1.cmml">(</mo><mrow id="A2.SS2.1.p1.3.m3.1.1.1.1.1.1" xref="A2.SS2.1.p1.3.m3.1.1.1.1.1.1.cmml"><msub id="A2.SS2.1.p1.3.m3.1.1.1.1.1.1.2" xref="A2.SS2.1.p1.3.m3.1.1.1.1.1.1.2.cmml"><mi id="A2.SS2.1.p1.3.m3.1.1.1.1.1.1.2.2" xref="A2.SS2.1.p1.3.m3.1.1.1.1.1.1.2.2.cmml">a</mi><mn id="A2.SS2.1.p1.3.m3.1.1.1.1.1.1.2.3" xref="A2.SS2.1.p1.3.m3.1.1.1.1.1.1.2.3.cmml">1</mn></msub><mo fence="false" id="A2.SS2.1.p1.3.m3.1.1.1.1.1.1.1" xref="A2.SS2.1.p1.3.m3.1.1.1.1.1.1.1.cmml">|</mo><mi id="A2.SS2.1.p1.3.m3.1.1.1.1.1.1.3" xref="A2.SS2.1.p1.3.m3.1.1.1.1.1.1.3.cmml">x</mi></mrow><mo stretchy="false" id="A2.SS2.1.p1.3.m3.1.1.1.1.1.3" xref="A2.SS2.1.p1.3.m3.1.1.1.1.1.1.cmml">)</mo></mrow></mrow></mrow><annotation-xml encoding="MathML-Content" id="A2.SS2.1.p1.3.m3.1b"><apply id="A2.SS2.1.p1.3.m3.1.1.cmml" xref="A2.SS2.1.p1.3.m3.1.1"><eq id="A2.SS2.1.p1.3.m3.1.1.2.cmml" xref="A2.SS2.1.p1.3.m3.1.1.2"></eq><ci id="A2.SS2.1.p1.3.m3.1.1.3.cmml" xref="A2.SS2.1.p1.3.m3.1.1.3">𝑝</ci><apply id="A2.SS2.1.p1.3.m3.1.1.1.cmml" xref="A2.SS2.1.p1.3.m3.1.1.1"><times id="A2.SS2.1.p1.3.m3.1.1.1.2.cmml" xref="A2.SS2.1.p1.3.m3.1.1.1.2"></times><ci id="A2.SS2.1.p1.3.m3.1.1.1.3.cmml" xref="A2.SS2.1.p1.3.m3.1.1.1.3">𝜋</ci><apply id="A2.SS2.1.p1.3.m3.1.1.1.1.1.1.cmml" xref="A2.SS2.1.p1.3.m3.1.1.1.1.1"><csymbol cd="latexml" id="A2.SS2.1.p1.3.m3.1.1.1.1.1.1.1.cmml" xref="A2.SS2.1.p1.3.m3.1.1.1.1.1.1.1">conditional</csymbol><apply id="A2.SS2.1.p1.3.m3.1.1.1.1.1.1.2.cmml" xref="A2.SS2.1.p1.3.m3.1.1.1.1.1.1.2"><csymbol cd="ambiguous" id="A2.SS2.1.p1.3.m3.1.1.1.1.1.1.2.1.cmml" xref="A2.SS2.1.p1.3.m3.1.1.1.1.1.1.2">subscript</csymbol><ci id="A2.SS2.1.p1.3.m3.1.1.1.1.1.1.2.2.cmml" xref="A2.SS2.1.p1.3.m3.1.1.1.1.1.1.2.2">𝑎</ci><cn type="integer" id="A2.SS2.1.p1.3.m3.1.1.1.1.1.1.2.3.cmml" xref="A2.SS2.1.p1.3.m3.1.1.1.1.1.1.2.3">1</cn></apply><ci id="A2.SS2.1.p1.3.m3.1.1.1.1.1.1.3.cmml" xref="A2.SS2.1.p1.3.m3.1.1.1.1.1.1.3">𝑥</ci></apply></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="A2.SS2.1.p1.3.m3.1c">p=\pi(a_{1}|x)</annotation></semantics></math> and <math id="A2.SS2.1.p1.4.m4.1" class="ltx_Math" alttext="1-p=\pi(a_{2}|x)" display="inline"><semantics id="A2.SS2.1.p1.4.m4.1a"><mrow id="A2.SS2.1.p1.4.m4.1.1" xref="A2.SS2.1.p1.4.m4.1.1.cmml"><mrow id="A2.SS2.1.p1.4.m4.1.1.3" xref="A2.SS2.1.p1.4.m4.1.1.3.cmml"><mn id="A2.SS2.1.p1.4.m4.1.1.3.2" xref="A2.SS2.1.p1.4.m4.1.1.3.2.cmml">1</mn><mo id="A2.SS2.1.p1.4.m4.1.1.3.1" xref="A2.SS2.1.p1.4.m4.1.1.3.1.cmml">−</mo><mi id="A2.SS2.1.p1.4.m4.1.1.3.3" xref="A2.SS2.1.p1.4.m4.1.1.3.3.cmml">p</mi></mrow><mo id="A2.SS2.1.p1.4.m4.1.1.2" xref="A2.SS2.1.p1.4.m4.1.1.2.cmml">=</mo><mrow id="A2.SS2.1.p1.4.m4.1.1.1" xref="A2.SS2.1.p1.4.m4.1.1.1.cmml"><mi id="A2.SS2.1.p1.4.m4.1.1.1.3" xref="A2.SS2.1.p1.4.m4.1.1.1.3.cmml">π</mi><mo lspace="0em" rspace="0em" id="A2.SS2.1.p1.4.m4.1.1.1.2" xref="A2.SS2.1.p1.4.m4.1.1.1.2.cmml">​</mo><mrow id="A2.SS2.1.p1.4.m4.1.1.1.1.1" xref="A2.SS2.1.p1.4.m4.1.1.1.1.1.1.cmml"><mo stretchy="false" id="A2.SS2.1.p1.4.m4.1.1.1.1.1.2" xref="A2.SS2.1.p1.4.m4.1.1.1.1.1.1.cmml">(</mo><mrow id="A2.SS2.1.p1.4.m4.1.1.1.1.1.1" xref="A2.SS2.1.p1.4.m4.1.1.1.1.1.1.cmml"><msub id="A2.SS2.1.p1.4.m4.1.1.1.1.1.1.2" xref="A2.SS2.1.p1.4.m4.1.1.1.1.1.1.2.cmml"><mi id="A2.SS2.1.p1.4.m4.1.1.1.1.1.1.2.2" xref="A2.SS2.1.p1.4.m4.1.1.1.1.1.1.2.2.cmml">a</mi><mn id="A2.SS2.1.p1.4.m4.1.1.1.1.1.1.2.3" xref="A2.SS2.1.p1.4.m4.1.1.1.1.1.1.2.3.cmml">2</mn></msub><mo fence="false" id="A2.SS2.1.p1.4.m4.1.1.1.1.1.1.1" xref="A2.SS2.1.p1.4.m4.1.1.1.1.1.1.1.cmml">|</mo><mi id="A2.SS2.1.p1.4.m4.1.1.1.1.1.1.3" xref="A2.SS2.1.p1.4.m4.1.1.1.1.1.1.3.cmml">x</mi></mrow><mo stretchy="false" id="A2.SS2.1.p1.4.m4.1.1.1.1.1.3" xref="A2.SS2.1.p1.4.m4.1.1.1.1.1.1.cmml">)</mo></mrow></mrow></mrow><annotation-xml encoding="MathML-Content" id="A2.SS2.1.p1.4.m4.1b"><apply id="A2.SS2.1.p1.4.m4.1.1.cmml" xref="A2.SS2.1.p1.4.m4.1.1"><eq id="A2.SS2.1.p1.4.m4.1.1.2.cmml" xref="A2.SS2.1.p1.4.m4.1.1.2"></eq><apply id="A2.SS2.1.p1.4.m4.1.1.3.cmml" xref="A2.SS2.1.p1.4.m4.1.1.3"><minus id="A2.SS2.1.p1.4.m4.1.1.3.1.cmml" xref="A2.SS2.1.p1.4.m4.1.1.3.1"></minus><cn type="integer" id="A2.SS2.1.p1.4.m4.1.1.3.2.cmml" xref="A2.SS2.1.p1.4.m4.1.1.3.2">1</cn><ci id="A2.SS2.1.p1.4.m4.1.1.3.3.cmml" xref="A2.SS2.1.p1.4.m4.1.1.3.3">𝑝</ci></apply><apply id="A2.SS2.1.p1.4.m4.1.1.1.cmml" xref="A2.SS2.1.p1.4.m4.1.1.1"><times id="A2.SS2.1.p1.4.m4.1.1.1.2.cmml" xref="A2.SS2.1.p1.4.m4.1.1.1.2"></times><ci id="A2.SS2.1.p1.4.m4.1.1.1.3.cmml" xref="A2.SS2.1.p1.4.m4.1.1.1.3">𝜋</ci><apply id="A2.SS2.1.p1.4.m4.1.1.1.1.1.1.cmml" xref="A2.SS2.1.p1.4.m4.1.1.1.1.1"><csymbol cd="latexml" id="A2.SS2.1.p1.4.m4.1.1.1.1.1.1.1.cmml" xref="A2.SS2.1.p1.4.m4.1.1.1.1.1.1.1">conditional</csymbol><apply id="A2.SS2.1.p1.4.m4.1.1.1.1.1.1.2.cmml" xref="A2.SS2.1.p1.4.m4.1.1.1.1.1.1.2"><csymbol cd="ambiguous" id="A2.SS2.1.p1.4.m4.1.1.1.1.1.1.2.1.cmml" xref="A2.SS2.1.p1.4.m4.1.1.1.1.1.1.2">subscript</csymbol><ci id="A2.SS2.1.p1.4.m4.1.1.1.1.1.1.2.2.cmml" xref="A2.SS2.1.p1.4.m4.1.1.1.1.1.1.2.2">𝑎</ci><cn type="integer" id="A2.SS2.1.p1.4.m4.1.1.1.1.1.1.2.3.cmml" xref="A2.SS2.1.p1.4.m4.1.1.1.1.1.1.2.3">2</cn></apply><ci id="A2.SS2.1.p1.4.m4.1.1.1.1.1.1.3.cmml" xref="A2.SS2.1.p1.4.m4.1.1.1.1.1.1.3">𝑥</ci></apply></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="A2.SS2.1.p1.4.m4.1c">1-p=\pi(a_{2}|x)</annotation></semantics></math>. Furthermore, let <math id="A2.SS2.1.p1.5.m5.2" class="ltx_Math" alttext="r_{1}=r(x,a_{1})" display="inline"><semantics id="A2.SS2.1.p1.5.m5.2a"><mrow id="A2.SS2.1.p1.5.m5.2.2" xref="A2.SS2.1.p1.5.m5.2.2.cmml"><msub id="A2.SS2.1.p1.5.m5.2.2.3" xref="A2.SS2.1.p1.5.m5.2.2.3.cmml"><mi id="A2.SS2.1.p1.5.m5.2.2.3.2" xref="A2.SS2.1.p1.5.m5.2.2.3.2.cmml">r</mi><mn id="A2.SS2.1.p1.5.m5.2.2.3.3" xref="A2.SS2.1.p1.5.m5.2.2.3.3.cmml">1</mn></msub><mo id="A2.SS2.1.p1.5.m5.2.2.2" xref="A2.SS2.1.p1.5.m5.2.2.2.cmml">=</mo><mrow id="A2.SS2.1.p1.5.m5.2.2.1" xref="A2.SS2.1.p1.5.m5.2.2.1.cmml"><mi id="A2.SS2.1.p1.5.m5.2.2.1.3" xref="A2.SS2.1.p1.5.m5.2.2.1.3.cmml">r</mi><mo lspace="0em" rspace="0em" id="A2.SS2.1.p1.5.m5.2.2.1.2" xref="A2.SS2.1.p1.5.m5.2.2.1.2.cmml">​</mo><mrow id="A2.SS2.1.p1.5.m5.2.2.1.1.1" xref="A2.SS2.1.p1.5.m5.2.2.1.1.2.cmml"><mo stretchy="false" id="A2.SS2.1.p1.5.m5.2.2.1.1.1.2" xref="A2.SS2.1.p1.5.m5.2.2.1.1.2.cmml">(</mo><mi id="A2.SS2.1.p1.5.m5.1.1" xref="A2.SS2.1.p1.5.m5.1.1.cmml">x</mi><mo id="A2.SS2.1.p1.5.m5.2.2.1.1.1.3" xref="A2.SS2.1.p1.5.m5.2.2.1.1.2.cmml">,</mo><msub id="A2.SS2.1.p1.5.m5.2.2.1.1.1.1" xref="A2.SS2.1.p1.5.m5.2.2.1.1.1.1.cmml"><mi id="A2.SS2.1.p1.5.m5.2.2.1.1.1.1.2" xref="A2.SS2.1.p1.5.m5.2.2.1.1.1.1.2.cmml">a</mi><mn id="A2.SS2.1.p1.5.m5.2.2.1.1.1.1.3" xref="A2.SS2.1.p1.5.m5.2.2.1.1.1.1.3.cmml">1</mn></msub><mo stretchy="false" id="A2.SS2.1.p1.5.m5.2.2.1.1.1.4" xref="A2.SS2.1.p1.5.m5.2.2.1.1.2.cmml">)</mo></mrow></mrow></mrow><annotation-xml encoding="MathML-Content" id="A2.SS2.1.p1.5.m5.2b"><apply id="A2.SS2.1.p1.5.m5.2.2.cmml" xref="A2.SS2.1.p1.5.m5.2.2"><eq id="A2.SS2.1.p1.5.m5.2.2.2.cmml" xref="A2.SS2.1.p1.5.m5.2.2.2"></eq><apply id="A2.SS2.1.p1.5.m5.2.2.3.cmml" xref="A2.SS2.1.p1.5.m5.2.2.3"><csymbol cd="ambiguous" id="A2.SS2.1.p1.5.m5.2.2.3.1.cmml" xref="A2.SS2.1.p1.5.m5.2.2.3">subscript</csymbol><ci id="A2.SS2.1.p1.5.m5.2.2.3.2.cmml" xref="A2.SS2.1.p1.5.m5.2.2.3.2">𝑟</ci><cn type="integer" id="A2.SS2.1.p1.5.m5.2.2.3.3.cmml" xref="A2.SS2.1.p1.5.m5.2.2.3.3">1</cn></apply><apply id="A2.SS2.1.p1.5.m5.2.2.1.cmml" xref="A2.SS2.1.p1.5.m5.2.2.1"><times id="A2.SS2.1.p1.5.m5.2.2.1.2.cmml" xref="A2.SS2.1.p1.5.m5.2.2.1.2"></times><ci id="A2.SS2.1.p1.5.m5.2.2.1.3.cmml" xref="A2.SS2.1.p1.5.m5.2.2.1.3">𝑟</ci><interval closure="open" id="A2.SS2.1.p1.5.m5.2.2.1.1.2.cmml" xref="A2.SS2.1.p1.5.m5.2.2.1.1.1"><ci id="A2.SS2.1.p1.5.m5.1.1.cmml" xref="A2.SS2.1.p1.5.m5.1.1">𝑥</ci><apply id="A2.SS2.1.p1.5.m5.2.2.1.1.1.1.cmml" xref="A2.SS2.1.p1.5.m5.2.2.1.1.1.1"><csymbol cd="ambiguous" id="A2.SS2.1.p1.5.m5.2.2.1.1.1.1.1.cmml" xref="A2.SS2.1.p1.5.m5.2.2.1.1.1.1">subscript</csymbol><ci id="A2.SS2.1.p1.5.m5.2.2.1.1.1.1.2.cmml" xref="A2.SS2.1.p1.5.m5.2.2.1.1.1.1.2">𝑎</ci><cn type="integer" id="A2.SS2.1.p1.5.m5.2.2.1.1.1.1.3.cmml" xref="A2.SS2.1.p1.5.m5.2.2.1.1.1.1.3">1</cn></apply></interval></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="A2.SS2.1.p1.5.m5.2c">r_{1}=r(x,a_{1})</annotation></semantics></math> and <math id="A2.SS2.1.p1.6.m6.2" class="ltx_Math" alttext="r_{2}=r(x,a_{2})" display="inline"><semantics id="A2.SS2.1.p1.6.m6.2a"><mrow id="A2.SS2.1.p1.6.m6.2.2" xref="A2.SS2.1.p1.6.m6.2.2.cmml"><msub id="A2.SS2.1.p1.6.m6.2.2.3" xref="A2.SS2.1.p1.6.m6.2.2.3.cmml"><mi id="A2.SS2.1.p1.6.m6.2.2.3.2" xref="A2.SS2.1.p1.6.m6.2.2.3.2.cmml">r</mi><mn id="A2.SS2.1.p1.6.m6.2.2.3.3" xref="A2.SS2.1.p1.6.m6.2.2.3.3.cmml">2</mn></msub><mo id="A2.SS2.1.p1.6.m6.2.2.2" xref="A2.SS2.1.p1.6.m6.2.2.2.cmml">=</mo><mrow id="A2.SS2.1.p1.6.m6.2.2.1" xref="A2.SS2.1.p1.6.m6.2.2.1.cmml"><mi id="A2.SS2.1.p1.6.m6.2.2.1.3" xref="A2.SS2.1.p1.6.m6.2.2.1.3.cmml">r</mi><mo lspace="0em" rspace="0em" id="A2.SS2.1.p1.6.m6.2.2.1.2" xref="A2.SS2.1.p1.6.m6.2.2.1.2.cmml">​</mo><mrow id="A2.SS2.1.p1.6.m6.2.2.1.1.1" xref="A2.SS2.1.p1.6.m6.2.2.1.1.2.cmml"><mo stretchy="false" id="A2.SS2.1.p1.6.m6.2.2.1.1.1.2" xref="A2.SS2.1.p1.6.m6.2.2.1.1.2.cmml">(</mo><mi id="A2.SS2.1.p1.6.m6.1.1" xref="A2.SS2.1.p1.6.m6.1.1.cmml">x</mi><mo id="A2.SS2.1.p1.6.m6.2.2.1.1.1.3" xref="A2.SS2.1.p1.6.m6.2.2.1.1.2.cmml">,</mo><msub id="A2.SS2.1.p1.6.m6.2.2.1.1.1.1" xref="A2.SS2.1.p1.6.m6.2.2.1.1.1.1.cmml"><mi id="A2.SS2.1.p1.6.m6.2.2.1.1.1.1.2" xref="A2.SS2.1.p1.6.m6.2.2.1.1.1.1.2.cmml">a</mi><mn id="A2.SS2.1.p1.6.m6.2.2.1.1.1.1.3" xref="A2.SS2.1.p1.6.m6.2.2.1.1.1.1.3.cmml">2</mn></msub><mo stretchy="false" id="A2.SS2.1.p1.6.m6.2.2.1.1.1.4" xref="A2.SS2.1.p1.6.m6.2.2.1.1.2.cmml">)</mo></mrow></mrow></mrow><annotation-xml encoding="MathML-Content" id="A2.SS2.1.p1.6.m6.2b"><apply id="A2.SS2.1.p1.6.m6.2.2.cmml" xref="A2.SS2.1.p1.6.m6.2.2"><eq id="A2.SS2.1.p1.6.m6.2.2.2.cmml" xref="A2.SS2.1.p1.6.m6.2.2.2"></eq><apply id="A2.SS2.1.p1.6.m6.2.2.3.cmml" xref="A2.SS2.1.p1.6.m6.2.2.3"><csymbol cd="ambiguous" id="A2.SS2.1.p1.6.m6.2.2.3.1.cmml" xref="A2.SS2.1.p1.6.m6.2.2.3">subscript</csymbol><ci id="A2.SS2.1.p1.6.m6.2.2.3.2.cmml" xref="A2.SS2.1.p1.6.m6.2.2.3.2">𝑟</ci><cn type="integer" id="A2.SS2.1.p1.6.m6.2.2.3.3.cmml" xref="A2.SS2.1.p1.6.m6.2.2.3.3">2</cn></apply><apply id="A2.SS2.1.p1.6.m6.2.2.1.cmml" xref="A2.SS2.1.p1.6.m6.2.2.1"><times id="A2.SS2.1.p1.6.m6.2.2.1.2.cmml" xref="A2.SS2.1.p1.6.m6.2.2.1.2"></times><ci id="A2.SS2.1.p1.6.m6.2.2.1.3.cmml" xref="A2.SS2.1.p1.6.m6.2.2.1.3">𝑟</ci><interval closure="open" id="A2.SS2.1.p1.6.m6.2.2.1.1.2.cmml" xref="A2.SS2.1.p1.6.m6.2.2.1.1.1"><ci id="A2.SS2.1.p1.6.m6.1.1.cmml" xref="A2.SS2.1.p1.6.m6.1.1">𝑥</ci><apply id="A2.SS2.1.p1.6.m6.2.2.1.1.1.1.cmml" xref="A2.SS2.1.p1.6.m6.2.2.1.1.1.1"><csymbol cd="ambiguous" id="A2.SS2.1.p1.6.m6.2.2.1.1.1.1.1.cmml" xref="A2.SS2.1.p1.6.m6.2.2.1.1.1.1">subscript</csymbol><ci id="A2.SS2.1.p1.6.m6.2.2.1.1.1.1.2.cmml" xref="A2.SS2.1.p1.6.m6.2.2.1.1.1.1.2">𝑎</ci><cn type="integer" id="A2.SS2.1.p1.6.m6.2.2.1.1.1.1.3.cmml" xref="A2.SS2.1.p1.6.m6.2.2.1.1.1.1.3">2</cn></apply></interval></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="A2.SS2.1.p1.6.m6.2c">r_{2}=r(x,a_{2})</annotation></semantics></math>. By the parameterization <math id="A2.SS2.1.p1.7.m7.9" class="ltx_Math" alttext="\pi_{\theta}(a|x)=\exp(\theta_{x,a})/\sum_{a^{\prime}}\exp(\theta_{x,a^{\prime}})" display="inline"><semantics id="A2.SS2.1.p1.7.m7.9a"><mrow id="A2.SS2.1.p1.7.m7.9.9" xref="A2.SS2.1.p1.7.m7.9.9.cmml"><mrow id="A2.SS2.1.p1.7.m7.7.7.1" xref="A2.SS2.1.p1.7.m7.7.7.1.cmml"><msub id="A2.SS2.1.p1.7.m7.7.7.1.3" xref="A2.SS2.1.p1.7.m7.7.7.1.3.cmml"><mi id="A2.SS2.1.p1.7.m7.7.7.1.3.2" xref="A2.SS2.1.p1.7.m7.7.7.1.3.2.cmml">π</mi><mi id="A2.SS2.1.p1.7.m7.7.7.1.3.3" xref="A2.SS2.1.p1.7.m7.7.7.1.3.3.cmml">θ</mi></msub><mo lspace="0em" rspace="0em" id="A2.SS2.1.p1.7.m7.7.7.1.2" xref="A2.SS2.1.p1.7.m7.7.7.1.2.cmml">​</mo><mrow id="A2.SS2.1.p1.7.m7.7.7.1.1.1" xref="A2.SS2.1.p1.7.m7.7.7.1.1.1.1.cmml"><mo stretchy="false" id="A2.SS2.1.p1.7.m7.7.7.1.1.1.2" xref="A2.SS2.1.p1.7.m7.7.7.1.1.1.1.cmml">(</mo><mrow id="A2.SS2.1.p1.7.m7.7.7.1.1.1.1" xref="A2.SS2.1.p1.7.m7.7.7.1.1.1.1.cmml"><mi id="A2.SS2.1.p1.7.m7.7.7.1.1.1.1.2" xref="A2.SS2.1.p1.7.m7.7.7.1.1.1.1.2.cmml">a</mi><mo fence="false" id="A2.SS2.1.p1.7.m7.7.7.1.1.1.1.1" xref="A2.SS2.1.p1.7.m7.7.7.1.1.1.1.1.cmml">|</mo><mi id="A2.SS2.1.p1.7.m7.7.7.1.1.1.1.3" xref="A2.SS2.1.p1.7.m7.7.7.1.1.1.1.3.cmml">x</mi></mrow><mo stretchy="false" id="A2.SS2.1.p1.7.m7.7.7.1.1.1.3" xref="A2.SS2.1.p1.7.m7.7.7.1.1.1.1.cmml">)</mo></mrow></mrow><mo id="A2.SS2.1.p1.7.m7.9.9.4" xref="A2.SS2.1.p1.7.m7.9.9.4.cmml">=</mo><mrow id="A2.SS2.1.p1.7.m7.9.9.3" xref="A2.SS2.1.p1.7.m7.9.9.3.cmml"><mrow id="A2.SS2.1.p1.7.m7.8.8.2.1.1" xref="A2.SS2.1.p1.7.m7.8.8.2.1.2.cmml"><mi id="A2.SS2.1.p1.7.m7.5.5" xref="A2.SS2.1.p1.7.m7.5.5.cmml">exp</mi><mo id="A2.SS2.1.p1.7.m7.8.8.2.1.1a" xref="A2.SS2.1.p1.7.m7.8.8.2.1.2.cmml">⁡</mo><mrow id="A2.SS2.1.p1.7.m7.8.8.2.1.1.1" xref="A2.SS2.1.p1.7.m7.8.8.2.1.2.cmml"><mo stretchy="false" id="A2.SS2.1.p1.7.m7.8.8.2.1.1.1.2" xref="A2.SS2.1.p1.7.m7.8.8.2.1.2.cmml">(</mo><msub id="A2.SS2.1.p1.7.m7.8.8.2.1.1.1.1" xref="A2.SS2.1.p1.7.m7.8.8.2.1.1.1.1.cmml"><mi id="A2.SS2.1.p1.7.m7.8.8.2.1.1.1.1.2" xref="A2.SS2.1.p1.7.m7.8.8.2.1.1.1.1.2.cmml">θ</mi><mrow id="A2.SS2.1.p1.7.m7.2.2.2.4" xref="A2.SS2.1.p1.7.m7.2.2.2.3.cmml"><mi id="A2.SS2.1.p1.7.m7.1.1.1.1" xref="A2.SS2.1.p1.7.m7.1.1.1.1.cmml">x</mi><mo id="A2.SS2.1.p1.7.m7.2.2.2.4.1" xref="A2.SS2.1.p1.7.m7.2.2.2.3.cmml">,</mo><mi id="A2.SS2.1.p1.7.m7.2.2.2.2" xref="A2.SS2.1.p1.7.m7.2.2.2.2.cmml">a</mi></mrow></msub><mo stretchy="false" id="A2.SS2.1.p1.7.m7.8.8.2.1.1.1.3" xref="A2.SS2.1.p1.7.m7.8.8.2.1.2.cmml">)</mo></mrow></mrow><mo rspace="0.055em" id="A2.SS2.1.p1.7.m7.9.9.3.3" xref="A2.SS2.1.p1.7.m7.9.9.3.3.cmml">/</mo><mrow id="A2.SS2.1.p1.7.m7.9.9.3.2" xref="A2.SS2.1.p1.7.m7.9.9.3.2.cmml"><msub id="A2.SS2.1.p1.7.m7.9.9.3.2.2" xref="A2.SS2.1.p1.7.m7.9.9.3.2.2.cmml"><mo id="A2.SS2.1.p1.7.m7.9.9.3.2.2.2" xref="A2.SS2.1.p1.7.m7.9.9.3.2.2.2.cmml">∑</mo><msup id="A2.SS2.1.p1.7.m7.9.9.3.2.2.3" xref="A2.SS2.1.p1.7.m7.9.9.3.2.2.3.cmml"><mi id="A2.SS2.1.p1.7.m7.9.9.3.2.2.3.2" xref="A2.SS2.1.p1.7.m7.9.9.3.2.2.3.2.cmml">a</mi><mo id="A2.SS2.1.p1.7.m7.9.9.3.2.2.3.3" xref="A2.SS2.1.p1.7.m7.9.9.3.2.2.3.3.cmml">′</mo></msup></msub><mrow id="A2.SS2.1.p1.7.m7.9.9.3.2.1.1" xref="A2.SS2.1.p1.7.m7.9.9.3.2.1.2.cmml"><mi id="A2.SS2.1.p1.7.m7.6.6" xref="A2.SS2.1.p1.7.m7.6.6.cmml">exp</mi><mo id="A2.SS2.1.p1.7.m7.9.9.3.2.1.1a" xref="A2.SS2.1.p1.7.m7.9.9.3.2.1.2.cmml">⁡</mo><mrow id="A2.SS2.1.p1.7.m7.9.9.3.2.1.1.1" xref="A2.SS2.1.p1.7.m7.9.9.3.2.1.2.cmml"><mo stretchy="false" id="A2.SS2.1.p1.7.m7.9.9.3.2.1.1.1.2" xref="A2.SS2.1.p1.7.m7.9.9.3.2.1.2.cmml">(</mo><msub id="A2.SS2.1.p1.7.m7.9.9.3.2.1.1.1.1" xref="A2.SS2.1.p1.7.m7.9.9.3.2.1.1.1.1.cmml"><mi id="A2.SS2.1.p1.7.m7.9.9.3.2.1.1.1.1.2" xref="A2.SS2.1.p1.7.m7.9.9.3.2.1.1.1.1.2.cmml">θ</mi><mrow id="A2.SS2.1.p1.7.m7.4.4.2.2" xref="A2.SS2.1.p1.7.m7.4.4.2.3.cmml"><mi id="A2.SS2.1.p1.7.m7.3.3.1.1" xref="A2.SS2.1.p1.7.m7.3.3.1.1.cmml">x</mi><mo id="A2.SS2.1.p1.7.m7.4.4.2.2.2" xref="A2.SS2.1.p1.7.m7.4.4.2.3.cmml">,</mo><msup id="A2.SS2.1.p1.7.m7.4.4.2.2.1" xref="A2.SS2.1.p1.7.m7.4.4.2.2.1.cmml"><mi id="A2.SS2.1.p1.7.m7.4.4.2.2.1.2" xref="A2.SS2.1.p1.7.m7.4.4.2.2.1.2.cmml">a</mi><mo id="A2.SS2.1.p1.7.m7.4.4.2.2.1.3" xref="A2.SS2.1.p1.7.m7.4.4.2.2.1.3.cmml">′</mo></msup></mrow></msub><mo stretchy="false" id="A2.SS2.1.p1.7.m7.9.9.3.2.1.1.1.3" xref="A2.SS2.1.p1.7.m7.9.9.3.2.1.2.cmml">)</mo></mrow></mrow></mrow></mrow></mrow><annotation-xml encoding="MathML-Content" id="A2.SS2.1.p1.7.m7.9b"><apply id="A2.SS2.1.p1.7.m7.9.9.cmml" xref="A2.SS2.1.p1.7.m7.9.9"><eq id="A2.SS2.1.p1.7.m7.9.9.4.cmml" xref="A2.SS2.1.p1.7.m7.9.9.4"></eq><apply id="A2.SS2.1.p1.7.m7.7.7.1.cmml" xref="A2.SS2.1.p1.7.m7.7.7.1"><times id="A2.SS2.1.p1.7.m7.7.7.1.2.cmml" xref="A2.SS2.1.p1.7.m7.7.7.1.2"></times><apply id="A2.SS2.1.p1.7.m7.7.7.1.3.cmml" xref="A2.SS2.1.p1.7.m7.7.7.1.3"><csymbol cd="ambiguous" id="A2.SS2.1.p1.7.m7.7.7.1.3.1.cmml" xref="A2.SS2.1.p1.7.m7.7.7.1.3">subscript</csymbol><ci id="A2.SS2.1.p1.7.m7.7.7.1.3.2.cmml" xref="A2.SS2.1.p1.7.m7.7.7.1.3.2">𝜋</ci><ci id="A2.SS2.1.p1.7.m7.7.7.1.3.3.cmml" xref="A2.SS2.1.p1.7.m7.7.7.1.3.3">𝜃</ci></apply><apply id="A2.SS2.1.p1.7.m7.7.7.1.1.1.1.cmml" xref="A2.SS2.1.p1.7.m7.7.7.1.1.1"><csymbol cd="latexml" id="A2.SS2.1.p1.7.m7.7.7.1.1.1.1.1.cmml" xref="A2.SS2.1.p1.7.m7.7.7.1.1.1.1.1">conditional</csymbol><ci id="A2.SS2.1.p1.7.m7.7.7.1.1.1.1.2.cmml" xref="A2.SS2.1.p1.7.m7.7.7.1.1.1.1.2">𝑎</ci><ci id="A2.SS2.1.p1.7.m7.7.7.1.1.1.1.3.cmml" xref="A2.SS2.1.p1.7.m7.7.7.1.1.1.1.3">𝑥</ci></apply></apply><apply id="A2.SS2.1.p1.7.m7.9.9.3.cmml" xref="A2.SS2.1.p1.7.m7.9.9.3"><divide id="A2.SS2.1.p1.7.m7.9.9.3.3.cmml" xref="A2.SS2.1.p1.7.m7.9.9.3.3"></divide><apply id="A2.SS2.1.p1.7.m7.8.8.2.1.2.cmml" xref="A2.SS2.1.p1.7.m7.8.8.2.1.1"><exp id="A2.SS2.1.p1.7.m7.5.5.cmml" xref="A2.SS2.1.p1.7.m7.5.5"></exp><apply id="A2.SS2.1.p1.7.m7.8.8.2.1.1.1.1.cmml" xref="A2.SS2.1.p1.7.m7.8.8.2.1.1.1.1"><csymbol cd="ambiguous" id="A2.SS2.1.p1.7.m7.8.8.2.1.1.1.1.1.cmml" xref="A2.SS2.1.p1.7.m7.8.8.2.1.1.1.1">subscript</csymbol><ci id="A2.SS2.1.p1.7.m7.8.8.2.1.1.1.1.2.cmml" xref="A2.SS2.1.p1.7.m7.8.8.2.1.1.1.1.2">𝜃</ci><list id="A2.SS2.1.p1.7.m7.2.2.2.3.cmml" xref="A2.SS2.1.p1.7.m7.2.2.2.4"><ci id="A2.SS2.1.p1.7.m7.1.1.1.1.cmml" xref="A2.SS2.1.p1.7.m7.1.1.1.1">𝑥</ci><ci id="A2.SS2.1.p1.7.m7.2.2.2.2.cmml" xref="A2.SS2.1.p1.7.m7.2.2.2.2">𝑎</ci></list></apply></apply><apply id="A2.SS2.1.p1.7.m7.9.9.3.2.cmml" xref="A2.SS2.1.p1.7.m7.9.9.3.2"><apply id="A2.SS2.1.p1.7.m7.9.9.3.2.2.cmml" xref="A2.SS2.1.p1.7.m7.9.9.3.2.2"><csymbol cd="ambiguous" id="A2.SS2.1.p1.7.m7.9.9.3.2.2.1.cmml" xref="A2.SS2.1.p1.7.m7.9.9.3.2.2">subscript</csymbol><sum id="A2.SS2.1.p1.7.m7.9.9.3.2.2.2.cmml" xref="A2.SS2.1.p1.7.m7.9.9.3.2.2.2"></sum><apply id="A2.SS2.1.p1.7.m7.9.9.3.2.2.3.cmml" xref="A2.SS2.1.p1.7.m7.9.9.3.2.2.3"><csymbol cd="ambiguous" id="A2.SS2.1.p1.7.m7.9.9.3.2.2.3.1.cmml" xref="A2.SS2.1.p1.7.m7.9.9.3.2.2.3">superscript</csymbol><ci id="A2.SS2.1.p1.7.m7.9.9.3.2.2.3.2.cmml" xref="A2.SS2.1.p1.7.m7.9.9.3.2.2.3.2">𝑎</ci><ci id="A2.SS2.1.p1.7.m7.9.9.3.2.2.3.3.cmml" xref="A2.SS2.1.p1.7.m7.9.9.3.2.2.3.3">′</ci></apply></apply><apply id="A2.SS2.1.p1.7.m7.9.9.3.2.1.2.cmml" xref="A2.SS2.1.p1.7.m7.9.9.3.2.1.1"><exp id="A2.SS2.1.p1.7.m7.6.6.cmml" xref="A2.SS2.1.p1.7.m7.6.6"></exp><apply id="A2.SS2.1.p1.7.m7.9.9.3.2.1.1.1.1.cmml" xref="A2.SS2.1.p1.7.m7.9.9.3.2.1.1.1.1"><csymbol cd="ambiguous" id="A2.SS2.1.p1.7.m7.9.9.3.2.1.1.1.1.1.cmml" xref="A2.SS2.1.p1.7.m7.9.9.3.2.1.1.1.1">subscript</csymbol><ci id="A2.SS2.1.p1.7.m7.9.9.3.2.1.1.1.1.2.cmml" xref="A2.SS2.1.p1.7.m7.9.9.3.2.1.1.1.1.2">𝜃</ci><list id="A2.SS2.1.p1.7.m7.4.4.2.3.cmml" xref="A2.SS2.1.p1.7.m7.4.4.2.2"><ci id="A2.SS2.1.p1.7.m7.3.3.1.1.cmml" xref="A2.SS2.1.p1.7.m7.3.3.1.1">𝑥</ci><apply id="A2.SS2.1.p1.7.m7.4.4.2.2.1.cmml" xref="A2.SS2.1.p1.7.m7.4.4.2.2.1"><csymbol cd="ambiguous" id="A2.SS2.1.p1.7.m7.4.4.2.2.1.1.cmml" xref="A2.SS2.1.p1.7.m7.4.4.2.2.1">superscript</csymbol><ci id="A2.SS2.1.p1.7.m7.4.4.2.2.1.2.cmml" xref="A2.SS2.1.p1.7.m7.4.4.2.2.1.2">𝑎</ci><ci id="A2.SS2.1.p1.7.m7.4.4.2.2.1.3.cmml" xref="A2.SS2.1.p1.7.m7.4.4.2.2.1.3">′</ci></apply></list></apply></apply></apply></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="A2.SS2.1.p1.7.m7.9c">\pi_{\theta}(a|x)=\exp(\theta_{x,a})/\sum_{a^{\prime}}\exp(\theta_{x,a^{\prime}})</annotation></semantics></math>, we have</p>
<table id="A5.EGx16" class="ltx_equationgroup ltx_eqn_align ltx_eqn_table">

<tbody id="A2.Ex38"><tr class="ltx_equation ltx_eqn_row ltx_align_baseline">
<td class="ltx_eqn_cell ltx_eqn_center_padleft"></td>
<td class="ltx_td ltx_align_left ltx_eqn_cell"><math id="A2.Ex38.m1.3" class="ltx_Math" alttext="\displaystyle\nabla_{\theta}\log\pi_{\theta}(a_{1}|x)=\begin{pmatrix}1-\pi_{1},-\pi_{2}\end{pmatrix}^{\top},\quad\nabla_{\theta}\log\pi_{\theta}(a_{2}|x)=\begin{pmatrix}-\pi_{1},1-\pi_{2}\end{pmatrix}^{\top}." display="inline"><semantics id="A2.Ex38.m1.3a"><mrow id="A2.Ex38.m1.3.3.1"><mrow id="A2.Ex38.m1.3.3.1.1.2" xref="A2.Ex38.m1.3.3.1.1.3.cmml"><mrow id="A2.Ex38.m1.3.3.1.1.1.1" xref="A2.Ex38.m1.3.3.1.1.1.1.cmml"><mrow id="A2.Ex38.m1.3.3.1.1.1.1.1" xref="A2.Ex38.m1.3.3.1.1.1.1.1.cmml"><mrow id="A2.Ex38.m1.3.3.1.1.1.1.1.3" xref="A2.Ex38.m1.3.3.1.1.1.1.1.3.cmml"><mrow id="A2.Ex38.m1.3.3.1.1.1.1.1.3.1" xref="A2.Ex38.m1.3.3.1.1.1.1.1.3.1.cmml"><msub id="A2.Ex38.m1.3.3.1.1.1.1.1.3.1.1" xref="A2.Ex38.m1.3.3.1.1.1.1.1.3.1.1.cmml"><mo id="A2.Ex38.m1.3.3.1.1.1.1.1.3.1.1.2" xref="A2.Ex38.m1.3.3.1.1.1.1.1.3.1.1.2.cmml">∇</mo><mi id="A2.Ex38.m1.3.3.1.1.1.1.1.3.1.1.3" xref="A2.Ex38.m1.3.3.1.1.1.1.1.3.1.1.3.cmml">θ</mi></msub><mi id="A2.Ex38.m1.3.3.1.1.1.1.1.3.1.2" xref="A2.Ex38.m1.3.3.1.1.1.1.1.3.1.2.cmml">log</mi></mrow><mo lspace="0.167em" id="A2.Ex38.m1.3.3.1.1.1.1.1.3a" xref="A2.Ex38.m1.3.3.1.1.1.1.1.3.cmml">⁡</mo><msub id="A2.Ex38.m1.3.3.1.1.1.1.1.3.2" xref="A2.Ex38.m1.3.3.1.1.1.1.1.3.2.cmml"><mi id="A2.Ex38.m1.3.3.1.1.1.1.1.3.2.2" xref="A2.Ex38.m1.3.3.1.1.1.1.1.3.2.2.cmml">π</mi><mi id="A2.Ex38.m1.3.3.1.1.1.1.1.3.2.3" xref="A2.Ex38.m1.3.3.1.1.1.1.1.3.2.3.cmml">θ</mi></msub></mrow><mo lspace="0em" rspace="0em" id="A2.Ex38.m1.3.3.1.1.1.1.1.2" xref="A2.Ex38.m1.3.3.1.1.1.1.1.2.cmml">​</mo><mrow id="A2.Ex38.m1.3.3.1.1.1.1.1.1.1" xref="A2.Ex38.m1.3.3.1.1.1.1.1.1.1.1.cmml"><mo stretchy="false" id="A2.Ex38.m1.3.3.1.1.1.1.1.1.1.2" xref="A2.Ex38.m1.3.3.1.1.1.1.1.1.1.1.cmml">(</mo><mrow id="A2.Ex38.m1.3.3.1.1.1.1.1.1.1.1" xref="A2.Ex38.m1.3.3.1.1.1.1.1.1.1.1.cmml"><msub id="A2.Ex38.m1.3.3.1.1.1.1.1.1.1.1.2" xref="A2.Ex38.m1.3.3.1.1.1.1.1.1.1.1.2.cmml"><mi id="A2.Ex38.m1.3.3.1.1.1.1.1.1.1.1.2.2" xref="A2.Ex38.m1.3.3.1.1.1.1.1.1.1.1.2.2.cmml">a</mi><mn id="A2.Ex38.m1.3.3.1.1.1.1.1.1.1.1.2.3" xref="A2.Ex38.m1.3.3.1.1.1.1.1.1.1.1.2.3.cmml">1</mn></msub><mo fence="false" id="A2.Ex38.m1.3.3.1.1.1.1.1.1.1.1.1" xref="A2.Ex38.m1.3.3.1.1.1.1.1.1.1.1.1.cmml">|</mo><mi id="A2.Ex38.m1.3.3.1.1.1.1.1.1.1.1.3" xref="A2.Ex38.m1.3.3.1.1.1.1.1.1.1.1.3.cmml">x</mi></mrow><mo stretchy="false" id="A2.Ex38.m1.3.3.1.1.1.1.1.1.1.3" xref="A2.Ex38.m1.3.3.1.1.1.1.1.1.1.1.cmml">)</mo></mrow></mrow><mo id="A2.Ex38.m1.3.3.1.1.1.1.2" xref="A2.Ex38.m1.3.3.1.1.1.1.2.cmml">=</mo><msup id="A2.Ex38.m1.3.3.1.1.1.1.3" xref="A2.Ex38.m1.3.3.1.1.1.1.3.cmml"><mrow id="A2.Ex38.m1.1.1a.3" xref="A2.Ex38.m1.1.1a.2.cmml"><mo id="A2.Ex38.m1.1.1a.3.1" xref="A2.Ex38.m1.1.1a.2.1.cmml">(</mo><mtable id="A2.Ex38.m1.1.1.1.1" xref="A2.Ex38.m1.1.1.1.1.cmml"><mtr id="A2.Ex38.m1.1.1.1.1a" xref="A2.Ex38.m1.1.1.1.1.cmml"><mtd id="A2.Ex38.m1.1.1.1.1b" xref="A2.Ex38.m1.1.1.1.1.cmml"><mrow id="A2.Ex38.m1.1.1.1.1.2.2.2.2.2" xref="A2.Ex38.m1.1.1.1.1.2.2.2.2.3.cmml"><mrow id="A2.Ex38.m1.1.1.1.1.1.1.1.1.1.1" xref="A2.Ex38.m1.1.1.1.1.1.1.1.1.1.1.cmml"><mn id="A2.Ex38.m1.1.1.1.1.1.1.1.1.1.1.2" xref="A2.Ex38.m1.1.1.1.1.1.1.1.1.1.1.2.cmml">1</mn><mo id="A2.Ex38.m1.1.1.1.1.1.1.1.1.1.1.1" xref="A2.Ex38.m1.1.1.1.1.1.1.1.1.1.1.1.cmml">−</mo><msub id="A2.Ex38.m1.1.1.1.1.1.1.1.1.1.1.3" xref="A2.Ex38.m1.1.1.1.1.1.1.1.1.1.1.3.cmml"><mi id="A2.Ex38.m1.1.1.1.1.1.1.1.1.1.1.3.2" xref="A2.Ex38.m1.1.1.1.1.1.1.1.1.1.1.3.2.cmml">π</mi><mn id="A2.Ex38.m1.1.1.1.1.1.1.1.1.1.1.3.3" xref="A2.Ex38.m1.1.1.1.1.1.1.1.1.1.1.3.3.cmml">1</mn></msub></mrow><mo id="A2.Ex38.m1.1.1.1.1.2.2.2.2.2.3" xref="A2.Ex38.m1.1.1.1.1.2.2.2.2.3.cmml">,</mo><mrow id="A2.Ex38.m1.1.1.1.1.2.2.2.2.2.2" xref="A2.Ex38.m1.1.1.1.1.2.2.2.2.2.2.cmml"><mo id="A2.Ex38.m1.1.1.1.1.2.2.2.2.2.2a" xref="A2.Ex38.m1.1.1.1.1.2.2.2.2.2.2.cmml">−</mo><msub id="A2.Ex38.m1.1.1.1.1.2.2.2.2.2.2.2" xref="A2.Ex38.m1.1.1.1.1.2.2.2.2.2.2.2.cmml"><mi id="A2.Ex38.m1.1.1.1.1.2.2.2.2.2.2.2.2" xref="A2.Ex38.m1.1.1.1.1.2.2.2.2.2.2.2.2.cmml">π</mi><mn id="A2.Ex38.m1.1.1.1.1.2.2.2.2.2.2.2.3" xref="A2.Ex38.m1.1.1.1.1.2.2.2.2.2.2.2.3.cmml">2</mn></msub></mrow></mrow></mtd></mtr></mtable><mo id="A2.Ex38.m1.1.1a.3.2" xref="A2.Ex38.m1.1.1a.2.1.cmml">)</mo></mrow><mo id="A2.Ex38.m1.3.3.1.1.1.1.3.2" xref="A2.Ex38.m1.3.3.1.1.1.1.3.2.cmml">⊤</mo></msup></mrow><mo rspace="1.167em" id="A2.Ex38.m1.3.3.1.1.2.3" xref="A2.Ex38.m1.3.3.1.1.3a.cmml">,</mo><mrow id="A2.Ex38.m1.3.3.1.1.2.2" xref="A2.Ex38.m1.3.3.1.1.2.2.cmml"><mrow id="A2.Ex38.m1.3.3.1.1.2.2.1" xref="A2.Ex38.m1.3.3.1.1.2.2.1.cmml"><mrow id="A2.Ex38.m1.3.3.1.1.2.2.1.3" xref="A2.Ex38.m1.3.3.1.1.2.2.1.3.cmml"><mrow id="A2.Ex38.m1.3.3.1.1.2.2.1.3.1" xref="A2.Ex38.m1.3.3.1.1.2.2.1.3.1.cmml"><msub id="A2.Ex38.m1.3.3.1.1.2.2.1.3.1.1" xref="A2.Ex38.m1.3.3.1.1.2.2.1.3.1.1.cmml"><mo rspace="0.167em" id="A2.Ex38.m1.3.3.1.1.2.2.1.3.1.1.2" xref="A2.Ex38.m1.3.3.1.1.2.2.1.3.1.1.2.cmml">∇</mo><mi id="A2.Ex38.m1.3.3.1.1.2.2.1.3.1.1.3" xref="A2.Ex38.m1.3.3.1.1.2.2.1.3.1.1.3.cmml">θ</mi></msub><mi id="A2.Ex38.m1.3.3.1.1.2.2.1.3.1.2" xref="A2.Ex38.m1.3.3.1.1.2.2.1.3.1.2.cmml">log</mi></mrow><mo lspace="0.167em" id="A2.Ex38.m1.3.3.1.1.2.2.1.3a" xref="A2.Ex38.m1.3.3.1.1.2.2.1.3.cmml">⁡</mo><msub id="A2.Ex38.m1.3.3.1.1.2.2.1.3.2" xref="A2.Ex38.m1.3.3.1.1.2.2.1.3.2.cmml"><mi id="A2.Ex38.m1.3.3.1.1.2.2.1.3.2.2" xref="A2.Ex38.m1.3.3.1.1.2.2.1.3.2.2.cmml">π</mi><mi id="A2.Ex38.m1.3.3.1.1.2.2.1.3.2.3" xref="A2.Ex38.m1.3.3.1.1.2.2.1.3.2.3.cmml">θ</mi></msub></mrow><mo lspace="0em" rspace="0em" id="A2.Ex38.m1.3.3.1.1.2.2.1.2" xref="A2.Ex38.m1.3.3.1.1.2.2.1.2.cmml">​</mo><mrow id="A2.Ex38.m1.3.3.1.1.2.2.1.1.1" xref="A2.Ex38.m1.3.3.1.1.2.2.1.1.1.1.cmml"><mo stretchy="false" id="A2.Ex38.m1.3.3.1.1.2.2.1.1.1.2" xref="A2.Ex38.m1.3.3.1.1.2.2.1.1.1.1.cmml">(</mo><mrow id="A2.Ex38.m1.3.3.1.1.2.2.1.1.1.1" xref="A2.Ex38.m1.3.3.1.1.2.2.1.1.1.1.cmml"><msub id="A2.Ex38.m1.3.3.1.1.2.2.1.1.1.1.2" xref="A2.Ex38.m1.3.3.1.1.2.2.1.1.1.1.2.cmml"><mi id="A2.Ex38.m1.3.3.1.1.2.2.1.1.1.1.2.2" xref="A2.Ex38.m1.3.3.1.1.2.2.1.1.1.1.2.2.cmml">a</mi><mn id="A2.Ex38.m1.3.3.1.1.2.2.1.1.1.1.2.3" xref="A2.Ex38.m1.3.3.1.1.2.2.1.1.1.1.2.3.cmml">2</mn></msub><mo fence="false" id="A2.Ex38.m1.3.3.1.1.2.2.1.1.1.1.1" xref="A2.Ex38.m1.3.3.1.1.2.2.1.1.1.1.1.cmml">|</mo><mi id="A2.Ex38.m1.3.3.1.1.2.2.1.1.1.1.3" xref="A2.Ex38.m1.3.3.1.1.2.2.1.1.1.1.3.cmml">x</mi></mrow><mo stretchy="false" id="A2.Ex38.m1.3.3.1.1.2.2.1.1.1.3" xref="A2.Ex38.m1.3.3.1.1.2.2.1.1.1.1.cmml">)</mo></mrow></mrow><mo id="A2.Ex38.m1.3.3.1.1.2.2.2" xref="A2.Ex38.m1.3.3.1.1.2.2.2.cmml">=</mo><msup id="A2.Ex38.m1.3.3.1.1.2.2.3" xref="A2.Ex38.m1.3.3.1.1.2.2.3.cmml"><mrow id="A2.Ex38.m1.2.2a.3" xref="A2.Ex38.m1.2.2a.2.cmml"><mo id="A2.Ex38.m1.2.2a.3.1" xref="A2.Ex38.m1.2.2a.2.1.cmml">(</mo><mtable id="A2.Ex38.m1.2.2.1.1" xref="A2.Ex38.m1.2.2.1.1.cmml"><mtr id="A2.Ex38.m1.2.2.1.1a" xref="A2.Ex38.m1.2.2.1.1.cmml"><mtd id="A2.Ex38.m1.2.2.1.1b" xref="A2.Ex38.m1.2.2.1.1.cmml"><mrow id="A2.Ex38.m1.2.2.1.1.2.2.2.2.2" xref="A2.Ex38.m1.2.2.1.1.2.2.2.2.3.cmml"><mrow id="A2.Ex38.m1.2.2.1.1.1.1.1.1.1.1" xref="A2.Ex38.m1.2.2.1.1.1.1.1.1.1.1.cmml"><mo id="A2.Ex38.m1.2.2.1.1.1.1.1.1.1.1a" xref="A2.Ex38.m1.2.2.1.1.1.1.1.1.1.1.cmml">−</mo><msub id="A2.Ex38.m1.2.2.1.1.1.1.1.1.1.1.2" xref="A2.Ex38.m1.2.2.1.1.1.1.1.1.1.1.2.cmml"><mi id="A2.Ex38.m1.2.2.1.1.1.1.1.1.1.1.2.2" xref="A2.Ex38.m1.2.2.1.1.1.1.1.1.1.1.2.2.cmml">π</mi><mn id="A2.Ex38.m1.2.2.1.1.1.1.1.1.1.1.2.3" xref="A2.Ex38.m1.2.2.1.1.1.1.1.1.1.1.2.3.cmml">1</mn></msub></mrow><mo id="A2.Ex38.m1.2.2.1.1.2.2.2.2.2.3" xref="A2.Ex38.m1.2.2.1.1.2.2.2.2.3.cmml">,</mo><mrow id="A2.Ex38.m1.2.2.1.1.2.2.2.2.2.2" xref="A2.Ex38.m1.2.2.1.1.2.2.2.2.2.2.cmml"><mn id="A2.Ex38.m1.2.2.1.1.2.2.2.2.2.2.2" xref="A2.Ex38.m1.2.2.1.1.2.2.2.2.2.2.2.cmml">1</mn><mo id="A2.Ex38.m1.2.2.1.1.2.2.2.2.2.2.1" xref="A2.Ex38.m1.2.2.1.1.2.2.2.2.2.2.1.cmml">−</mo><msub id="A2.Ex38.m1.2.2.1.1.2.2.2.2.2.2.3" xref="A2.Ex38.m1.2.2.1.1.2.2.2.2.2.2.3.cmml"><mi id="A2.Ex38.m1.2.2.1.1.2.2.2.2.2.2.3.2" xref="A2.Ex38.m1.2.2.1.1.2.2.2.2.2.2.3.2.cmml">π</mi><mn id="A2.Ex38.m1.2.2.1.1.2.2.2.2.2.2.3.3" xref="A2.Ex38.m1.2.2.1.1.2.2.2.2.2.2.3.3.cmml">2</mn></msub></mrow></mrow></mtd></mtr></mtable><mo id="A2.Ex38.m1.2.2a.3.2" xref="A2.Ex38.m1.2.2a.2.1.cmml">)</mo></mrow><mo id="A2.Ex38.m1.3.3.1.1.2.2.3.2" xref="A2.Ex38.m1.3.3.1.1.2.2.3.2.cmml">⊤</mo></msup></mrow></mrow><mo lspace="0em" id="A2.Ex38.m1.3.3.1.2">.</mo></mrow><annotation-xml encoding="MathML-Content" id="A2.Ex38.m1.3b"><apply id="A2.Ex38.m1.3.3.1.1.3.cmml" xref="A2.Ex38.m1.3.3.1.1.2"><csymbol cd="ambiguous" id="A2.Ex38.m1.3.3.1.1.3a.cmml" xref="A2.Ex38.m1.3.3.1.1.2.3">formulae-sequence</csymbol><apply id="A2.Ex38.m1.3.3.1.1.1.1.cmml" xref="A2.Ex38.m1.3.3.1.1.1.1"><eq id="A2.Ex38.m1.3.3.1.1.1.1.2.cmml" xref="A2.Ex38.m1.3.3.1.1.1.1.2"></eq><apply id="A2.Ex38.m1.3.3.1.1.1.1.1.cmml" xref="A2.Ex38.m1.3.3.1.1.1.1.1"><times id="A2.Ex38.m1.3.3.1.1.1.1.1.2.cmml" xref="A2.Ex38.m1.3.3.1.1.1.1.1.2"></times><apply id="A2.Ex38.m1.3.3.1.1.1.1.1.3.cmml" xref="A2.Ex38.m1.3.3.1.1.1.1.1.3"><apply id="A2.Ex38.m1.3.3.1.1.1.1.1.3.1.cmml" xref="A2.Ex38.m1.3.3.1.1.1.1.1.3.1"><apply id="A2.Ex38.m1.3.3.1.1.1.1.1.3.1.1.cmml" xref="A2.Ex38.m1.3.3.1.1.1.1.1.3.1.1"><csymbol cd="ambiguous" id="A2.Ex38.m1.3.3.1.1.1.1.1.3.1.1.1.cmml" xref="A2.Ex38.m1.3.3.1.1.1.1.1.3.1.1">subscript</csymbol><ci id="A2.Ex38.m1.3.3.1.1.1.1.1.3.1.1.2.cmml" xref="A2.Ex38.m1.3.3.1.1.1.1.1.3.1.1.2">∇</ci><ci id="A2.Ex38.m1.3.3.1.1.1.1.1.3.1.1.3.cmml" xref="A2.Ex38.m1.3.3.1.1.1.1.1.3.1.1.3">𝜃</ci></apply><log id="A2.Ex38.m1.3.3.1.1.1.1.1.3.1.2.cmml" xref="A2.Ex38.m1.3.3.1.1.1.1.1.3.1.2"></log></apply><apply id="A2.Ex38.m1.3.3.1.1.1.1.1.3.2.cmml" xref="A2.Ex38.m1.3.3.1.1.1.1.1.3.2"><csymbol cd="ambiguous" id="A2.Ex38.m1.3.3.1.1.1.1.1.3.2.1.cmml" xref="A2.Ex38.m1.3.3.1.1.1.1.1.3.2">subscript</csymbol><ci id="A2.Ex38.m1.3.3.1.1.1.1.1.3.2.2.cmml" xref="A2.Ex38.m1.3.3.1.1.1.1.1.3.2.2">𝜋</ci><ci id="A2.Ex38.m1.3.3.1.1.1.1.1.3.2.3.cmml" xref="A2.Ex38.m1.3.3.1.1.1.1.1.3.2.3">𝜃</ci></apply></apply><apply id="A2.Ex38.m1.3.3.1.1.1.1.1.1.1.1.cmml" xref="A2.Ex38.m1.3.3.1.1.1.1.1.1.1"><csymbol cd="latexml" id="A2.Ex38.m1.3.3.1.1.1.1.1.1.1.1.1.cmml" xref="A2.Ex38.m1.3.3.1.1.1.1.1.1.1.1.1">conditional</csymbol><apply id="A2.Ex38.m1.3.3.1.1.1.1.1.1.1.1.2.cmml" xref="A2.Ex38.m1.3.3.1.1.1.1.1.1.1.1.2"><csymbol cd="ambiguous" id="A2.Ex38.m1.3.3.1.1.1.1.1.1.1.1.2.1.cmml" xref="A2.Ex38.m1.3.3.1.1.1.1.1.1.1.1.2">subscript</csymbol><ci id="A2.Ex38.m1.3.3.1.1.1.1.1.1.1.1.2.2.cmml" xref="A2.Ex38.m1.3.3.1.1.1.1.1.1.1.1.2.2">𝑎</ci><cn type="integer" id="A2.Ex38.m1.3.3.1.1.1.1.1.1.1.1.2.3.cmml" xref="A2.Ex38.m1.3.3.1.1.1.1.1.1.1.1.2.3">1</cn></apply><ci id="A2.Ex38.m1.3.3.1.1.1.1.1.1.1.1.3.cmml" xref="A2.Ex38.m1.3.3.1.1.1.1.1.1.1.1.3">𝑥</ci></apply></apply><apply id="A2.Ex38.m1.3.3.1.1.1.1.3.cmml" xref="A2.Ex38.m1.3.3.1.1.1.1.3"><csymbol cd="ambiguous" id="A2.Ex38.m1.3.3.1.1.1.1.3.1.cmml" xref="A2.Ex38.m1.3.3.1.1.1.1.3">superscript</csymbol><apply id="A2.Ex38.m1.1.1a.2.cmml" xref="A2.Ex38.m1.1.1a.3"><csymbol cd="latexml" id="A2.Ex38.m1.1.1a.2.1.cmml" xref="A2.Ex38.m1.1.1a.3.1">matrix</csymbol><matrix id="A2.Ex38.m1.1.1.1.1.cmml" xref="A2.Ex38.m1.1.1.1.1"><matrixrow id="A2.Ex38.m1.1.1.1.1a.cmml" xref="A2.Ex38.m1.1.1.1.1"><list id="A2.Ex38.m1.1.1.1.1.2.2.2.2.3.cmml" xref="A2.Ex38.m1.1.1.1.1.2.2.2.2.2"><apply id="A2.Ex38.m1.1.1.1.1.1.1.1.1.1.1.cmml" xref="A2.Ex38.m1.1.1.1.1.1.1.1.1.1.1"><minus id="A2.Ex38.m1.1.1.1.1.1.1.1.1.1.1.1.cmml" xref="A2.Ex38.m1.1.1.1.1.1.1.1.1.1.1.1"></minus><cn type="integer" id="A2.Ex38.m1.1.1.1.1.1.1.1.1.1.1.2.cmml" xref="A2.Ex38.m1.1.1.1.1.1.1.1.1.1.1.2">1</cn><apply id="A2.Ex38.m1.1.1.1.1.1.1.1.1.1.1.3.cmml" xref="A2.Ex38.m1.1.1.1.1.1.1.1.1.1.1.3"><csymbol cd="ambiguous" id="A2.Ex38.m1.1.1.1.1.1.1.1.1.1.1.3.1.cmml" xref="A2.Ex38.m1.1.1.1.1.1.1.1.1.1.1.3">subscript</csymbol><ci id="A2.Ex38.m1.1.1.1.1.1.1.1.1.1.1.3.2.cmml" xref="A2.Ex38.m1.1.1.1.1.1.1.1.1.1.1.3.2">𝜋</ci><cn type="integer" id="A2.Ex38.m1.1.1.1.1.1.1.1.1.1.1.3.3.cmml" xref="A2.Ex38.m1.1.1.1.1.1.1.1.1.1.1.3.3">1</cn></apply></apply><apply id="A2.Ex38.m1.1.1.1.1.2.2.2.2.2.2.cmml" xref="A2.Ex38.m1.1.1.1.1.2.2.2.2.2.2"><minus id="A2.Ex38.m1.1.1.1.1.2.2.2.2.2.2.1.cmml" xref="A2.Ex38.m1.1.1.1.1.2.2.2.2.2.2"></minus><apply id="A2.Ex38.m1.1.1.1.1.2.2.2.2.2.2.2.cmml" xref="A2.Ex38.m1.1.1.1.1.2.2.2.2.2.2.2"><csymbol cd="ambiguous" id="A2.Ex38.m1.1.1.1.1.2.2.2.2.2.2.2.1.cmml" xref="A2.Ex38.m1.1.1.1.1.2.2.2.2.2.2.2">subscript</csymbol><ci id="A2.Ex38.m1.1.1.1.1.2.2.2.2.2.2.2.2.cmml" xref="A2.Ex38.m1.1.1.1.1.2.2.2.2.2.2.2.2">𝜋</ci><cn type="integer" id="A2.Ex38.m1.1.1.1.1.2.2.2.2.2.2.2.3.cmml" xref="A2.Ex38.m1.1.1.1.1.2.2.2.2.2.2.2.3">2</cn></apply></apply></list></matrixrow></matrix></apply><csymbol cd="latexml" id="A2.Ex38.m1.3.3.1.1.1.1.3.2.cmml" xref="A2.Ex38.m1.3.3.1.1.1.1.3.2">top</csymbol></apply></apply><apply id="A2.Ex38.m1.3.3.1.1.2.2.cmml" xref="A2.Ex38.m1.3.3.1.1.2.2"><eq id="A2.Ex38.m1.3.3.1.1.2.2.2.cmml" xref="A2.Ex38.m1.3.3.1.1.2.2.2"></eq><apply id="A2.Ex38.m1.3.3.1.1.2.2.1.cmml" xref="A2.Ex38.m1.3.3.1.1.2.2.1"><times id="A2.Ex38.m1.3.3.1.1.2.2.1.2.cmml" xref="A2.Ex38.m1.3.3.1.1.2.2.1.2"></times><apply id="A2.Ex38.m1.3.3.1.1.2.2.1.3.cmml" xref="A2.Ex38.m1.3.3.1.1.2.2.1.3"><apply id="A2.Ex38.m1.3.3.1.1.2.2.1.3.1.cmml" xref="A2.Ex38.m1.3.3.1.1.2.2.1.3.1"><apply id="A2.Ex38.m1.3.3.1.1.2.2.1.3.1.1.cmml" xref="A2.Ex38.m1.3.3.1.1.2.2.1.3.1.1"><csymbol cd="ambiguous" id="A2.Ex38.m1.3.3.1.1.2.2.1.3.1.1.1.cmml" xref="A2.Ex38.m1.3.3.1.1.2.2.1.3.1.1">subscript</csymbol><ci id="A2.Ex38.m1.3.3.1.1.2.2.1.3.1.1.2.cmml" xref="A2.Ex38.m1.3.3.1.1.2.2.1.3.1.1.2">∇</ci><ci id="A2.Ex38.m1.3.3.1.1.2.2.1.3.1.1.3.cmml" xref="A2.Ex38.m1.3.3.1.1.2.2.1.3.1.1.3">𝜃</ci></apply><log id="A2.Ex38.m1.3.3.1.1.2.2.1.3.1.2.cmml" xref="A2.Ex38.m1.3.3.1.1.2.2.1.3.1.2"></log></apply><apply id="A2.Ex38.m1.3.3.1.1.2.2.1.3.2.cmml" xref="A2.Ex38.m1.3.3.1.1.2.2.1.3.2"><csymbol cd="ambiguous" id="A2.Ex38.m1.3.3.1.1.2.2.1.3.2.1.cmml" xref="A2.Ex38.m1.3.3.1.1.2.2.1.3.2">subscript</csymbol><ci id="A2.Ex38.m1.3.3.1.1.2.2.1.3.2.2.cmml" xref="A2.Ex38.m1.3.3.1.1.2.2.1.3.2.2">𝜋</ci><ci id="A2.Ex38.m1.3.3.1.1.2.2.1.3.2.3.cmml" xref="A2.Ex38.m1.3.3.1.1.2.2.1.3.2.3">𝜃</ci></apply></apply><apply id="A2.Ex38.m1.3.3.1.1.2.2.1.1.1.1.cmml" xref="A2.Ex38.m1.3.3.1.1.2.2.1.1.1"><csymbol cd="latexml" id="A2.Ex38.m1.3.3.1.1.2.2.1.1.1.1.1.cmml" xref="A2.Ex38.m1.3.3.1.1.2.2.1.1.1.1.1">conditional</csymbol><apply id="A2.Ex38.m1.3.3.1.1.2.2.1.1.1.1.2.cmml" xref="A2.Ex38.m1.3.3.1.1.2.2.1.1.1.1.2"><csymbol cd="ambiguous" id="A2.Ex38.m1.3.3.1.1.2.2.1.1.1.1.2.1.cmml" xref="A2.Ex38.m1.3.3.1.1.2.2.1.1.1.1.2">subscript</csymbol><ci id="A2.Ex38.m1.3.3.1.1.2.2.1.1.1.1.2.2.cmml" xref="A2.Ex38.m1.3.3.1.1.2.2.1.1.1.1.2.2">𝑎</ci><cn type="integer" id="A2.Ex38.m1.3.3.1.1.2.2.1.1.1.1.2.3.cmml" xref="A2.Ex38.m1.3.3.1.1.2.2.1.1.1.1.2.3">2</cn></apply><ci id="A2.Ex38.m1.3.3.1.1.2.2.1.1.1.1.3.cmml" xref="A2.Ex38.m1.3.3.1.1.2.2.1.1.1.1.3">𝑥</ci></apply></apply><apply id="A2.Ex38.m1.3.3.1.1.2.2.3.cmml" xref="A2.Ex38.m1.3.3.1.1.2.2.3"><csymbol cd="ambiguous" id="A2.Ex38.m1.3.3.1.1.2.2.3.1.cmml" xref="A2.Ex38.m1.3.3.1.1.2.2.3">superscript</csymbol><apply id="A2.Ex38.m1.2.2a.2.cmml" xref="A2.Ex38.m1.2.2a.3"><csymbol cd="latexml" id="A2.Ex38.m1.2.2a.2.1.cmml" xref="A2.Ex38.m1.2.2a.3.1">matrix</csymbol><matrix id="A2.Ex38.m1.2.2.1.1.cmml" xref="A2.Ex38.m1.2.2.1.1"><matrixrow id="A2.Ex38.m1.2.2.1.1a.cmml" xref="A2.Ex38.m1.2.2.1.1"><list id="A2.Ex38.m1.2.2.1.1.2.2.2.2.3.cmml" xref="A2.Ex38.m1.2.2.1.1.2.2.2.2.2"><apply id="A2.Ex38.m1.2.2.1.1.1.1.1.1.1.1.cmml" xref="A2.Ex38.m1.2.2.1.1.1.1.1.1.1.1"><minus id="A2.Ex38.m1.2.2.1.1.1.1.1.1.1.1.1.cmml" xref="A2.Ex38.m1.2.2.1.1.1.1.1.1.1.1"></minus><apply id="A2.Ex38.m1.2.2.1.1.1.1.1.1.1.1.2.cmml" xref="A2.Ex38.m1.2.2.1.1.1.1.1.1.1.1.2"><csymbol cd="ambiguous" id="A2.Ex38.m1.2.2.1.1.1.1.1.1.1.1.2.1.cmml" xref="A2.Ex38.m1.2.2.1.1.1.1.1.1.1.1.2">subscript</csymbol><ci id="A2.Ex38.m1.2.2.1.1.1.1.1.1.1.1.2.2.cmml" xref="A2.Ex38.m1.2.2.1.1.1.1.1.1.1.1.2.2">𝜋</ci><cn type="integer" id="A2.Ex38.m1.2.2.1.1.1.1.1.1.1.1.2.3.cmml" xref="A2.Ex38.m1.2.2.1.1.1.1.1.1.1.1.2.3">1</cn></apply></apply><apply id="A2.Ex38.m1.2.2.1.1.2.2.2.2.2.2.cmml" xref="A2.Ex38.m1.2.2.1.1.2.2.2.2.2.2"><minus id="A2.Ex38.m1.2.2.1.1.2.2.2.2.2.2.1.cmml" xref="A2.Ex38.m1.2.2.1.1.2.2.2.2.2.2.1"></minus><cn type="integer" id="A2.Ex38.m1.2.2.1.1.2.2.2.2.2.2.2.cmml" xref="A2.Ex38.m1.2.2.1.1.2.2.2.2.2.2.2">1</cn><apply id="A2.Ex38.m1.2.2.1.1.2.2.2.2.2.2.3.cmml" xref="A2.Ex38.m1.2.2.1.1.2.2.2.2.2.2.3"><csymbol cd="ambiguous" id="A2.Ex38.m1.2.2.1.1.2.2.2.2.2.2.3.1.cmml" xref="A2.Ex38.m1.2.2.1.1.2.2.2.2.2.2.3">subscript</csymbol><ci id="A2.Ex38.m1.2.2.1.1.2.2.2.2.2.2.3.2.cmml" xref="A2.Ex38.m1.2.2.1.1.2.2.2.2.2.2.3.2">𝜋</ci><cn type="integer" id="A2.Ex38.m1.2.2.1.1.2.2.2.2.2.2.3.3.cmml" xref="A2.Ex38.m1.2.2.1.1.2.2.2.2.2.2.3.3">2</cn></apply></apply></list></matrixrow></matrix></apply><csymbol cd="latexml" id="A2.Ex38.m1.3.3.1.1.2.2.3.2.cmml" xref="A2.Ex38.m1.3.3.1.1.2.2.3.2">top</csymbol></apply></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="A2.Ex38.m1.3c">\displaystyle\nabla_{\theta}\log\pi_{\theta}(a_{1}|x)=\begin{pmatrix}1-\pi_{1},-\pi_{2}\end{pmatrix}^{\top},\quad\nabla_{\theta}\log\pi_{\theta}(a_{2}|x)=\begin{pmatrix}-\pi_{1},1-\pi_{2}\end{pmatrix}^{\top}.</annotation></semantics></math></td>
<td class="ltx_eqn_cell ltx_eqn_center_padright"></td>
</tr></tbody>
</table>
<p id="A2.SS2.1.p1.10" class="ltx_p">Without loss of generality, we assume <math id="A2.SS2.1.p1.8.m1.1" class="ltx_Math" alttext="a_{1}" display="inline"><semantics id="A2.SS2.1.p1.8.m1.1a"><msub id="A2.SS2.1.p1.8.m1.1.1" xref="A2.SS2.1.p1.8.m1.1.1.cmml"><mi id="A2.SS2.1.p1.8.m1.1.1.2" xref="A2.SS2.1.p1.8.m1.1.1.2.cmml">a</mi><mn id="A2.SS2.1.p1.8.m1.1.1.3" xref="A2.SS2.1.p1.8.m1.1.1.3.cmml">1</mn></msub><annotation-xml encoding="MathML-Content" id="A2.SS2.1.p1.8.m1.1b"><apply id="A2.SS2.1.p1.8.m1.1.1.cmml" xref="A2.SS2.1.p1.8.m1.1.1"><csymbol cd="ambiguous" id="A2.SS2.1.p1.8.m1.1.1.1.cmml" xref="A2.SS2.1.p1.8.m1.1.1">subscript</csymbol><ci id="A2.SS2.1.p1.8.m1.1.1.2.cmml" xref="A2.SS2.1.p1.8.m1.1.1.2">𝑎</ci><cn type="integer" id="A2.SS2.1.p1.8.m1.1.1.3.cmml" xref="A2.SS2.1.p1.8.m1.1.1.3">1</cn></apply></annotation-xml><annotation encoding="application/x-tex" id="A2.SS2.1.p1.8.m1.1c">a_{1}</annotation></semantics></math> is the optimal action. When the optimal action <math id="A2.SS2.1.p1.9.m2.1" class="ltx_Math" alttext="a_{1}" display="inline"><semantics id="A2.SS2.1.p1.9.m2.1a"><msub id="A2.SS2.1.p1.9.m2.1.1" xref="A2.SS2.1.p1.9.m2.1.1.cmml"><mi id="A2.SS2.1.p1.9.m2.1.1.2" xref="A2.SS2.1.p1.9.m2.1.1.2.cmml">a</mi><mn id="A2.SS2.1.p1.9.m2.1.1.3" xref="A2.SS2.1.p1.9.m2.1.1.3.cmml">1</mn></msub><annotation-xml encoding="MathML-Content" id="A2.SS2.1.p1.9.m2.1b"><apply id="A2.SS2.1.p1.9.m2.1.1.cmml" xref="A2.SS2.1.p1.9.m2.1.1"><csymbol cd="ambiguous" id="A2.SS2.1.p1.9.m2.1.1.1.cmml" xref="A2.SS2.1.p1.9.m2.1.1">subscript</csymbol><ci id="A2.SS2.1.p1.9.m2.1.1.2.cmml" xref="A2.SS2.1.p1.9.m2.1.1.2">𝑎</ci><cn type="integer" id="A2.SS2.1.p1.9.m2.1.1.3.cmml" xref="A2.SS2.1.p1.9.m2.1.1.3">1</cn></apply></annotation-xml><annotation encoding="application/x-tex" id="A2.SS2.1.p1.9.m2.1c">a_{1}</annotation></semantics></math> has not yet dominated, ReMax chooses the value <math id="A2.SS2.1.p1.10.m3.1" class="ltx_Math" alttext="r_{2}" display="inline"><semantics id="A2.SS2.1.p1.10.m3.1a"><msub id="A2.SS2.1.p1.10.m3.1.1" xref="A2.SS2.1.p1.10.m3.1.1.cmml"><mi id="A2.SS2.1.p1.10.m3.1.1.2" xref="A2.SS2.1.p1.10.m3.1.1.2.cmml">r</mi><mn id="A2.SS2.1.p1.10.m3.1.1.3" xref="A2.SS2.1.p1.10.m3.1.1.3.cmml">2</mn></msub><annotation-xml encoding="MathML-Content" id="A2.SS2.1.p1.10.m3.1b"><apply id="A2.SS2.1.p1.10.m3.1.1.cmml" xref="A2.SS2.1.p1.10.m3.1.1"><csymbol cd="ambiguous" id="A2.SS2.1.p1.10.m3.1.1.1.cmml" xref="A2.SS2.1.p1.10.m3.1.1">subscript</csymbol><ci id="A2.SS2.1.p1.10.m3.1.1.2.cmml" xref="A2.SS2.1.p1.10.m3.1.1.2">𝑟</ci><cn type="integer" id="A2.SS2.1.p1.10.m3.1.1.3.cmml" xref="A2.SS2.1.p1.10.m3.1.1.3">2</cn></apply></annotation-xml><annotation encoding="application/x-tex" id="A2.SS2.1.p1.10.m3.1c">r_{2}</annotation></semantics></math> for variance reduction. Then, we have</p>
<table id="A5.EGx17" class="ltx_equationgroup ltx_eqn_align ltx_eqn_table">

<tbody id="A2.Ex39"><tr class="ltx_equation ltx_eqn_row ltx_align_baseline">
<td class="ltx_eqn_cell ltx_eqn_center_padleft"></td>
<td class="ltx_td ltx_align_left ltx_eqn_cell"><math id="A2.Ex39.m1.3" class="ltx_Math" alttext="\displaystyle\quad\mathrm{Var}[\widetilde{g}]-\mathrm{Var}[g]=2p(1-p)\left[r_{2}-2(1-p)r_{1}-2pr_{2}\right]&lt;0," display="inline"><semantics id="A2.Ex39.m1.3a"><mrow id="A2.Ex39.m1.3.3.1" xref="A2.Ex39.m1.3.3.1.1.cmml"><mrow id="A2.Ex39.m1.3.3.1.1" xref="A2.Ex39.m1.3.3.1.1.cmml"><mrow id="A2.Ex39.m1.3.3.1.1.4" xref="A2.Ex39.m1.3.3.1.1.4.cmml"><mrow id="A2.Ex39.m1.3.3.1.1.4.2" xref="A2.Ex39.m1.3.3.1.1.4.2.cmml"><mi id="A2.Ex39.m1.3.3.1.1.4.2.2" xref="A2.Ex39.m1.3.3.1.1.4.2.2.cmml">Var</mi><mo lspace="0em" rspace="0em" id="A2.Ex39.m1.3.3.1.1.4.2.1" xref="A2.Ex39.m1.3.3.1.1.4.2.1.cmml">​</mo><mrow id="A2.Ex39.m1.3.3.1.1.4.2.3.2" xref="A2.Ex39.m1.3.3.1.1.4.2.3.1.cmml"><mo stretchy="false" id="A2.Ex39.m1.3.3.1.1.4.2.3.2.1" xref="A2.Ex39.m1.3.3.1.1.4.2.3.1.1.cmml">[</mo><mover accent="true" id="A2.Ex39.m1.1.1" xref="A2.Ex39.m1.1.1.cmml"><mi id="A2.Ex39.m1.1.1.2" xref="A2.Ex39.m1.1.1.2.cmml">g</mi><mo id="A2.Ex39.m1.1.1.1" xref="A2.Ex39.m1.1.1.1.cmml">~</mo></mover><mo stretchy="false" id="A2.Ex39.m1.3.3.1.1.4.2.3.2.2" xref="A2.Ex39.m1.3.3.1.1.4.2.3.1.1.cmml">]</mo></mrow></mrow><mo id="A2.Ex39.m1.3.3.1.1.4.1" xref="A2.Ex39.m1.3.3.1.1.4.1.cmml">−</mo><mrow id="A2.Ex39.m1.3.3.1.1.4.3" xref="A2.Ex39.m1.3.3.1.1.4.3.cmml"><mi id="A2.Ex39.m1.3.3.1.1.4.3.2" xref="A2.Ex39.m1.3.3.1.1.4.3.2.cmml">Var</mi><mo lspace="0em" rspace="0em" id="A2.Ex39.m1.3.3.1.1.4.3.1" xref="A2.Ex39.m1.3.3.1.1.4.3.1.cmml">​</mo><mrow id="A2.Ex39.m1.3.3.1.1.4.3.3.2" xref="A2.Ex39.m1.3.3.1.1.4.3.3.1.cmml"><mo stretchy="false" id="A2.Ex39.m1.3.3.1.1.4.3.3.2.1" xref="A2.Ex39.m1.3.3.1.1.4.3.3.1.1.cmml">[</mo><mi id="A2.Ex39.m1.2.2" xref="A2.Ex39.m1.2.2.cmml">g</mi><mo stretchy="false" id="A2.Ex39.m1.3.3.1.1.4.3.3.2.2" xref="A2.Ex39.m1.3.3.1.1.4.3.3.1.1.cmml">]</mo></mrow></mrow></mrow><mo id="A2.Ex39.m1.3.3.1.1.5" xref="A2.Ex39.m1.3.3.1.1.5.cmml">=</mo><mrow id="A2.Ex39.m1.3.3.1.1.2" xref="A2.Ex39.m1.3.3.1.1.2.cmml"><mn id="A2.Ex39.m1.3.3.1.1.2.4" xref="A2.Ex39.m1.3.3.1.1.2.4.cmml">2</mn><mo lspace="0em" rspace="0em" id="A2.Ex39.m1.3.3.1.1.2.3" xref="A2.Ex39.m1.3.3.1.1.2.3.cmml">​</mo><mi id="A2.Ex39.m1.3.3.1.1.2.5" xref="A2.Ex39.m1.3.3.1.1.2.5.cmml">p</mi><mo lspace="0em" rspace="0em" id="A2.Ex39.m1.3.3.1.1.2.3a" xref="A2.Ex39.m1.3.3.1.1.2.3.cmml">​</mo><mrow id="A2.Ex39.m1.3.3.1.1.1.1.1" xref="A2.Ex39.m1.3.3.1.1.1.1.1.1.cmml"><mo stretchy="false" id="A2.Ex39.m1.3.3.1.1.1.1.1.2" xref="A2.Ex39.m1.3.3.1.1.1.1.1.1.cmml">(</mo><mrow id="A2.Ex39.m1.3.3.1.1.1.1.1.1" xref="A2.Ex39.m1.3.3.1.1.1.1.1.1.cmml"><mn id="A2.Ex39.m1.3.3.1.1.1.1.1.1.2" xref="A2.Ex39.m1.3.3.1.1.1.1.1.1.2.cmml">1</mn><mo id="A2.Ex39.m1.3.3.1.1.1.1.1.1.1" xref="A2.Ex39.m1.3.3.1.1.1.1.1.1.1.cmml">−</mo><mi id="A2.Ex39.m1.3.3.1.1.1.1.1.1.3" xref="A2.Ex39.m1.3.3.1.1.1.1.1.1.3.cmml">p</mi></mrow><mo stretchy="false" id="A2.Ex39.m1.3.3.1.1.1.1.1.3" xref="A2.Ex39.m1.3.3.1.1.1.1.1.1.cmml">)</mo></mrow><mo lspace="0em" rspace="0em" id="A2.Ex39.m1.3.3.1.1.2.3b" xref="A2.Ex39.m1.3.3.1.1.2.3.cmml">​</mo><mrow id="A2.Ex39.m1.3.3.1.1.2.2.1" xref="A2.Ex39.m1.3.3.1.1.2.2.2.cmml"><mo id="A2.Ex39.m1.3.3.1.1.2.2.1.2" xref="A2.Ex39.m1.3.3.1.1.2.2.2.1.cmml">[</mo><mrow id="A2.Ex39.m1.3.3.1.1.2.2.1.1" xref="A2.Ex39.m1.3.3.1.1.2.2.1.1.cmml"><msub id="A2.Ex39.m1.3.3.1.1.2.2.1.1.3" xref="A2.Ex39.m1.3.3.1.1.2.2.1.1.3.cmml"><mi id="A2.Ex39.m1.3.3.1.1.2.2.1.1.3.2" xref="A2.Ex39.m1.3.3.1.1.2.2.1.1.3.2.cmml">r</mi><mn id="A2.Ex39.m1.3.3.1.1.2.2.1.1.3.3" xref="A2.Ex39.m1.3.3.1.1.2.2.1.1.3.3.cmml">2</mn></msub><mo id="A2.Ex39.m1.3.3.1.1.2.2.1.1.2" xref="A2.Ex39.m1.3.3.1.1.2.2.1.1.2.cmml">−</mo><mrow id="A2.Ex39.m1.3.3.1.1.2.2.1.1.1" xref="A2.Ex39.m1.3.3.1.1.2.2.1.1.1.cmml"><mn id="A2.Ex39.m1.3.3.1.1.2.2.1.1.1.3" xref="A2.Ex39.m1.3.3.1.1.2.2.1.1.1.3.cmml">2</mn><mo lspace="0em" rspace="0em" id="A2.Ex39.m1.3.3.1.1.2.2.1.1.1.2" xref="A2.Ex39.m1.3.3.1.1.2.2.1.1.1.2.cmml">​</mo><mrow id="A2.Ex39.m1.3.3.1.1.2.2.1.1.1.1.1" xref="A2.Ex39.m1.3.3.1.1.2.2.1.1.1.1.1.1.cmml"><mo stretchy="false" id="A2.Ex39.m1.3.3.1.1.2.2.1.1.1.1.1.2" xref="A2.Ex39.m1.3.3.1.1.2.2.1.1.1.1.1.1.cmml">(</mo><mrow id="A2.Ex39.m1.3.3.1.1.2.2.1.1.1.1.1.1" xref="A2.Ex39.m1.3.3.1.1.2.2.1.1.1.1.1.1.cmml"><mn id="A2.Ex39.m1.3.3.1.1.2.2.1.1.1.1.1.1.2" xref="A2.Ex39.m1.3.3.1.1.2.2.1.1.1.1.1.1.2.cmml">1</mn><mo id="A2.Ex39.m1.3.3.1.1.2.2.1.1.1.1.1.1.1" xref="A2.Ex39.m1.3.3.1.1.2.2.1.1.1.1.1.1.1.cmml">−</mo><mi id="A2.Ex39.m1.3.3.1.1.2.2.1.1.1.1.1.1.3" xref="A2.Ex39.m1.3.3.1.1.2.2.1.1.1.1.1.1.3.cmml">p</mi></mrow><mo stretchy="false" id="A2.Ex39.m1.3.3.1.1.2.2.1.1.1.1.1.3" xref="A2.Ex39.m1.3.3.1.1.2.2.1.1.1.1.1.1.cmml">)</mo></mrow><mo lspace="0em" rspace="0em" id="A2.Ex39.m1.3.3.1.1.2.2.1.1.1.2a" xref="A2.Ex39.m1.3.3.1.1.2.2.1.1.1.2.cmml">​</mo><msub id="A2.Ex39.m1.3.3.1.1.2.2.1.1.1.4" xref="A2.Ex39.m1.3.3.1.1.2.2.1.1.1.4.cmml"><mi id="A2.Ex39.m1.3.3.1.1.2.2.1.1.1.4.2" xref="A2.Ex39.m1.3.3.1.1.2.2.1.1.1.4.2.cmml">r</mi><mn id="A2.Ex39.m1.3.3.1.1.2.2.1.1.1.4.3" xref="A2.Ex39.m1.3.3.1.1.2.2.1.1.1.4.3.cmml">1</mn></msub></mrow><mo id="A2.Ex39.m1.3.3.1.1.2.2.1.1.2a" xref="A2.Ex39.m1.3.3.1.1.2.2.1.1.2.cmml">−</mo><mrow id="A2.Ex39.m1.3.3.1.1.2.2.1.1.4" xref="A2.Ex39.m1.3.3.1.1.2.2.1.1.4.cmml"><mn id="A2.Ex39.m1.3.3.1.1.2.2.1.1.4.2" xref="A2.Ex39.m1.3.3.1.1.2.2.1.1.4.2.cmml">2</mn><mo lspace="0em" rspace="0em" id="A2.Ex39.m1.3.3.1.1.2.2.1.1.4.1" xref="A2.Ex39.m1.3.3.1.1.2.2.1.1.4.1.cmml">​</mo><mi id="A2.Ex39.m1.3.3.1.1.2.2.1.1.4.3" xref="A2.Ex39.m1.3.3.1.1.2.2.1.1.4.3.cmml">p</mi><mo lspace="0em" rspace="0em" id="A2.Ex39.m1.3.3.1.1.2.2.1.1.4.1a" xref="A2.Ex39.m1.3.3.1.1.2.2.1.1.4.1.cmml">​</mo><msub id="A2.Ex39.m1.3.3.1.1.2.2.1.1.4.4" xref="A2.Ex39.m1.3.3.1.1.2.2.1.1.4.4.cmml"><mi id="A2.Ex39.m1.3.3.1.1.2.2.1.1.4.4.2" xref="A2.Ex39.m1.3.3.1.1.2.2.1.1.4.4.2.cmml">r</mi><mn id="A2.Ex39.m1.3.3.1.1.2.2.1.1.4.4.3" xref="A2.Ex39.m1.3.3.1.1.2.2.1.1.4.4.3.cmml">2</mn></msub></mrow></mrow><mo id="A2.Ex39.m1.3.3.1.1.2.2.1.3" xref="A2.Ex39.m1.3.3.1.1.2.2.2.1.cmml">]</mo></mrow></mrow><mo id="A2.Ex39.m1.3.3.1.1.6" xref="A2.Ex39.m1.3.3.1.1.6.cmml">&lt;</mo><mn id="A2.Ex39.m1.3.3.1.1.7" xref="A2.Ex39.m1.3.3.1.1.7.cmml">0</mn></mrow><mo id="A2.Ex39.m1.3.3.1.2" xref="A2.Ex39.m1.3.3.1.1.cmml">,</mo></mrow><annotation-xml encoding="MathML-Content" id="A2.Ex39.m1.3b"><apply id="A2.Ex39.m1.3.3.1.1.cmml" xref="A2.Ex39.m1.3.3.1"><and id="A2.Ex39.m1.3.3.1.1a.cmml" xref="A2.Ex39.m1.3.3.1"></and><apply id="A2.Ex39.m1.3.3.1.1b.cmml" xref="A2.Ex39.m1.3.3.1"><eq id="A2.Ex39.m1.3.3.1.1.5.cmml" xref="A2.Ex39.m1.3.3.1.1.5"></eq><apply id="A2.Ex39.m1.3.3.1.1.4.cmml" xref="A2.Ex39.m1.3.3.1.1.4"><minus id="A2.Ex39.m1.3.3.1.1.4.1.cmml" xref="A2.Ex39.m1.3.3.1.1.4.1"></minus><apply id="A2.Ex39.m1.3.3.1.1.4.2.cmml" xref="A2.Ex39.m1.3.3.1.1.4.2"><times id="A2.Ex39.m1.3.3.1.1.4.2.1.cmml" xref="A2.Ex39.m1.3.3.1.1.4.2.1"></times><ci id="A2.Ex39.m1.3.3.1.1.4.2.2.cmml" xref="A2.Ex39.m1.3.3.1.1.4.2.2">Var</ci><apply id="A2.Ex39.m1.3.3.1.1.4.2.3.1.cmml" xref="A2.Ex39.m1.3.3.1.1.4.2.3.2"><csymbol cd="latexml" id="A2.Ex39.m1.3.3.1.1.4.2.3.1.1.cmml" xref="A2.Ex39.m1.3.3.1.1.4.2.3.2.1">delimited-[]</csymbol><apply id="A2.Ex39.m1.1.1.cmml" xref="A2.Ex39.m1.1.1"><ci id="A2.Ex39.m1.1.1.1.cmml" xref="A2.Ex39.m1.1.1.1">~</ci><ci id="A2.Ex39.m1.1.1.2.cmml" xref="A2.Ex39.m1.1.1.2">𝑔</ci></apply></apply></apply><apply id="A2.Ex39.m1.3.3.1.1.4.3.cmml" xref="A2.Ex39.m1.3.3.1.1.4.3"><times id="A2.Ex39.m1.3.3.1.1.4.3.1.cmml" xref="A2.Ex39.m1.3.3.1.1.4.3.1"></times><ci id="A2.Ex39.m1.3.3.1.1.4.3.2.cmml" xref="A2.Ex39.m1.3.3.1.1.4.3.2">Var</ci><apply id="A2.Ex39.m1.3.3.1.1.4.3.3.1.cmml" xref="A2.Ex39.m1.3.3.1.1.4.3.3.2"><csymbol cd="latexml" id="A2.Ex39.m1.3.3.1.1.4.3.3.1.1.cmml" xref="A2.Ex39.m1.3.3.1.1.4.3.3.2.1">delimited-[]</csymbol><ci id="A2.Ex39.m1.2.2.cmml" xref="A2.Ex39.m1.2.2">𝑔</ci></apply></apply></apply><apply id="A2.Ex39.m1.3.3.1.1.2.cmml" xref="A2.Ex39.m1.3.3.1.1.2"><times id="A2.Ex39.m1.3.3.1.1.2.3.cmml" xref="A2.Ex39.m1.3.3.1.1.2.3"></times><cn type="integer" id="A2.Ex39.m1.3.3.1.1.2.4.cmml" xref="A2.Ex39.m1.3.3.1.1.2.4">2</cn><ci id="A2.Ex39.m1.3.3.1.1.2.5.cmml" xref="A2.Ex39.m1.3.3.1.1.2.5">𝑝</ci><apply id="A2.Ex39.m1.3.3.1.1.1.1.1.1.cmml" xref="A2.Ex39.m1.3.3.1.1.1.1.1"><minus id="A2.Ex39.m1.3.3.1.1.1.1.1.1.1.cmml" xref="A2.Ex39.m1.3.3.1.1.1.1.1.1.1"></minus><cn type="integer" id="A2.Ex39.m1.3.3.1.1.1.1.1.1.2.cmml" xref="A2.Ex39.m1.3.3.1.1.1.1.1.1.2">1</cn><ci id="A2.Ex39.m1.3.3.1.1.1.1.1.1.3.cmml" xref="A2.Ex39.m1.3.3.1.1.1.1.1.1.3">𝑝</ci></apply><apply id="A2.Ex39.m1.3.3.1.1.2.2.2.cmml" xref="A2.Ex39.m1.3.3.1.1.2.2.1"><csymbol cd="latexml" id="A2.Ex39.m1.3.3.1.1.2.2.2.1.cmml" xref="A2.Ex39.m1.3.3.1.1.2.2.1.2">delimited-[]</csymbol><apply id="A2.Ex39.m1.3.3.1.1.2.2.1.1.cmml" xref="A2.Ex39.m1.3.3.1.1.2.2.1.1"><minus id="A2.Ex39.m1.3.3.1.1.2.2.1.1.2.cmml" xref="A2.Ex39.m1.3.3.1.1.2.2.1.1.2"></minus><apply id="A2.Ex39.m1.3.3.1.1.2.2.1.1.3.cmml" xref="A2.Ex39.m1.3.3.1.1.2.2.1.1.3"><csymbol cd="ambiguous" id="A2.Ex39.m1.3.3.1.1.2.2.1.1.3.1.cmml" xref="A2.Ex39.m1.3.3.1.1.2.2.1.1.3">subscript</csymbol><ci id="A2.Ex39.m1.3.3.1.1.2.2.1.1.3.2.cmml" xref="A2.Ex39.m1.3.3.1.1.2.2.1.1.3.2">𝑟</ci><cn type="integer" id="A2.Ex39.m1.3.3.1.1.2.2.1.1.3.3.cmml" xref="A2.Ex39.m1.3.3.1.1.2.2.1.1.3.3">2</cn></apply><apply id="A2.Ex39.m1.3.3.1.1.2.2.1.1.1.cmml" xref="A2.Ex39.m1.3.3.1.1.2.2.1.1.1"><times id="A2.Ex39.m1.3.3.1.1.2.2.1.1.1.2.cmml" xref="A2.Ex39.m1.3.3.1.1.2.2.1.1.1.2"></times><cn type="integer" id="A2.Ex39.m1.3.3.1.1.2.2.1.1.1.3.cmml" xref="A2.Ex39.m1.3.3.1.1.2.2.1.1.1.3">2</cn><apply id="A2.Ex39.m1.3.3.1.1.2.2.1.1.1.1.1.1.cmml" xref="A2.Ex39.m1.3.3.1.1.2.2.1.1.1.1.1"><minus id="A2.Ex39.m1.3.3.1.1.2.2.1.1.1.1.1.1.1.cmml" xref="A2.Ex39.m1.3.3.1.1.2.2.1.1.1.1.1.1.1"></minus><cn type="integer" id="A2.Ex39.m1.3.3.1.1.2.2.1.1.1.1.1.1.2.cmml" xref="A2.Ex39.m1.3.3.1.1.2.2.1.1.1.1.1.1.2">1</cn><ci id="A2.Ex39.m1.3.3.1.1.2.2.1.1.1.1.1.1.3.cmml" xref="A2.Ex39.m1.3.3.1.1.2.2.1.1.1.1.1.1.3">𝑝</ci></apply><apply id="A2.Ex39.m1.3.3.1.1.2.2.1.1.1.4.cmml" xref="A2.Ex39.m1.3.3.1.1.2.2.1.1.1.4"><csymbol cd="ambiguous" id="A2.Ex39.m1.3.3.1.1.2.2.1.1.1.4.1.cmml" xref="A2.Ex39.m1.3.3.1.1.2.2.1.1.1.4">subscript</csymbol><ci id="A2.Ex39.m1.3.3.1.1.2.2.1.1.1.4.2.cmml" xref="A2.Ex39.m1.3.3.1.1.2.2.1.1.1.4.2">𝑟</ci><cn type="integer" id="A2.Ex39.m1.3.3.1.1.2.2.1.1.1.4.3.cmml" xref="A2.Ex39.m1.3.3.1.1.2.2.1.1.1.4.3">1</cn></apply></apply><apply id="A2.Ex39.m1.3.3.1.1.2.2.1.1.4.cmml" xref="A2.Ex39.m1.3.3.1.1.2.2.1.1.4"><times id="A2.Ex39.m1.3.3.1.1.2.2.1.1.4.1.cmml" xref="A2.Ex39.m1.3.3.1.1.2.2.1.1.4.1"></times><cn type="integer" id="A2.Ex39.m1.3.3.1.1.2.2.1.1.4.2.cmml" xref="A2.Ex39.m1.3.3.1.1.2.2.1.1.4.2">2</cn><ci id="A2.Ex39.m1.3.3.1.1.2.2.1.1.4.3.cmml" xref="A2.Ex39.m1.3.3.1.1.2.2.1.1.4.3">𝑝</ci><apply id="A2.Ex39.m1.3.3.1.1.2.2.1.1.4.4.cmml" xref="A2.Ex39.m1.3.3.1.1.2.2.1.1.4.4"><csymbol cd="ambiguous" id="A2.Ex39.m1.3.3.1.1.2.2.1.1.4.4.1.cmml" xref="A2.Ex39.m1.3.3.1.1.2.2.1.1.4.4">subscript</csymbol><ci id="A2.Ex39.m1.3.3.1.1.2.2.1.1.4.4.2.cmml" xref="A2.Ex39.m1.3.3.1.1.2.2.1.1.4.4.2">𝑟</ci><cn type="integer" id="A2.Ex39.m1.3.3.1.1.2.2.1.1.4.4.3.cmml" xref="A2.Ex39.m1.3.3.1.1.2.2.1.1.4.4.3">2</cn></apply></apply></apply></apply></apply></apply><apply id="A2.Ex39.m1.3.3.1.1c.cmml" xref="A2.Ex39.m1.3.3.1"><lt id="A2.Ex39.m1.3.3.1.1.6.cmml" xref="A2.Ex39.m1.3.3.1.1.6"></lt><share href="#A2.Ex39.m1.3.3.1.1.2.cmml" id="A2.Ex39.m1.3.3.1.1d.cmml" xref="A2.Ex39.m1.3.3.1"></share><cn type="integer" id="A2.Ex39.m1.3.3.1.1.7.cmml" xref="A2.Ex39.m1.3.3.1.1.7">0</cn></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="A2.Ex39.m1.3c">\displaystyle\quad\mathrm{Var}[\widetilde{g}]-\mathrm{Var}[g]=2p(1-p)\left[r_{2}-2(1-p)r_{1}-2pr_{2}\right]&lt;0,</annotation></semantics></math></td>
<td class="ltx_eqn_cell ltx_eqn_center_padright"></td>
</tr></tbody>
</table>
<p id="A2.SS2.1.p1.11" class="ltx_p">where the last inequality uses the condition <math id="A2.SS2.1.p1.11.m1.1" class="ltx_Math" alttext="p\leq 0.5" display="inline"><semantics id="A2.SS2.1.p1.11.m1.1a"><mrow id="A2.SS2.1.p1.11.m1.1.1" xref="A2.SS2.1.p1.11.m1.1.1.cmml"><mi id="A2.SS2.1.p1.11.m1.1.1.2" xref="A2.SS2.1.p1.11.m1.1.1.2.cmml">p</mi><mo id="A2.SS2.1.p1.11.m1.1.1.1" xref="A2.SS2.1.p1.11.m1.1.1.1.cmml">≤</mo><mn id="A2.SS2.1.p1.11.m1.1.1.3" xref="A2.SS2.1.p1.11.m1.1.1.3.cmml">0.5</mn></mrow><annotation-xml encoding="MathML-Content" id="A2.SS2.1.p1.11.m1.1b"><apply id="A2.SS2.1.p1.11.m1.1.1.cmml" xref="A2.SS2.1.p1.11.m1.1.1"><leq id="A2.SS2.1.p1.11.m1.1.1.1.cmml" xref="A2.SS2.1.p1.11.m1.1.1.1"></leq><ci id="A2.SS2.1.p1.11.m1.1.1.2.cmml" xref="A2.SS2.1.p1.11.m1.1.1.2">𝑝</ci><cn type="float" id="A2.SS2.1.p1.11.m1.1.1.3.cmml" xref="A2.SS2.1.p1.11.m1.1.1.3">0.5</cn></apply></annotation-xml><annotation encoding="application/x-tex" id="A2.SS2.1.p1.11.m1.1c">p\leq 0.5</annotation></semantics></math>.
∎</p>
</div>
</div>
</section>
<section id="A2.SS3" class="ltx_subsection">
<h3 class="ltx_title ltx_title_subsection">
<span class="ltx_tag ltx_tag_subsection">B.3 </span>Baseline Value with Maximum Variance Reduction</h3>

<div id="A2.SS3.p1" class="ltx_para">
<p id="A2.SS3.p1.1" class="ltx_p">In spirit of <cite class="ltx_cite ltx_citemacro_citep">[Greensmith et al., <a href="#bib.bib13" title="" class="ltx_ref">2004</a>]</cite>, we can derive the optimal baseline value that maximizes the variance reduction in our set up.</p>
</div>
<div id="Thmprop3" class="ltx_theorem ltx_theorem_prop">
<h6 class="ltx_title ltx_runin ltx_title_theorem">
<span class="ltx_tag ltx_tag_theorem"><span id="Thmprop3.1.1.1" class="ltx_text ltx_font_bold">Proposition 3</span></span><span id="Thmprop3.2.2" class="ltx_text ltx_font_bold">.</span>
</h6>
<div id="Thmprop3.p1" class="ltx_para">
<p id="Thmprop3.p1.2" class="ltx_p"><span id="Thmprop3.p1.2.2" class="ltx_text ltx_font_italic">For any prompt <math id="Thmprop3.p1.1.1.m1.1" class="ltx_Math" alttext="x" display="inline"><semantics id="Thmprop3.p1.1.1.m1.1a"><mi id="Thmprop3.p1.1.1.m1.1.1" xref="Thmprop3.p1.1.1.m1.1.1.cmml">x</mi><annotation-xml encoding="MathML-Content" id="Thmprop3.p1.1.1.m1.1b"><ci id="Thmprop3.p1.1.1.m1.1.1.cmml" xref="Thmprop3.p1.1.1.m1.1.1">𝑥</ci></annotation-xml><annotation encoding="application/x-tex" id="Thmprop3.p1.1.1.m1.1c">x</annotation></semantics></math>, consider the gradient estimator with a subtracting baseline value <math id="Thmprop3.p1.2.2.m2.1" class="ltx_Math" alttext="b_{x}" display="inline"><semantics id="Thmprop3.p1.2.2.m2.1a"><msub id="Thmprop3.p1.2.2.m2.1.1" xref="Thmprop3.p1.2.2.m2.1.1.cmml"><mi id="Thmprop3.p1.2.2.m2.1.1.2" xref="Thmprop3.p1.2.2.m2.1.1.2.cmml">b</mi><mi id="Thmprop3.p1.2.2.m2.1.1.3" xref="Thmprop3.p1.2.2.m2.1.1.3.cmml">x</mi></msub><annotation-xml encoding="MathML-Content" id="Thmprop3.p1.2.2.m2.1b"><apply id="Thmprop3.p1.2.2.m2.1.1.cmml" xref="Thmprop3.p1.2.2.m2.1.1"><csymbol cd="ambiguous" id="Thmprop3.p1.2.2.m2.1.1.1.cmml" xref="Thmprop3.p1.2.2.m2.1.1">subscript</csymbol><ci id="Thmprop3.p1.2.2.m2.1.1.2.cmml" xref="Thmprop3.p1.2.2.m2.1.1.2">𝑏</ci><ci id="Thmprop3.p1.2.2.m2.1.1.3.cmml" xref="Thmprop3.p1.2.2.m2.1.1.3">𝑥</ci></apply></annotation-xml><annotation encoding="application/x-tex" id="Thmprop3.p1.2.2.m2.1c">b_{x}</annotation></semantics></math>:</span></p>
<table id="A5.EGx18" class="ltx_equationgroup ltx_eqn_align ltx_eqn_table">

<tbody id="A2.Ex40"><tr class="ltx_equation ltx_eqn_row ltx_align_baseline">
<td class="ltx_eqn_cell ltx_eqn_center_padleft"></td>
<td class="ltx_td ltx_align_right ltx_eqn_cell"><math id="A2.Ex40.m1.2" class="ltx_math_unparsed" alttext="\displaystyle\widetilde{g}_{x}=\sum_{t=1}^{T}\nabla_{\theta}\log\pi_{\theta}(a_{t}|x,a_{1:t-1})\left(r(x,a_{1:T})-b_{x}\right),\quad a_{t}\sim\pi_{\theta}(\cdot|x,a_{1:t-1})\quad\forall t\geq 1." display="inline"><semantics id="A2.Ex40.m1.2a"><mrow id="A2.Ex40.m1.2b"><msub id="A2.Ex40.m1.2.3"><mover accent="true" id="A2.Ex40.m1.2.3.2"><mi id="A2.Ex40.m1.2.3.2.2">g</mi><mo id="A2.Ex40.m1.2.3.2.1">~</mo></mover><mi id="A2.Ex40.m1.2.3.3">x</mi></msub><mo id="A2.Ex40.m1.2.4">=</mo><mstyle displaystyle="true" id="A2.Ex40.m1.2.5"><munderover id="A2.Ex40.m1.2.5a"><mo movablelimits="false" id="A2.Ex40.m1.2.5.2.2">∑</mo><mrow id="A2.Ex40.m1.2.5.2.3"><mi id="A2.Ex40.m1.2.5.2.3.2">t</mi><mo id="A2.Ex40.m1.2.5.2.3.1">=</mo><mn id="A2.Ex40.m1.2.5.2.3.3">1</mn></mrow><mi id="A2.Ex40.m1.2.5.3">T</mi></munderover></mstyle><msub id="A2.Ex40.m1.2.6"><mo lspace="0.167em" rspace="0.167em" id="A2.Ex40.m1.2.6.2">∇</mo><mi id="A2.Ex40.m1.2.6.3">θ</mi></msub><mi id="A2.Ex40.m1.2.7">log</mi><msub id="A2.Ex40.m1.2.8"><mi id="A2.Ex40.m1.2.8.2">π</mi><mi id="A2.Ex40.m1.2.8.3">θ</mi></msub><mrow id="A2.Ex40.m1.2.9"><mo stretchy="false" id="A2.Ex40.m1.2.9.1">(</mo><msub id="A2.Ex40.m1.2.9.2"><mi id="A2.Ex40.m1.2.9.2.2">a</mi><mi id="A2.Ex40.m1.2.9.2.3">t</mi></msub><mo fence="false" rspace="0.167em" stretchy="false" id="A2.Ex40.m1.2.9.3">|</mo><mi id="A2.Ex40.m1.1.1">x</mi><mo id="A2.Ex40.m1.2.9.4">,</mo><msub id="A2.Ex40.m1.2.9.5"><mi id="A2.Ex40.m1.2.9.5.2">a</mi><mrow id="A2.Ex40.m1.2.9.5.3"><mn id="A2.Ex40.m1.2.9.5.3.2">1</mn><mo lspace="0.278em" rspace="0.278em" id="A2.Ex40.m1.2.9.5.3.1">:</mo><mrow id="A2.Ex40.m1.2.9.5.3.3"><mi id="A2.Ex40.m1.2.9.5.3.3.2">t</mi><mo id="A2.Ex40.m1.2.9.5.3.3.1">−</mo><mn id="A2.Ex40.m1.2.9.5.3.3.3">1</mn></mrow></mrow></msub><mo stretchy="false" id="A2.Ex40.m1.2.9.6">)</mo></mrow><mrow id="A2.Ex40.m1.2.10"><mo id="A2.Ex40.m1.2.10.1">(</mo><mi id="A2.Ex40.m1.2.10.2">r</mi><mrow id="A2.Ex40.m1.2.10.3"><mo stretchy="false" id="A2.Ex40.m1.2.10.3.1">(</mo><mi id="A2.Ex40.m1.2.2">x</mi><mo id="A2.Ex40.m1.2.10.3.2">,</mo><msub id="A2.Ex40.m1.2.10.3.3"><mi id="A2.Ex40.m1.2.10.3.3.2">a</mi><mrow id="A2.Ex40.m1.2.10.3.3.3"><mn id="A2.Ex40.m1.2.10.3.3.3.2">1</mn><mo lspace="0.278em" rspace="0.278em" id="A2.Ex40.m1.2.10.3.3.3.1">:</mo><mi id="A2.Ex40.m1.2.10.3.3.3.3">T</mi></mrow></msub><mo stretchy="false" id="A2.Ex40.m1.2.10.3.4">)</mo></mrow><mo id="A2.Ex40.m1.2.10.4">−</mo><msub id="A2.Ex40.m1.2.10.5"><mi id="A2.Ex40.m1.2.10.5.2">b</mi><mi id="A2.Ex40.m1.2.10.5.3">x</mi></msub><mo id="A2.Ex40.m1.2.10.6">)</mo></mrow><mo rspace="1.167em" id="A2.Ex40.m1.2.11">,</mo><msub id="A2.Ex40.m1.2.12"><mi id="A2.Ex40.m1.2.12.2">a</mi><mi id="A2.Ex40.m1.2.12.3">t</mi></msub><mo id="A2.Ex40.m1.2.13">∼</mo><msub id="A2.Ex40.m1.2.14"><mi id="A2.Ex40.m1.2.14.2">π</mi><mi id="A2.Ex40.m1.2.14.3">θ</mi></msub><mrow id="A2.Ex40.m1.2.15"><mo stretchy="false" id="A2.Ex40.m1.2.15.1">(</mo><mo lspace="0em" rspace="0em" id="A2.Ex40.m1.2.15.2">⋅</mo><mo fence="false" rspace="0.167em" stretchy="false" id="A2.Ex40.m1.2.15.3">|</mo><mi id="A2.Ex40.m1.2.15.4">x</mi><mo id="A2.Ex40.m1.2.15.5">,</mo><msub id="A2.Ex40.m1.2.15.6"><mi id="A2.Ex40.m1.2.15.6.2">a</mi><mrow id="A2.Ex40.m1.2.15.6.3"><mn id="A2.Ex40.m1.2.15.6.3.2">1</mn><mo lspace="0.278em" rspace="0.278em" id="A2.Ex40.m1.2.15.6.3.1">:</mo><mrow id="A2.Ex40.m1.2.15.6.3.3"><mi id="A2.Ex40.m1.2.15.6.3.3.2">t</mi><mo id="A2.Ex40.m1.2.15.6.3.3.1">−</mo><mn id="A2.Ex40.m1.2.15.6.3.3.3">1</mn></mrow></mrow></msub><mo stretchy="false" id="A2.Ex40.m1.2.15.7">)</mo></mrow><mspace width="1.167em" id="A2.Ex40.m1.2.16"></mspace><mo rspace="0.167em" id="A2.Ex40.m1.2.17">∀</mo><mi id="A2.Ex40.m1.2.18">t</mi><mo id="A2.Ex40.m1.2.19">≥</mo><mn id="A2.Ex40.m1.2.20">1</mn><mo lspace="0em" id="A2.Ex40.m1.2.21">.</mo></mrow><annotation encoding="application/x-tex" id="A2.Ex40.m1.2c">\displaystyle\widetilde{g}_{x}=\sum_{t=1}^{T}\nabla_{\theta}\log\pi_{\theta}(a_{t}|x,a_{1:t-1})\left(r(x,a_{1:T})-b_{x}\right),\quad a_{t}\sim\pi_{\theta}(\cdot|x,a_{1:t-1})\quad\forall t\geq 1.</annotation></semantics></math></td>
<td class="ltx_eqn_cell ltx_eqn_center_padright"></td>
</tr></tbody>
</table>
<p id="Thmprop3.p1.3" class="ltx_p"><span id="Thmprop3.p1.3.1" class="ltx_text ltx_font_italic">Then, the optimal baseline value that achieves the variance reduction is</span></p>
<table id="A5.EGx19" class="ltx_equationgroup ltx_eqn_align ltx_eqn_table">

<tbody id="A2.E6"><tr class="ltx_equation ltx_eqn_row ltx_align_baseline">
<td class="ltx_eqn_cell ltx_eqn_center_padleft"></td>
<td class="ltx_td ltx_align_right ltx_eqn_cell"><math id="A2.E6.m1.3" class="ltx_math_unparsed" alttext="\displaystyle b_{x}^{\star}=\frac{\mathbb{E}_{a_{1:T}\sim\pi_{\theta}}\left[\left\|\sum_{t=1}^{T}\nabla_{\theta}\log\pi_{\theta}(a_{t}|x,a_{1:t-1})\right\|^{2}r(x,a_{1:T})\right]}{\mathbb{E}_{a_{1:T}\sim\pi_{\theta}}\left[\left\|\sum_{t=1}^{T}\nabla_{\theta}\log\pi_{\theta}(a_{t}|x,a_{1:t-1})\right\|^{2}\right]}." display="inline"><semantics id="A2.E6.m1.3a"><mrow id="A2.E6.m1.3.3.1"><mrow id="A2.E6.m1.3.3.1.1"><msubsup id="A2.E6.m1.3.3.1.1.2"><mi id="A2.E6.m1.3.3.1.1.2.2.2">b</mi><mi id="A2.E6.m1.3.3.1.1.2.2.3">x</mi><mo id="A2.E6.m1.3.3.1.1.2.3">⋆</mo></msubsup><mo id="A2.E6.m1.3.3.1.1.1">=</mo><mstyle displaystyle="true" id="A2.E6.m1.2.2"><mfrac id="A2.E6.m1.2.2a"><mrow id="A2.E6.m1.1.1.1"><msub id="A2.E6.m1.1.1.1.2"><mi id="A2.E6.m1.1.1.1.2.2">𝔼</mi><mrow id="A2.E6.m1.1.1.1.2.3"><msub id="A2.E6.m1.1.1.1.2.3.2"><mi id="A2.E6.m1.1.1.1.2.3.2.2">a</mi><mrow id="A2.E6.m1.1.1.1.2.3.2.3"><mn id="A2.E6.m1.1.1.1.2.3.2.3.2">1</mn><mo lspace="0.278em" rspace="0.278em" id="A2.E6.m1.1.1.1.2.3.2.3.1">:</mo><mi id="A2.E6.m1.1.1.1.2.3.2.3.3">T</mi></mrow></msub><mo id="A2.E6.m1.1.1.1.2.3.1">∼</mo><msub id="A2.E6.m1.1.1.1.2.3.3"><mi id="A2.E6.m1.1.1.1.2.3.3.2">π</mi><mi id="A2.E6.m1.1.1.1.2.3.3.3">θ</mi></msub></mrow></msub><mrow id="A2.E6.m1.1.1.1.3"><mo id="A2.E6.m1.1.1.1.3.1">[</mo><mo lspace="0em" rspace="0em" stretchy="true" id="A2.E6.m1.1.1.1.3.2">∥</mo><msubsup id="A2.E6.m1.1.1.1.3.3"><mo id="A2.E6.m1.1.1.1.3.3.2.2">∑</mo><mrow id="A2.E6.m1.1.1.1.3.3.2.3"><mi id="A2.E6.m1.1.1.1.3.3.2.3.2">t</mi><mo id="A2.E6.m1.1.1.1.3.3.2.3.1">=</mo><mn id="A2.E6.m1.1.1.1.3.3.2.3.3">1</mn></mrow><mi id="A2.E6.m1.1.1.1.3.3.3">T</mi></msubsup><msub id="A2.E6.m1.1.1.1.3.4"><mo rspace="0.167em" id="A2.E6.m1.1.1.1.3.4.2">∇</mo><mi id="A2.E6.m1.1.1.1.3.4.3">θ</mi></msub><mi id="A2.E6.m1.1.1.1.3.5">log</mi><msub id="A2.E6.m1.1.1.1.3.6"><mi id="A2.E6.m1.1.1.1.3.6.2">π</mi><mi id="A2.E6.m1.1.1.1.3.6.3">θ</mi></msub><mrow id="A2.E6.m1.1.1.1.3.7"><mo stretchy="false" id="A2.E6.m1.1.1.1.3.7.1">(</mo><msub id="A2.E6.m1.1.1.1.3.7.2"><mi id="A2.E6.m1.1.1.1.3.7.2.2">a</mi><mi id="A2.E6.m1.1.1.1.3.7.2.3">t</mi></msub><mo fence="false" rspace="0.167em" stretchy="false" id="A2.E6.m1.1.1.1.3.7.3">|</mo><mi id="A2.E6.m1.1.1.1.1">x</mi><mo id="A2.E6.m1.1.1.1.3.7.4">,</mo><msub id="A2.E6.m1.1.1.1.3.7.5"><mi id="A2.E6.m1.1.1.1.3.7.5.2">a</mi><mrow id="A2.E6.m1.1.1.1.3.7.5.3"><mn id="A2.E6.m1.1.1.1.3.7.5.3.2">1</mn><mo lspace="0.278em" rspace="0.278em" id="A2.E6.m1.1.1.1.3.7.5.3.1">:</mo><mrow id="A2.E6.m1.1.1.1.3.7.5.3.3"><mi id="A2.E6.m1.1.1.1.3.7.5.3.3.2">t</mi><mo id="A2.E6.m1.1.1.1.3.7.5.3.3.1">−</mo><mn id="A2.E6.m1.1.1.1.3.7.5.3.3.3">1</mn></mrow></mrow></msub><mo stretchy="false" id="A2.E6.m1.1.1.1.3.7.6">)</mo></mrow><msup id="A2.E6.m1.1.1.1.3.8"><mo lspace="0em" rspace="0.167em" stretchy="true" id="A2.E6.m1.1.1.1.3.8.2">∥</mo><mn id="A2.E6.m1.1.1.1.3.8.3">2</mn></msup><mi id="A2.E6.m1.1.1.1.3.9">r</mi><mrow id="A2.E6.m1.1.1.1.3.10"><mo stretchy="false" id="A2.E6.m1.1.1.1.3.10.1">(</mo><mi id="A2.E6.m1.1.1.1.3.10.2">x</mi><mo id="A2.E6.m1.1.1.1.3.10.3">,</mo><msub id="A2.E6.m1.1.1.1.3.10.4"><mi id="A2.E6.m1.1.1.1.3.10.4.2">a</mi><mrow id="A2.E6.m1.1.1.1.3.10.4.3"><mn id="A2.E6.m1.1.1.1.3.10.4.3.2">1</mn><mo lspace="0.278em" rspace="0.278em" id="A2.E6.m1.1.1.1.3.10.4.3.1">:</mo><mi id="A2.E6.m1.1.1.1.3.10.4.3.3">T</mi></mrow></msub><mo stretchy="false" id="A2.E6.m1.1.1.1.3.10.5">)</mo></mrow><mo id="A2.E6.m1.1.1.1.3.11">]</mo></mrow></mrow><mrow id="A2.E6.m1.2.2.2"><msub id="A2.E6.m1.2.2.2.2"><mi id="A2.E6.m1.2.2.2.2.2">𝔼</mi><mrow id="A2.E6.m1.2.2.2.2.3"><msub id="A2.E6.m1.2.2.2.2.3.2"><mi id="A2.E6.m1.2.2.2.2.3.2.2">a</mi><mrow id="A2.E6.m1.2.2.2.2.3.2.3"><mn id="A2.E6.m1.2.2.2.2.3.2.3.2">1</mn><mo lspace="0.278em" rspace="0.278em" id="A2.E6.m1.2.2.2.2.3.2.3.1">:</mo><mi id="A2.E6.m1.2.2.2.2.3.2.3.3">T</mi></mrow></msub><mo id="A2.E6.m1.2.2.2.2.3.1">∼</mo><msub id="A2.E6.m1.2.2.2.2.3.3"><mi id="A2.E6.m1.2.2.2.2.3.3.2">π</mi><mi id="A2.E6.m1.2.2.2.2.3.3.3">θ</mi></msub></mrow></msub><mrow id="A2.E6.m1.2.2.2.3"><mo id="A2.E6.m1.2.2.2.3.1">[</mo><mo lspace="0em" rspace="0em" stretchy="true" id="A2.E6.m1.2.2.2.3.2">∥</mo><msubsup id="A2.E6.m1.2.2.2.3.3"><mo id="A2.E6.m1.2.2.2.3.3.2.2">∑</mo><mrow id="A2.E6.m1.2.2.2.3.3.2.3"><mi id="A2.E6.m1.2.2.2.3.3.2.3.2">t</mi><mo id="A2.E6.m1.2.2.2.3.3.2.3.1">=</mo><mn id="A2.E6.m1.2.2.2.3.3.2.3.3">1</mn></mrow><mi id="A2.E6.m1.2.2.2.3.3.3">T</mi></msubsup><msub id="A2.E6.m1.2.2.2.3.4"><mo rspace="0.167em" id="A2.E6.m1.2.2.2.3.4.2">∇</mo><mi id="A2.E6.m1.2.2.2.3.4.3">θ</mi></msub><mi id="A2.E6.m1.2.2.2.3.5">log</mi><msub id="A2.E6.m1.2.2.2.3.6"><mi id="A2.E6.m1.2.2.2.3.6.2">π</mi><mi id="A2.E6.m1.2.2.2.3.6.3">θ</mi></msub><mrow id="A2.E6.m1.2.2.2.3.7"><mo stretchy="false" id="A2.E6.m1.2.2.2.3.7.1">(</mo><msub id="A2.E6.m1.2.2.2.3.7.2"><mi id="A2.E6.m1.2.2.2.3.7.2.2">a</mi><mi id="A2.E6.m1.2.2.2.3.7.2.3">t</mi></msub><mo fence="false" rspace="0.167em" stretchy="false" id="A2.E6.m1.2.2.2.3.7.3">|</mo><mi id="A2.E6.m1.2.2.2.1">x</mi><mo id="A2.E6.m1.2.2.2.3.7.4">,</mo><msub id="A2.E6.m1.2.2.2.3.7.5"><mi id="A2.E6.m1.2.2.2.3.7.5.2">a</mi><mrow id="A2.E6.m1.2.2.2.3.7.5.3"><mn id="A2.E6.m1.2.2.2.3.7.5.3.2">1</mn><mo lspace="0.278em" rspace="0.278em" id="A2.E6.m1.2.2.2.3.7.5.3.1">:</mo><mrow id="A2.E6.m1.2.2.2.3.7.5.3.3"><mi id="A2.E6.m1.2.2.2.3.7.5.3.3.2">t</mi><mo id="A2.E6.m1.2.2.2.3.7.5.3.3.1">−</mo><mn id="A2.E6.m1.2.2.2.3.7.5.3.3.3">1</mn></mrow></mrow></msub><mo stretchy="false" id="A2.E6.m1.2.2.2.3.7.6">)</mo></mrow><msup id="A2.E6.m1.2.2.2.3.8"><mo lspace="0em" rspace="0.167em" stretchy="true" id="A2.E6.m1.2.2.2.3.8.2">∥</mo><mn id="A2.E6.m1.2.2.2.3.8.3">2</mn></msup><mo id="A2.E6.m1.2.2.2.3.9">]</mo></mrow></mrow></mfrac></mstyle></mrow><mo lspace="0em" id="A2.E6.m1.3.3.1.2">.</mo></mrow><annotation encoding="application/x-tex" id="A2.E6.m1.3b">\displaystyle b_{x}^{\star}=\frac{\mathbb{E}_{a_{1:T}\sim\pi_{\theta}}\left[\left\|\sum_{t=1}^{T}\nabla_{\theta}\log\pi_{\theta}(a_{t}|x,a_{1:t-1})\right\|^{2}r(x,a_{1:T})\right]}{\mathbb{E}_{a_{1:T}\sim\pi_{\theta}}\left[\left\|\sum_{t=1}^{T}\nabla_{\theta}\log\pi_{\theta}(a_{t}|x,a_{1:t-1})\right\|^{2}\right]}.</annotation></semantics></math></td>
<td class="ltx_eqn_cell ltx_eqn_center_padright"></td>
<td rowspan="1" class="ltx_eqn_cell ltx_eqn_eqno ltx_align_middle ltx_align_right"><span class="ltx_tag ltx_tag_equation ltx_align_right">(6)</span></td>
</tr></tbody>
</table>
</div>
</div>
<div id="A2.SS3.1" class="ltx_proof">
<h6 class="ltx_title ltx_runin ltx_font_italic ltx_title_proof">Proof.</h6>
<div id="A2.SS3.1.p1" class="ltx_para">
<p id="A2.SS3.1.p1.1" class="ltx_p">For any prompt <math id="A2.SS3.1.p1.1.m1.1" class="ltx_Math" alttext="x" display="inline"><semantics id="A2.SS3.1.p1.1.m1.1a"><mi id="A2.SS3.1.p1.1.m1.1.1" xref="A2.SS3.1.p1.1.m1.1.1.cmml">x</mi><annotation-xml encoding="MathML-Content" id="A2.SS3.1.p1.1.m1.1b"><ci id="A2.SS3.1.p1.1.m1.1.1.cmml" xref="A2.SS3.1.p1.1.m1.1.1">𝑥</ci></annotation-xml><annotation encoding="application/x-tex" id="A2.SS3.1.p1.1.m1.1c">x</annotation></semantics></math>, we have</p>
<table id="A5.EGx20" class="ltx_equationgroup ltx_eqn_align ltx_eqn_table">

<tbody id="A2.Ex41"><tr class="ltx_equation ltx_eqn_row ltx_align_baseline">
<td class="ltx_eqn_cell ltx_eqn_center_padleft"></td>
<td class="ltx_td ltx_align_right ltx_eqn_cell"><math id="A2.Ex41.m1.2" class="ltx_Math" alttext="\displaystyle\mathrm{Var}[\widetilde{g}_{x}]-\mathrm{Var}[\widehat{g}_{x}]" display="inline"><semantics id="A2.Ex41.m1.2a"><mrow id="A2.Ex41.m1.2.2" xref="A2.Ex41.m1.2.2.cmml"><mrow id="A2.Ex41.m1.1.1.1" xref="A2.Ex41.m1.1.1.1.cmml"><mi id="A2.Ex41.m1.1.1.1.3" xref="A2.Ex41.m1.1.1.1.3.cmml">Var</mi><mo lspace="0em" rspace="0em" id="A2.Ex41.m1.1.1.1.2" xref="A2.Ex41.m1.1.1.1.2.cmml">​</mo><mrow id="A2.Ex41.m1.1.1.1.1.1" xref="A2.Ex41.m1.1.1.1.1.2.cmml"><mo stretchy="false" id="A2.Ex41.m1.1.1.1.1.1.2" xref="A2.Ex41.m1.1.1.1.1.2.1.cmml">[</mo><msub id="A2.Ex41.m1.1.1.1.1.1.1" xref="A2.Ex41.m1.1.1.1.1.1.1.cmml"><mover accent="true" id="A2.Ex41.m1.1.1.1.1.1.1.2" xref="A2.Ex41.m1.1.1.1.1.1.1.2.cmml"><mi id="A2.Ex41.m1.1.1.1.1.1.1.2.2" xref="A2.Ex41.m1.1.1.1.1.1.1.2.2.cmml">g</mi><mo id="A2.Ex41.m1.1.1.1.1.1.1.2.1" xref="A2.Ex41.m1.1.1.1.1.1.1.2.1.cmml">~</mo></mover><mi id="A2.Ex41.m1.1.1.1.1.1.1.3" xref="A2.Ex41.m1.1.1.1.1.1.1.3.cmml">x</mi></msub><mo stretchy="false" id="A2.Ex41.m1.1.1.1.1.1.3" xref="A2.Ex41.m1.1.1.1.1.2.1.cmml">]</mo></mrow></mrow><mo id="A2.Ex41.m1.2.2.3" xref="A2.Ex41.m1.2.2.3.cmml">−</mo><mrow id="A2.Ex41.m1.2.2.2" xref="A2.Ex41.m1.2.2.2.cmml"><mi id="A2.Ex41.m1.2.2.2.3" xref="A2.Ex41.m1.2.2.2.3.cmml">Var</mi><mo lspace="0em" rspace="0em" id="A2.Ex41.m1.2.2.2.2" xref="A2.Ex41.m1.2.2.2.2.cmml">​</mo><mrow id="A2.Ex41.m1.2.2.2.1.1" xref="A2.Ex41.m1.2.2.2.1.2.cmml"><mo stretchy="false" id="A2.Ex41.m1.2.2.2.1.1.2" xref="A2.Ex41.m1.2.2.2.1.2.1.cmml">[</mo><msub id="A2.Ex41.m1.2.2.2.1.1.1" xref="A2.Ex41.m1.2.2.2.1.1.1.cmml"><mover accent="true" id="A2.Ex41.m1.2.2.2.1.1.1.2" xref="A2.Ex41.m1.2.2.2.1.1.1.2.cmml"><mi id="A2.Ex41.m1.2.2.2.1.1.1.2.2" xref="A2.Ex41.m1.2.2.2.1.1.1.2.2.cmml">g</mi><mo id="A2.Ex41.m1.2.2.2.1.1.1.2.1" xref="A2.Ex41.m1.2.2.2.1.1.1.2.1.cmml">^</mo></mover><mi id="A2.Ex41.m1.2.2.2.1.1.1.3" xref="A2.Ex41.m1.2.2.2.1.1.1.3.cmml">x</mi></msub><mo stretchy="false" id="A2.Ex41.m1.2.2.2.1.1.3" xref="A2.Ex41.m1.2.2.2.1.2.1.cmml">]</mo></mrow></mrow></mrow><annotation-xml encoding="MathML-Content" id="A2.Ex41.m1.2b"><apply id="A2.Ex41.m1.2.2.cmml" xref="A2.Ex41.m1.2.2"><minus id="A2.Ex41.m1.2.2.3.cmml" xref="A2.Ex41.m1.2.2.3"></minus><apply id="A2.Ex41.m1.1.1.1.cmml" xref="A2.Ex41.m1.1.1.1"><times id="A2.Ex41.m1.1.1.1.2.cmml" xref="A2.Ex41.m1.1.1.1.2"></times><ci id="A2.Ex41.m1.1.1.1.3.cmml" xref="A2.Ex41.m1.1.1.1.3">Var</ci><apply id="A2.Ex41.m1.1.1.1.1.2.cmml" xref="A2.Ex41.m1.1.1.1.1.1"><csymbol cd="latexml" id="A2.Ex41.m1.1.1.1.1.2.1.cmml" xref="A2.Ex41.m1.1.1.1.1.1.2">delimited-[]</csymbol><apply id="A2.Ex41.m1.1.1.1.1.1.1.cmml" xref="A2.Ex41.m1.1.1.1.1.1.1"><csymbol cd="ambiguous" id="A2.Ex41.m1.1.1.1.1.1.1.1.cmml" xref="A2.Ex41.m1.1.1.1.1.1.1">subscript</csymbol><apply id="A2.Ex41.m1.1.1.1.1.1.1.2.cmml" xref="A2.Ex41.m1.1.1.1.1.1.1.2"><ci id="A2.Ex41.m1.1.1.1.1.1.1.2.1.cmml" xref="A2.Ex41.m1.1.1.1.1.1.1.2.1">~</ci><ci id="A2.Ex41.m1.1.1.1.1.1.1.2.2.cmml" xref="A2.Ex41.m1.1.1.1.1.1.1.2.2">𝑔</ci></apply><ci id="A2.Ex41.m1.1.1.1.1.1.1.3.cmml" xref="A2.Ex41.m1.1.1.1.1.1.1.3">𝑥</ci></apply></apply></apply><apply id="A2.Ex41.m1.2.2.2.cmml" xref="A2.Ex41.m1.2.2.2"><times id="A2.Ex41.m1.2.2.2.2.cmml" xref="A2.Ex41.m1.2.2.2.2"></times><ci id="A2.Ex41.m1.2.2.2.3.cmml" xref="A2.Ex41.m1.2.2.2.3">Var</ci><apply id="A2.Ex41.m1.2.2.2.1.2.cmml" xref="A2.Ex41.m1.2.2.2.1.1"><csymbol cd="latexml" id="A2.Ex41.m1.2.2.2.1.2.1.cmml" xref="A2.Ex41.m1.2.2.2.1.1.2">delimited-[]</csymbol><apply id="A2.Ex41.m1.2.2.2.1.1.1.cmml" xref="A2.Ex41.m1.2.2.2.1.1.1"><csymbol cd="ambiguous" id="A2.Ex41.m1.2.2.2.1.1.1.1.cmml" xref="A2.Ex41.m1.2.2.2.1.1.1">subscript</csymbol><apply id="A2.Ex41.m1.2.2.2.1.1.1.2.cmml" xref="A2.Ex41.m1.2.2.2.1.1.1.2"><ci id="A2.Ex41.m1.2.2.2.1.1.1.2.1.cmml" xref="A2.Ex41.m1.2.2.2.1.1.1.2.1">^</ci><ci id="A2.Ex41.m1.2.2.2.1.1.1.2.2.cmml" xref="A2.Ex41.m1.2.2.2.1.1.1.2.2">𝑔</ci></apply><ci id="A2.Ex41.m1.2.2.2.1.1.1.3.cmml" xref="A2.Ex41.m1.2.2.2.1.1.1.3">𝑥</ci></apply></apply></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="A2.Ex41.m1.2c">\displaystyle\mathrm{Var}[\widetilde{g}_{x}]-\mathrm{Var}[\widehat{g}_{x}]</annotation></semantics></math></td>
<td class="ltx_td ltx_align_left ltx_eqn_cell"><math id="A2.Ex41.m2.3" class="ltx_Math" alttext="\displaystyle=\mathbb{E}\left[(\widetilde{g}_{x}-\mathbb{E}[\widetilde{g}_{x}])^{\top}(\widetilde{g}_{x}-\mathbb{E}[\widetilde{g}_{x}])\right]-\mathbb{E}\left[(\widehat{g}_{x}-\mathbb{E}[\widehat{g}_{x}])^{\top}(\widehat{g}_{x}-\mathbb{E}[\widehat{g_{x}}])\right]" display="inline"><semantics id="A2.Ex41.m2.3a"><mrow id="A2.Ex41.m2.3.3" xref="A2.Ex41.m2.3.3.cmml"><mi id="A2.Ex41.m2.3.3.4" xref="A2.Ex41.m2.3.3.4.cmml"></mi><mo id="A2.Ex41.m2.3.3.3" xref="A2.Ex41.m2.3.3.3.cmml">=</mo><mrow id="A2.Ex41.m2.3.3.2" xref="A2.Ex41.m2.3.3.2.cmml"><mrow id="A2.Ex41.m2.2.2.1.1" xref="A2.Ex41.m2.2.2.1.1.cmml"><mi id="A2.Ex41.m2.2.2.1.1.3" xref="A2.Ex41.m2.2.2.1.1.3.cmml">𝔼</mi><mo lspace="0em" rspace="0em" id="A2.Ex41.m2.2.2.1.1.2" xref="A2.Ex41.m2.2.2.1.1.2.cmml">​</mo><mrow id="A2.Ex41.m2.2.2.1.1.1.1" xref="A2.Ex41.m2.2.2.1.1.1.2.cmml"><mo id="A2.Ex41.m2.2.2.1.1.1.1.2" xref="A2.Ex41.m2.2.2.1.1.1.2.1.cmml">[</mo><mrow id="A2.Ex41.m2.2.2.1.1.1.1.1" xref="A2.Ex41.m2.2.2.1.1.1.1.1.cmml"><msup id="A2.Ex41.m2.2.2.1.1.1.1.1.1" xref="A2.Ex41.m2.2.2.1.1.1.1.1.1.cmml"><mrow id="A2.Ex41.m2.2.2.1.1.1.1.1.1.1.1" xref="A2.Ex41.m2.2.2.1.1.1.1.1.1.1.1.1.cmml"><mo stretchy="false" id="A2.Ex41.m2.2.2.1.1.1.1.1.1.1.1.2" xref="A2.Ex41.m2.2.2.1.1.1.1.1.1.1.1.1.cmml">(</mo><mrow id="A2.Ex41.m2.2.2.1.1.1.1.1.1.1.1.1" xref="A2.Ex41.m2.2.2.1.1.1.1.1.1.1.1.1.cmml"><msub id="A2.Ex41.m2.2.2.1.1.1.1.1.1.1.1.1.3" xref="A2.Ex41.m2.2.2.1.1.1.1.1.1.1.1.1.3.cmml"><mover accent="true" id="A2.Ex41.m2.2.2.1.1.1.1.1.1.1.1.1.3.2" xref="A2.Ex41.m2.2.2.1.1.1.1.1.1.1.1.1.3.2.cmml"><mi id="A2.Ex41.m2.2.2.1.1.1.1.1.1.1.1.1.3.2.2" xref="A2.Ex41.m2.2.2.1.1.1.1.1.1.1.1.1.3.2.2.cmml">g</mi><mo id="A2.Ex41.m2.2.2.1.1.1.1.1.1.1.1.1.3.2.1" xref="A2.Ex41.m2.2.2.1.1.1.1.1.1.1.1.1.3.2.1.cmml">~</mo></mover><mi id="A2.Ex41.m2.2.2.1.1.1.1.1.1.1.1.1.3.3" xref="A2.Ex41.m2.2.2.1.1.1.1.1.1.1.1.1.3.3.cmml">x</mi></msub><mo id="A2.Ex41.m2.2.2.1.1.1.1.1.1.1.1.1.2" xref="A2.Ex41.m2.2.2.1.1.1.1.1.1.1.1.1.2.cmml">−</mo><mrow id="A2.Ex41.m2.2.2.1.1.1.1.1.1.1.1.1.1" xref="A2.Ex41.m2.2.2.1.1.1.1.1.1.1.1.1.1.cmml"><mi id="A2.Ex41.m2.2.2.1.1.1.1.1.1.1.1.1.1.3" xref="A2.Ex41.m2.2.2.1.1.1.1.1.1.1.1.1.1.3.cmml">𝔼</mi><mo lspace="0em" rspace="0em" id="A2.Ex41.m2.2.2.1.1.1.1.1.1.1.1.1.1.2" xref="A2.Ex41.m2.2.2.1.1.1.1.1.1.1.1.1.1.2.cmml">​</mo><mrow id="A2.Ex41.m2.2.2.1.1.1.1.1.1.1.1.1.1.1.1" xref="A2.Ex41.m2.2.2.1.1.1.1.1.1.1.1.1.1.1.2.cmml"><mo stretchy="false" id="A2.Ex41.m2.2.2.1.1.1.1.1.1.1.1.1.1.1.1.2" xref="A2.Ex41.m2.2.2.1.1.1.1.1.1.1.1.1.1.1.2.1.cmml">[</mo><msub id="A2.Ex41.m2.2.2.1.1.1.1.1.1.1.1.1.1.1.1.1" xref="A2.Ex41.m2.2.2.1.1.1.1.1.1.1.1.1.1.1.1.1.cmml"><mover accent="true" id="A2.Ex41.m2.2.2.1.1.1.1.1.1.1.1.1.1.1.1.1.2" xref="A2.Ex41.m2.2.2.1.1.1.1.1.1.1.1.1.1.1.1.1.2.cmml"><mi id="A2.Ex41.m2.2.2.1.1.1.1.1.1.1.1.1.1.1.1.1.2.2" xref="A2.Ex41.m2.2.2.1.1.1.1.1.1.1.1.1.1.1.1.1.2.2.cmml">g</mi><mo id="A2.Ex41.m2.2.2.1.1.1.1.1.1.1.1.1.1.1.1.1.2.1" xref="A2.Ex41.m2.2.2.1.1.1.1.1.1.1.1.1.1.1.1.1.2.1.cmml">~</mo></mover><mi id="A2.Ex41.m2.2.2.1.1.1.1.1.1.1.1.1.1.1.1.1.3" xref="A2.Ex41.m2.2.2.1.1.1.1.1.1.1.1.1.1.1.1.1.3.cmml">x</mi></msub><mo stretchy="false" id="A2.Ex41.m2.2.2.1.1.1.1.1.1.1.1.1.1.1.1.3" xref="A2.Ex41.m2.2.2.1.1.1.1.1.1.1.1.1.1.1.2.1.cmml">]</mo></mrow></mrow></mrow><mo stretchy="false" id="A2.Ex41.m2.2.2.1.1.1.1.1.1.1.1.3" xref="A2.Ex41.m2.2.2.1.1.1.1.1.1.1.1.1.cmml">)</mo></mrow><mo id="A2.Ex41.m2.2.2.1.1.1.1.1.1.3" xref="A2.Ex41.m2.2.2.1.1.1.1.1.1.3.cmml">⊤</mo></msup><mo lspace="0em" rspace="0em" id="A2.Ex41.m2.2.2.1.1.1.1.1.3" xref="A2.Ex41.m2.2.2.1.1.1.1.1.3.cmml">​</mo><mrow id="A2.Ex41.m2.2.2.1.1.1.1.1.2.1" xref="A2.Ex41.m2.2.2.1.1.1.1.1.2.1.1.cmml"><mo stretchy="false" id="A2.Ex41.m2.2.2.1.1.1.1.1.2.1.2" xref="A2.Ex41.m2.2.2.1.1.1.1.1.2.1.1.cmml">(</mo><mrow id="A2.Ex41.m2.2.2.1.1.1.1.1.2.1.1" xref="A2.Ex41.m2.2.2.1.1.1.1.1.2.1.1.cmml"><msub id="A2.Ex41.m2.2.2.1.1.1.1.1.2.1.1.3" xref="A2.Ex41.m2.2.2.1.1.1.1.1.2.1.1.3.cmml"><mover accent="true" id="A2.Ex41.m2.2.2.1.1.1.1.1.2.1.1.3.2" xref="A2.Ex41.m2.2.2.1.1.1.1.1.2.1.1.3.2.cmml"><mi id="A2.Ex41.m2.2.2.1.1.1.1.1.2.1.1.3.2.2" xref="A2.Ex41.m2.2.2.1.1.1.1.1.2.1.1.3.2.2.cmml">g</mi><mo id="A2.Ex41.m2.2.2.1.1.1.1.1.2.1.1.3.2.1" xref="A2.Ex41.m2.2.2.1.1.1.1.1.2.1.1.3.2.1.cmml">~</mo></mover><mi id="A2.Ex41.m2.2.2.1.1.1.1.1.2.1.1.3.3" xref="A2.Ex41.m2.2.2.1.1.1.1.1.2.1.1.3.3.cmml">x</mi></msub><mo id="A2.Ex41.m2.2.2.1.1.1.1.1.2.1.1.2" xref="A2.Ex41.m2.2.2.1.1.1.1.1.2.1.1.2.cmml">−</mo><mrow id="A2.Ex41.m2.2.2.1.1.1.1.1.2.1.1.1" xref="A2.Ex41.m2.2.2.1.1.1.1.1.2.1.1.1.cmml"><mi id="A2.Ex41.m2.2.2.1.1.1.1.1.2.1.1.1.3" xref="A2.Ex41.m2.2.2.1.1.1.1.1.2.1.1.1.3.cmml">𝔼</mi><mo lspace="0em" rspace="0em" id="A2.Ex41.m2.2.2.1.1.1.1.1.2.1.1.1.2" xref="A2.Ex41.m2.2.2.1.1.1.1.1.2.1.1.1.2.cmml">​</mo><mrow id="A2.Ex41.m2.2.2.1.1.1.1.1.2.1.1.1.1.1" xref="A2.Ex41.m2.2.2.1.1.1.1.1.2.1.1.1.1.2.cmml"><mo stretchy="false" id="A2.Ex41.m2.2.2.1.1.1.1.1.2.1.1.1.1.1.2" xref="A2.Ex41.m2.2.2.1.1.1.1.1.2.1.1.1.1.2.1.cmml">[</mo><msub id="A2.Ex41.m2.2.2.1.1.1.1.1.2.1.1.1.1.1.1" xref="A2.Ex41.m2.2.2.1.1.1.1.1.2.1.1.1.1.1.1.cmml"><mover accent="true" id="A2.Ex41.m2.2.2.1.1.1.1.1.2.1.1.1.1.1.1.2" xref="A2.Ex41.m2.2.2.1.1.1.1.1.2.1.1.1.1.1.1.2.cmml"><mi id="A2.Ex41.m2.2.2.1.1.1.1.1.2.1.1.1.1.1.1.2.2" xref="A2.Ex41.m2.2.2.1.1.1.1.1.2.1.1.1.1.1.1.2.2.cmml">g</mi><mo id="A2.Ex41.m2.2.2.1.1.1.1.1.2.1.1.1.1.1.1.2.1" xref="A2.Ex41.m2.2.2.1.1.1.1.1.2.1.1.1.1.1.1.2.1.cmml">~</mo></mover><mi id="A2.Ex41.m2.2.2.1.1.1.1.1.2.1.1.1.1.1.1.3" xref="A2.Ex41.m2.2.2.1.1.1.1.1.2.1.1.1.1.1.1.3.cmml">x</mi></msub><mo stretchy="false" id="A2.Ex41.m2.2.2.1.1.1.1.1.2.1.1.1.1.1.3" xref="A2.Ex41.m2.2.2.1.1.1.1.1.2.1.1.1.1.2.1.cmml">]</mo></mrow></mrow></mrow><mo stretchy="false" id="A2.Ex41.m2.2.2.1.1.1.1.1.2.1.3" xref="A2.Ex41.m2.2.2.1.1.1.1.1.2.1.1.cmml">)</mo></mrow></mrow><mo id="A2.Ex41.m2.2.2.1.1.1.1.3" xref="A2.Ex41.m2.2.2.1.1.1.2.1.cmml">]</mo></mrow></mrow><mo id="A2.Ex41.m2.3.3.2.3" xref="A2.Ex41.m2.3.3.2.3.cmml">−</mo><mrow id="A2.Ex41.m2.3.3.2.2" xref="A2.Ex41.m2.3.3.2.2.cmml"><mi id="A2.Ex41.m2.3.3.2.2.3" xref="A2.Ex41.m2.3.3.2.2.3.cmml">𝔼</mi><mo lspace="0em" rspace="0em" id="A2.Ex41.m2.3.3.2.2.2" xref="A2.Ex41.m2.3.3.2.2.2.cmml">​</mo><mrow id="A2.Ex41.m2.3.3.2.2.1.1" xref="A2.Ex41.m2.3.3.2.2.1.2.cmml"><mo id="A2.Ex41.m2.3.3.2.2.1.1.2" xref="A2.Ex41.m2.3.3.2.2.1.2.1.cmml">[</mo><mrow id="A2.Ex41.m2.3.3.2.2.1.1.1" xref="A2.Ex41.m2.3.3.2.2.1.1.1.cmml"><msup id="A2.Ex41.m2.3.3.2.2.1.1.1.1" xref="A2.Ex41.m2.3.3.2.2.1.1.1.1.cmml"><mrow id="A2.Ex41.m2.3.3.2.2.1.1.1.1.1.1" xref="A2.Ex41.m2.3.3.2.2.1.1.1.1.1.1.1.cmml"><mo stretchy="false" id="A2.Ex41.m2.3.3.2.2.1.1.1.1.1.1.2" xref="A2.Ex41.m2.3.3.2.2.1.1.1.1.1.1.1.cmml">(</mo><mrow id="A2.Ex41.m2.3.3.2.2.1.1.1.1.1.1.1" xref="A2.Ex41.m2.3.3.2.2.1.1.1.1.1.1.1.cmml"><msub id="A2.Ex41.m2.3.3.2.2.1.1.1.1.1.1.1.3" xref="A2.Ex41.m2.3.3.2.2.1.1.1.1.1.1.1.3.cmml"><mover accent="true" id="A2.Ex41.m2.3.3.2.2.1.1.1.1.1.1.1.3.2" xref="A2.Ex41.m2.3.3.2.2.1.1.1.1.1.1.1.3.2.cmml"><mi id="A2.Ex41.m2.3.3.2.2.1.1.1.1.1.1.1.3.2.2" xref="A2.Ex41.m2.3.3.2.2.1.1.1.1.1.1.1.3.2.2.cmml">g</mi><mo id="A2.Ex41.m2.3.3.2.2.1.1.1.1.1.1.1.3.2.1" xref="A2.Ex41.m2.3.3.2.2.1.1.1.1.1.1.1.3.2.1.cmml">^</mo></mover><mi id="A2.Ex41.m2.3.3.2.2.1.1.1.1.1.1.1.3.3" xref="A2.Ex41.m2.3.3.2.2.1.1.1.1.1.1.1.3.3.cmml">x</mi></msub><mo id="A2.Ex41.m2.3.3.2.2.1.1.1.1.1.1.1.2" xref="A2.Ex41.m2.3.3.2.2.1.1.1.1.1.1.1.2.cmml">−</mo><mrow id="A2.Ex41.m2.3.3.2.2.1.1.1.1.1.1.1.1" xref="A2.Ex41.m2.3.3.2.2.1.1.1.1.1.1.1.1.cmml"><mi id="A2.Ex41.m2.3.3.2.2.1.1.1.1.1.1.1.1.3" xref="A2.Ex41.m2.3.3.2.2.1.1.1.1.1.1.1.1.3.cmml">𝔼</mi><mo lspace="0em" rspace="0em" id="A2.Ex41.m2.3.3.2.2.1.1.1.1.1.1.1.1.2" xref="A2.Ex41.m2.3.3.2.2.1.1.1.1.1.1.1.1.2.cmml">​</mo><mrow id="A2.Ex41.m2.3.3.2.2.1.1.1.1.1.1.1.1.1.1" xref="A2.Ex41.m2.3.3.2.2.1.1.1.1.1.1.1.1.1.2.cmml"><mo stretchy="false" id="A2.Ex41.m2.3.3.2.2.1.1.1.1.1.1.1.1.1.1.2" xref="A2.Ex41.m2.3.3.2.2.1.1.1.1.1.1.1.1.1.2.1.cmml">[</mo><msub id="A2.Ex41.m2.3.3.2.2.1.1.1.1.1.1.1.1.1.1.1" xref="A2.Ex41.m2.3.3.2.2.1.1.1.1.1.1.1.1.1.1.1.cmml"><mover accent="true" id="A2.Ex41.m2.3.3.2.2.1.1.1.1.1.1.1.1.1.1.1.2" xref="A2.Ex41.m2.3.3.2.2.1.1.1.1.1.1.1.1.1.1.1.2.cmml"><mi id="A2.Ex41.m2.3.3.2.2.1.1.1.1.1.1.1.1.1.1.1.2.2" xref="A2.Ex41.m2.3.3.2.2.1.1.1.1.1.1.1.1.1.1.1.2.2.cmml">g</mi><mo id="A2.Ex41.m2.3.3.2.2.1.1.1.1.1.1.1.1.1.1.1.2.1" xref="A2.Ex41.m2.3.3.2.2.1.1.1.1.1.1.1.1.1.1.1.2.1.cmml">^</mo></mover><mi id="A2.Ex41.m2.3.3.2.2.1.1.1.1.1.1.1.1.1.1.1.3" xref="A2.Ex41.m2.3.3.2.2.1.1.1.1.1.1.1.1.1.1.1.3.cmml">x</mi></msub><mo stretchy="false" id="A2.Ex41.m2.3.3.2.2.1.1.1.1.1.1.1.1.1.1.3" xref="A2.Ex41.m2.3.3.2.2.1.1.1.1.1.1.1.1.1.2.1.cmml">]</mo></mrow></mrow></mrow><mo stretchy="false" id="A2.Ex41.m2.3.3.2.2.1.1.1.1.1.1.3" xref="A2.Ex41.m2.3.3.2.2.1.1.1.1.1.1.1.cmml">)</mo></mrow><mo id="A2.Ex41.m2.3.3.2.2.1.1.1.1.3" xref="A2.Ex41.m2.3.3.2.2.1.1.1.1.3.cmml">⊤</mo></msup><mo lspace="0em" rspace="0em" id="A2.Ex41.m2.3.3.2.2.1.1.1.3" xref="A2.Ex41.m2.3.3.2.2.1.1.1.3.cmml">​</mo><mrow id="A2.Ex41.m2.3.3.2.2.1.1.1.2.1" xref="A2.Ex41.m2.3.3.2.2.1.1.1.2.1.1.cmml"><mo stretchy="false" id="A2.Ex41.m2.3.3.2.2.1.1.1.2.1.2" xref="A2.Ex41.m2.3.3.2.2.1.1.1.2.1.1.cmml">(</mo><mrow id="A2.Ex41.m2.3.3.2.2.1.1.1.2.1.1" xref="A2.Ex41.m2.3.3.2.2.1.1.1.2.1.1.cmml"><msub id="A2.Ex41.m2.3.3.2.2.1.1.1.2.1.1.2" xref="A2.Ex41.m2.3.3.2.2.1.1.1.2.1.1.2.cmml"><mover accent="true" id="A2.Ex41.m2.3.3.2.2.1.1.1.2.1.1.2.2" xref="A2.Ex41.m2.3.3.2.2.1.1.1.2.1.1.2.2.cmml"><mi id="A2.Ex41.m2.3.3.2.2.1.1.1.2.1.1.2.2.2" xref="A2.Ex41.m2.3.3.2.2.1.1.1.2.1.1.2.2.2.cmml">g</mi><mo id="A2.Ex41.m2.3.3.2.2.1.1.1.2.1.1.2.2.1" xref="A2.Ex41.m2.3.3.2.2.1.1.1.2.1.1.2.2.1.cmml">^</mo></mover><mi id="A2.Ex41.m2.3.3.2.2.1.1.1.2.1.1.2.3" xref="A2.Ex41.m2.3.3.2.2.1.1.1.2.1.1.2.3.cmml">x</mi></msub><mo id="A2.Ex41.m2.3.3.2.2.1.1.1.2.1.1.1" xref="A2.Ex41.m2.3.3.2.2.1.1.1.2.1.1.1.cmml">−</mo><mrow id="A2.Ex41.m2.3.3.2.2.1.1.1.2.1.1.3" xref="A2.Ex41.m2.3.3.2.2.1.1.1.2.1.1.3.cmml"><mi id="A2.Ex41.m2.3.3.2.2.1.1.1.2.1.1.3.2" xref="A2.Ex41.m2.3.3.2.2.1.1.1.2.1.1.3.2.cmml">𝔼</mi><mo lspace="0em" rspace="0em" id="A2.Ex41.m2.3.3.2.2.1.1.1.2.1.1.3.1" xref="A2.Ex41.m2.3.3.2.2.1.1.1.2.1.1.3.1.cmml">​</mo><mrow id="A2.Ex41.m2.3.3.2.2.1.1.1.2.1.1.3.3.2" xref="A2.Ex41.m2.3.3.2.2.1.1.1.2.1.1.3.3.1.cmml"><mo stretchy="false" id="A2.Ex41.m2.3.3.2.2.1.1.1.2.1.1.3.3.2.1" xref="A2.Ex41.m2.3.3.2.2.1.1.1.2.1.1.3.3.1.1.cmml">[</mo><mover accent="true" id="A2.Ex41.m2.1.1" xref="A2.Ex41.m2.1.1.cmml"><msub id="A2.Ex41.m2.1.1.2" xref="A2.Ex41.m2.1.1.2.cmml"><mi id="A2.Ex41.m2.1.1.2.2" xref="A2.Ex41.m2.1.1.2.2.cmml">g</mi><mi id="A2.Ex41.m2.1.1.2.3" xref="A2.Ex41.m2.1.1.2.3.cmml">x</mi></msub><mo id="A2.Ex41.m2.1.1.1" xref="A2.Ex41.m2.1.1.1.cmml">^</mo></mover><mo stretchy="false" id="A2.Ex41.m2.3.3.2.2.1.1.1.2.1.1.3.3.2.2" xref="A2.Ex41.m2.3.3.2.2.1.1.1.2.1.1.3.3.1.1.cmml">]</mo></mrow></mrow></mrow><mo stretchy="false" id="A2.Ex41.m2.3.3.2.2.1.1.1.2.1.3" xref="A2.Ex41.m2.3.3.2.2.1.1.1.2.1.1.cmml">)</mo></mrow></mrow><mo id="A2.Ex41.m2.3.3.2.2.1.1.3" xref="A2.Ex41.m2.3.3.2.2.1.2.1.cmml">]</mo></mrow></mrow></mrow></mrow><annotation-xml encoding="MathML-Content" id="A2.Ex41.m2.3b"><apply id="A2.Ex41.m2.3.3.cmml" xref="A2.Ex41.m2.3.3"><eq id="A2.Ex41.m2.3.3.3.cmml" xref="A2.Ex41.m2.3.3.3"></eq><csymbol cd="latexml" id="A2.Ex41.m2.3.3.4.cmml" xref="A2.Ex41.m2.3.3.4">absent</csymbol><apply id="A2.Ex41.m2.3.3.2.cmml" xref="A2.Ex41.m2.3.3.2"><minus id="A2.Ex41.m2.3.3.2.3.cmml" xref="A2.Ex41.m2.3.3.2.3"></minus><apply id="A2.Ex41.m2.2.2.1.1.cmml" xref="A2.Ex41.m2.2.2.1.1"><times id="A2.Ex41.m2.2.2.1.1.2.cmml" xref="A2.Ex41.m2.2.2.1.1.2"></times><ci id="A2.Ex41.m2.2.2.1.1.3.cmml" xref="A2.Ex41.m2.2.2.1.1.3">𝔼</ci><apply id="A2.Ex41.m2.2.2.1.1.1.2.cmml" xref="A2.Ex41.m2.2.2.1.1.1.1"><csymbol cd="latexml" id="A2.Ex41.m2.2.2.1.1.1.2.1.cmml" xref="A2.Ex41.m2.2.2.1.1.1.1.2">delimited-[]</csymbol><apply id="A2.Ex41.m2.2.2.1.1.1.1.1.cmml" xref="A2.Ex41.m2.2.2.1.1.1.1.1"><times id="A2.Ex41.m2.2.2.1.1.1.1.1.3.cmml" xref="A2.Ex41.m2.2.2.1.1.1.1.1.3"></times><apply id="A2.Ex41.m2.2.2.1.1.1.1.1.1.cmml" xref="A2.Ex41.m2.2.2.1.1.1.1.1.1"><csymbol cd="ambiguous" id="A2.Ex41.m2.2.2.1.1.1.1.1.1.2.cmml" xref="A2.Ex41.m2.2.2.1.1.1.1.1.1">superscript</csymbol><apply id="A2.Ex41.m2.2.2.1.1.1.1.1.1.1.1.1.cmml" xref="A2.Ex41.m2.2.2.1.1.1.1.1.1.1.1"><minus id="A2.Ex41.m2.2.2.1.1.1.1.1.1.1.1.1.2.cmml" xref="A2.Ex41.m2.2.2.1.1.1.1.1.1.1.1.1.2"></minus><apply id="A2.Ex41.m2.2.2.1.1.1.1.1.1.1.1.1.3.cmml" xref="A2.Ex41.m2.2.2.1.1.1.1.1.1.1.1.1.3"><csymbol cd="ambiguous" id="A2.Ex41.m2.2.2.1.1.1.1.1.1.1.1.1.3.1.cmml" xref="A2.Ex41.m2.2.2.1.1.1.1.1.1.1.1.1.3">subscript</csymbol><apply id="A2.Ex41.m2.2.2.1.1.1.1.1.1.1.1.1.3.2.cmml" xref="A2.Ex41.m2.2.2.1.1.1.1.1.1.1.1.1.3.2"><ci id="A2.Ex41.m2.2.2.1.1.1.1.1.1.1.1.1.3.2.1.cmml" xref="A2.Ex41.m2.2.2.1.1.1.1.1.1.1.1.1.3.2.1">~</ci><ci id="A2.Ex41.m2.2.2.1.1.1.1.1.1.1.1.1.3.2.2.cmml" xref="A2.Ex41.m2.2.2.1.1.1.1.1.1.1.1.1.3.2.2">𝑔</ci></apply><ci id="A2.Ex41.m2.2.2.1.1.1.1.1.1.1.1.1.3.3.cmml" xref="A2.Ex41.m2.2.2.1.1.1.1.1.1.1.1.1.3.3">𝑥</ci></apply><apply id="A2.Ex41.m2.2.2.1.1.1.1.1.1.1.1.1.1.cmml" xref="A2.Ex41.m2.2.2.1.1.1.1.1.1.1.1.1.1"><times id="A2.Ex41.m2.2.2.1.1.1.1.1.1.1.1.1.1.2.cmml" xref="A2.Ex41.m2.2.2.1.1.1.1.1.1.1.1.1.1.2"></times><ci id="A2.Ex41.m2.2.2.1.1.1.1.1.1.1.1.1.1.3.cmml" xref="A2.Ex41.m2.2.2.1.1.1.1.1.1.1.1.1.1.3">𝔼</ci><apply id="A2.Ex41.m2.2.2.1.1.1.1.1.1.1.1.1.1.1.2.cmml" xref="A2.Ex41.m2.2.2.1.1.1.1.1.1.1.1.1.1.1.1"><csymbol cd="latexml" id="A2.Ex41.m2.2.2.1.1.1.1.1.1.1.1.1.1.1.2.1.cmml" xref="A2.Ex41.m2.2.2.1.1.1.1.1.1.1.1.1.1.1.1.2">delimited-[]</csymbol><apply id="A2.Ex41.m2.2.2.1.1.1.1.1.1.1.1.1.1.1.1.1.cmml" xref="A2.Ex41.m2.2.2.1.1.1.1.1.1.1.1.1.1.1.1.1"><csymbol cd="ambiguous" id="A2.Ex41.m2.2.2.1.1.1.1.1.1.1.1.1.1.1.1.1.1.cmml" xref="A2.Ex41.m2.2.2.1.1.1.1.1.1.1.1.1.1.1.1.1">subscript</csymbol><apply id="A2.Ex41.m2.2.2.1.1.1.1.1.1.1.1.1.1.1.1.1.2.cmml" xref="A2.Ex41.m2.2.2.1.1.1.1.1.1.1.1.1.1.1.1.1.2"><ci id="A2.Ex41.m2.2.2.1.1.1.1.1.1.1.1.1.1.1.1.1.2.1.cmml" xref="A2.Ex41.m2.2.2.1.1.1.1.1.1.1.1.1.1.1.1.1.2.1">~</ci><ci id="A2.Ex41.m2.2.2.1.1.1.1.1.1.1.1.1.1.1.1.1.2.2.cmml" xref="A2.Ex41.m2.2.2.1.1.1.1.1.1.1.1.1.1.1.1.1.2.2">𝑔</ci></apply><ci id="A2.Ex41.m2.2.2.1.1.1.1.1.1.1.1.1.1.1.1.1.3.cmml" xref="A2.Ex41.m2.2.2.1.1.1.1.1.1.1.1.1.1.1.1.1.3">𝑥</ci></apply></apply></apply></apply><csymbol cd="latexml" id="A2.Ex41.m2.2.2.1.1.1.1.1.1.3.cmml" xref="A2.Ex41.m2.2.2.1.1.1.1.1.1.3">top</csymbol></apply><apply id="A2.Ex41.m2.2.2.1.1.1.1.1.2.1.1.cmml" xref="A2.Ex41.m2.2.2.1.1.1.1.1.2.1"><minus id="A2.Ex41.m2.2.2.1.1.1.1.1.2.1.1.2.cmml" xref="A2.Ex41.m2.2.2.1.1.1.1.1.2.1.1.2"></minus><apply id="A2.Ex41.m2.2.2.1.1.1.1.1.2.1.1.3.cmml" xref="A2.Ex41.m2.2.2.1.1.1.1.1.2.1.1.3"><csymbol cd="ambiguous" id="A2.Ex41.m2.2.2.1.1.1.1.1.2.1.1.3.1.cmml" xref="A2.Ex41.m2.2.2.1.1.1.1.1.2.1.1.3">subscript</csymbol><apply id="A2.Ex41.m2.2.2.1.1.1.1.1.2.1.1.3.2.cmml" xref="A2.Ex41.m2.2.2.1.1.1.1.1.2.1.1.3.2"><ci id="A2.Ex41.m2.2.2.1.1.1.1.1.2.1.1.3.2.1.cmml" xref="A2.Ex41.m2.2.2.1.1.1.1.1.2.1.1.3.2.1">~</ci><ci id="A2.Ex41.m2.2.2.1.1.1.1.1.2.1.1.3.2.2.cmml" xref="A2.Ex41.m2.2.2.1.1.1.1.1.2.1.1.3.2.2">𝑔</ci></apply><ci id="A2.Ex41.m2.2.2.1.1.1.1.1.2.1.1.3.3.cmml" xref="A2.Ex41.m2.2.2.1.1.1.1.1.2.1.1.3.3">𝑥</ci></apply><apply id="A2.Ex41.m2.2.2.1.1.1.1.1.2.1.1.1.cmml" xref="A2.Ex41.m2.2.2.1.1.1.1.1.2.1.1.1"><times id="A2.Ex41.m2.2.2.1.1.1.1.1.2.1.1.1.2.cmml" xref="A2.Ex41.m2.2.2.1.1.1.1.1.2.1.1.1.2"></times><ci id="A2.Ex41.m2.2.2.1.1.1.1.1.2.1.1.1.3.cmml" xref="A2.Ex41.m2.2.2.1.1.1.1.1.2.1.1.1.3">𝔼</ci><apply id="A2.Ex41.m2.2.2.1.1.1.1.1.2.1.1.1.1.2.cmml" xref="A2.Ex41.m2.2.2.1.1.1.1.1.2.1.1.1.1.1"><csymbol cd="latexml" id="A2.Ex41.m2.2.2.1.1.1.1.1.2.1.1.1.1.2.1.cmml" xref="A2.Ex41.m2.2.2.1.1.1.1.1.2.1.1.1.1.1.2">delimited-[]</csymbol><apply id="A2.Ex41.m2.2.2.1.1.1.1.1.2.1.1.1.1.1.1.cmml" xref="A2.Ex41.m2.2.2.1.1.1.1.1.2.1.1.1.1.1.1"><csymbol cd="ambiguous" id="A2.Ex41.m2.2.2.1.1.1.1.1.2.1.1.1.1.1.1.1.cmml" xref="A2.Ex41.m2.2.2.1.1.1.1.1.2.1.1.1.1.1.1">subscript</csymbol><apply id="A2.Ex41.m2.2.2.1.1.1.1.1.2.1.1.1.1.1.1.2.cmml" xref="A2.Ex41.m2.2.2.1.1.1.1.1.2.1.1.1.1.1.1.2"><ci id="A2.Ex41.m2.2.2.1.1.1.1.1.2.1.1.1.1.1.1.2.1.cmml" xref="A2.Ex41.m2.2.2.1.1.1.1.1.2.1.1.1.1.1.1.2.1">~</ci><ci id="A2.Ex41.m2.2.2.1.1.1.1.1.2.1.1.1.1.1.1.2.2.cmml" xref="A2.Ex41.m2.2.2.1.1.1.1.1.2.1.1.1.1.1.1.2.2">𝑔</ci></apply><ci id="A2.Ex41.m2.2.2.1.1.1.1.1.2.1.1.1.1.1.1.3.cmml" xref="A2.Ex41.m2.2.2.1.1.1.1.1.2.1.1.1.1.1.1.3">𝑥</ci></apply></apply></apply></apply></apply></apply></apply><apply id="A2.Ex41.m2.3.3.2.2.cmml" xref="A2.Ex41.m2.3.3.2.2"><times id="A2.Ex41.m2.3.3.2.2.2.cmml" xref="A2.Ex41.m2.3.3.2.2.2"></times><ci id="A2.Ex41.m2.3.3.2.2.3.cmml" xref="A2.Ex41.m2.3.3.2.2.3">𝔼</ci><apply id="A2.Ex41.m2.3.3.2.2.1.2.cmml" xref="A2.Ex41.m2.3.3.2.2.1.1"><csymbol cd="latexml" id="A2.Ex41.m2.3.3.2.2.1.2.1.cmml" xref="A2.Ex41.m2.3.3.2.2.1.1.2">delimited-[]</csymbol><apply id="A2.Ex41.m2.3.3.2.2.1.1.1.cmml" xref="A2.Ex41.m2.3.3.2.2.1.1.1"><times id="A2.Ex41.m2.3.3.2.2.1.1.1.3.cmml" xref="A2.Ex41.m2.3.3.2.2.1.1.1.3"></times><apply id="A2.Ex41.m2.3.3.2.2.1.1.1.1.cmml" xref="A2.Ex41.m2.3.3.2.2.1.1.1.1"><csymbol cd="ambiguous" id="A2.Ex41.m2.3.3.2.2.1.1.1.1.2.cmml" xref="A2.Ex41.m2.3.3.2.2.1.1.1.1">superscript</csymbol><apply id="A2.Ex41.m2.3.3.2.2.1.1.1.1.1.1.1.cmml" xref="A2.Ex41.m2.3.3.2.2.1.1.1.1.1.1"><minus id="A2.Ex41.m2.3.3.2.2.1.1.1.1.1.1.1.2.cmml" xref="A2.Ex41.m2.3.3.2.2.1.1.1.1.1.1.1.2"></minus><apply id="A2.Ex41.m2.3.3.2.2.1.1.1.1.1.1.1.3.cmml" xref="A2.Ex41.m2.3.3.2.2.1.1.1.1.1.1.1.3"><csymbol cd="ambiguous" id="A2.Ex41.m2.3.3.2.2.1.1.1.1.1.1.1.3.1.cmml" xref="A2.Ex41.m2.3.3.2.2.1.1.1.1.1.1.1.3">subscript</csymbol><apply id="A2.Ex41.m2.3.3.2.2.1.1.1.1.1.1.1.3.2.cmml" xref="A2.Ex41.m2.3.3.2.2.1.1.1.1.1.1.1.3.2"><ci id="A2.Ex41.m2.3.3.2.2.1.1.1.1.1.1.1.3.2.1.cmml" xref="A2.Ex41.m2.3.3.2.2.1.1.1.1.1.1.1.3.2.1">^</ci><ci id="A2.Ex41.m2.3.3.2.2.1.1.1.1.1.1.1.3.2.2.cmml" xref="A2.Ex41.m2.3.3.2.2.1.1.1.1.1.1.1.3.2.2">𝑔</ci></apply><ci id="A2.Ex41.m2.3.3.2.2.1.1.1.1.1.1.1.3.3.cmml" xref="A2.Ex41.m2.3.3.2.2.1.1.1.1.1.1.1.3.3">𝑥</ci></apply><apply id="A2.Ex41.m2.3.3.2.2.1.1.1.1.1.1.1.1.cmml" xref="A2.Ex41.m2.3.3.2.2.1.1.1.1.1.1.1.1"><times id="A2.Ex41.m2.3.3.2.2.1.1.1.1.1.1.1.1.2.cmml" xref="A2.Ex41.m2.3.3.2.2.1.1.1.1.1.1.1.1.2"></times><ci id="A2.Ex41.m2.3.3.2.2.1.1.1.1.1.1.1.1.3.cmml" xref="A2.Ex41.m2.3.3.2.2.1.1.1.1.1.1.1.1.3">𝔼</ci><apply id="A2.Ex41.m2.3.3.2.2.1.1.1.1.1.1.1.1.1.2.cmml" xref="A2.Ex41.m2.3.3.2.2.1.1.1.1.1.1.1.1.1.1"><csymbol cd="latexml" id="A2.Ex41.m2.3.3.2.2.1.1.1.1.1.1.1.1.1.2.1.cmml" xref="A2.Ex41.m2.3.3.2.2.1.1.1.1.1.1.1.1.1.1.2">delimited-[]</csymbol><apply id="A2.Ex41.m2.3.3.2.2.1.1.1.1.1.1.1.1.1.1.1.cmml" xref="A2.Ex41.m2.3.3.2.2.1.1.1.1.1.1.1.1.1.1.1"><csymbol cd="ambiguous" id="A2.Ex41.m2.3.3.2.2.1.1.1.1.1.1.1.1.1.1.1.1.cmml" xref="A2.Ex41.m2.3.3.2.2.1.1.1.1.1.1.1.1.1.1.1">subscript</csymbol><apply id="A2.Ex41.m2.3.3.2.2.1.1.1.1.1.1.1.1.1.1.1.2.cmml" xref="A2.Ex41.m2.3.3.2.2.1.1.1.1.1.1.1.1.1.1.1.2"><ci id="A2.Ex41.m2.3.3.2.2.1.1.1.1.1.1.1.1.1.1.1.2.1.cmml" xref="A2.Ex41.m2.3.3.2.2.1.1.1.1.1.1.1.1.1.1.1.2.1">^</ci><ci id="A2.Ex41.m2.3.3.2.2.1.1.1.1.1.1.1.1.1.1.1.2.2.cmml" xref="A2.Ex41.m2.3.3.2.2.1.1.1.1.1.1.1.1.1.1.1.2.2">𝑔</ci></apply><ci id="A2.Ex41.m2.3.3.2.2.1.1.1.1.1.1.1.1.1.1.1.3.cmml" xref="A2.Ex41.m2.3.3.2.2.1.1.1.1.1.1.1.1.1.1.1.3">𝑥</ci></apply></apply></apply></apply><csymbol cd="latexml" id="A2.Ex41.m2.3.3.2.2.1.1.1.1.3.cmml" xref="A2.Ex41.m2.3.3.2.2.1.1.1.1.3">top</csymbol></apply><apply id="A2.Ex41.m2.3.3.2.2.1.1.1.2.1.1.cmml" xref="A2.Ex41.m2.3.3.2.2.1.1.1.2.1"><minus id="A2.Ex41.m2.3.3.2.2.1.1.1.2.1.1.1.cmml" xref="A2.Ex41.m2.3.3.2.2.1.1.1.2.1.1.1"></minus><apply id="A2.Ex41.m2.3.3.2.2.1.1.1.2.1.1.2.cmml" xref="A2.Ex41.m2.3.3.2.2.1.1.1.2.1.1.2"><csymbol cd="ambiguous" id="A2.Ex41.m2.3.3.2.2.1.1.1.2.1.1.2.1.cmml" xref="A2.Ex41.m2.3.3.2.2.1.1.1.2.1.1.2">subscript</csymbol><apply id="A2.Ex41.m2.3.3.2.2.1.1.1.2.1.1.2.2.cmml" xref="A2.Ex41.m2.3.3.2.2.1.1.1.2.1.1.2.2"><ci id="A2.Ex41.m2.3.3.2.2.1.1.1.2.1.1.2.2.1.cmml" xref="A2.Ex41.m2.3.3.2.2.1.1.1.2.1.1.2.2.1">^</ci><ci id="A2.Ex41.m2.3.3.2.2.1.1.1.2.1.1.2.2.2.cmml" xref="A2.Ex41.m2.3.3.2.2.1.1.1.2.1.1.2.2.2">𝑔</ci></apply><ci id="A2.Ex41.m2.3.3.2.2.1.1.1.2.1.1.2.3.cmml" xref="A2.Ex41.m2.3.3.2.2.1.1.1.2.1.1.2.3">𝑥</ci></apply><apply id="A2.Ex41.m2.3.3.2.2.1.1.1.2.1.1.3.cmml" xref="A2.Ex41.m2.3.3.2.2.1.1.1.2.1.1.3"><times id="A2.Ex41.m2.3.3.2.2.1.1.1.2.1.1.3.1.cmml" xref="A2.Ex41.m2.3.3.2.2.1.1.1.2.1.1.3.1"></times><ci id="A2.Ex41.m2.3.3.2.2.1.1.1.2.1.1.3.2.cmml" xref="A2.Ex41.m2.3.3.2.2.1.1.1.2.1.1.3.2">𝔼</ci><apply id="A2.Ex41.m2.3.3.2.2.1.1.1.2.1.1.3.3.1.cmml" xref="A2.Ex41.m2.3.3.2.2.1.1.1.2.1.1.3.3.2"><csymbol cd="latexml" id="A2.Ex41.m2.3.3.2.2.1.1.1.2.1.1.3.3.1.1.cmml" xref="A2.Ex41.m2.3.3.2.2.1.1.1.2.1.1.3.3.2.1">delimited-[]</csymbol><apply id="A2.Ex41.m2.1.1.cmml" xref="A2.Ex41.m2.1.1"><ci id="A2.Ex41.m2.1.1.1.cmml" xref="A2.Ex41.m2.1.1.1">^</ci><apply id="A2.Ex41.m2.1.1.2.cmml" xref="A2.Ex41.m2.1.1.2"><csymbol cd="ambiguous" id="A2.Ex41.m2.1.1.2.1.cmml" xref="A2.Ex41.m2.1.1.2">subscript</csymbol><ci id="A2.Ex41.m2.1.1.2.2.cmml" xref="A2.Ex41.m2.1.1.2.2">𝑔</ci><ci id="A2.Ex41.m2.1.1.2.3.cmml" xref="A2.Ex41.m2.1.1.2.3">𝑥</ci></apply></apply></apply></apply></apply></apply></apply></apply></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="A2.Ex41.m2.3c">\displaystyle=\mathbb{E}\left[(\widetilde{g}_{x}-\mathbb{E}[\widetilde{g}_{x}])^{\top}(\widetilde{g}_{x}-\mathbb{E}[\widetilde{g}_{x}])\right]-\mathbb{E}\left[(\widehat{g}_{x}-\mathbb{E}[\widehat{g}_{x}])^{\top}(\widehat{g}_{x}-\mathbb{E}[\widehat{g_{x}}])\right]</annotation></semantics></math></td>
<td class="ltx_eqn_cell ltx_eqn_center_padright"></td>
</tr></tbody>
<tbody id="A2.Ex42"><tr class="ltx_equation ltx_eqn_row ltx_align_baseline">
<td class="ltx_eqn_cell ltx_eqn_center_padleft"></td>
<td class="ltx_td ltx_eqn_cell"></td>
<td class="ltx_td ltx_align_left ltx_eqn_cell"><math id="A2.Ex42.m1.1" class="ltx_math_unparsed" alttext="\displaystyle=\mathbb{E}\left[\left\|\sum_{t=1}^{T}\nabla_{\theta}\log\pi_{\theta}(a_{t}|x,a_{1:t-1})\right\|_{2}^{2}\left(b_{x}-2r(x,a_{1:T})\right)\right]b_{x}," display="inline"><semantics id="A2.Ex42.m1.1a"><mrow id="A2.Ex42.m1.1b"><mo id="A2.Ex42.m1.1.2">=</mo><mi id="A2.Ex42.m1.1.3">𝔼</mi><mrow id="A2.Ex42.m1.1.4"><mo id="A2.Ex42.m1.1.4.1">[</mo><mo lspace="0em" rspace="0.167em" stretchy="true" id="A2.Ex42.m1.1.4.2">∥</mo><mstyle displaystyle="true" id="A2.Ex42.m1.1.4.3"><munderover id="A2.Ex42.m1.1.4.3a"><mo movablelimits="false" id="A2.Ex42.m1.1.4.3.2.2">∑</mo><mrow id="A2.Ex42.m1.1.4.3.2.3"><mi id="A2.Ex42.m1.1.4.3.2.3.2">t</mi><mo id="A2.Ex42.m1.1.4.3.2.3.1">=</mo><mn id="A2.Ex42.m1.1.4.3.2.3.3">1</mn></mrow><mi id="A2.Ex42.m1.1.4.3.3">T</mi></munderover></mstyle><msub id="A2.Ex42.m1.1.4.4"><mo lspace="0.167em" rspace="0.167em" id="A2.Ex42.m1.1.4.4.2">∇</mo><mi id="A2.Ex42.m1.1.4.4.3">θ</mi></msub><mi id="A2.Ex42.m1.1.4.5">log</mi><msub id="A2.Ex42.m1.1.4.6"><mi id="A2.Ex42.m1.1.4.6.2">π</mi><mi id="A2.Ex42.m1.1.4.6.3">θ</mi></msub><mrow id="A2.Ex42.m1.1.4.7"><mo stretchy="false" id="A2.Ex42.m1.1.4.7.1">(</mo><msub id="A2.Ex42.m1.1.4.7.2"><mi id="A2.Ex42.m1.1.4.7.2.2">a</mi><mi id="A2.Ex42.m1.1.4.7.2.3">t</mi></msub><mo fence="false" rspace="0.167em" stretchy="false" id="A2.Ex42.m1.1.4.7.3">|</mo><mi id="A2.Ex42.m1.1.1">x</mi><mo id="A2.Ex42.m1.1.4.7.4">,</mo><msub id="A2.Ex42.m1.1.4.7.5"><mi id="A2.Ex42.m1.1.4.7.5.2">a</mi><mrow id="A2.Ex42.m1.1.4.7.5.3"><mn id="A2.Ex42.m1.1.4.7.5.3.2">1</mn><mo lspace="0.278em" rspace="0.278em" id="A2.Ex42.m1.1.4.7.5.3.1">:</mo><mrow id="A2.Ex42.m1.1.4.7.5.3.3"><mi id="A2.Ex42.m1.1.4.7.5.3.3.2">t</mi><mo id="A2.Ex42.m1.1.4.7.5.3.3.1">−</mo><mn id="A2.Ex42.m1.1.4.7.5.3.3.3">1</mn></mrow></mrow></msub><mo stretchy="false" id="A2.Ex42.m1.1.4.7.6">)</mo></mrow><msubsup id="A2.Ex42.m1.1.4.8"><mo lspace="0em" rspace="0.167em" stretchy="true" id="A2.Ex42.m1.1.4.8.2.2">∥</mo><mn id="A2.Ex42.m1.1.4.8.2.3">2</mn><mn id="A2.Ex42.m1.1.4.8.3">2</mn></msubsup><mrow id="A2.Ex42.m1.1.4.9"><mo id="A2.Ex42.m1.1.4.9.1">(</mo><msub id="A2.Ex42.m1.1.4.9.2"><mi id="A2.Ex42.m1.1.4.9.2.2">b</mi><mi id="A2.Ex42.m1.1.4.9.2.3">x</mi></msub><mo id="A2.Ex42.m1.1.4.9.3">−</mo><mn id="A2.Ex42.m1.1.4.9.4">2</mn><mi id="A2.Ex42.m1.1.4.9.5">r</mi><mrow id="A2.Ex42.m1.1.4.9.6"><mo stretchy="false" id="A2.Ex42.m1.1.4.9.6.1">(</mo><mi id="A2.Ex42.m1.1.4.9.6.2">x</mi><mo id="A2.Ex42.m1.1.4.9.6.3">,</mo><msub id="A2.Ex42.m1.1.4.9.6.4"><mi id="A2.Ex42.m1.1.4.9.6.4.2">a</mi><mrow id="A2.Ex42.m1.1.4.9.6.4.3"><mn id="A2.Ex42.m1.1.4.9.6.4.3.2">1</mn><mo lspace="0.278em" rspace="0.278em" id="A2.Ex42.m1.1.4.9.6.4.3.1">:</mo><mi id="A2.Ex42.m1.1.4.9.6.4.3.3">T</mi></mrow></msub><mo stretchy="false" id="A2.Ex42.m1.1.4.9.6.5">)</mo></mrow><mo id="A2.Ex42.m1.1.4.9.7">)</mo></mrow><mo id="A2.Ex42.m1.1.4.10">]</mo></mrow><msub id="A2.Ex42.m1.1.5"><mi id="A2.Ex42.m1.1.5.2">b</mi><mi id="A2.Ex42.m1.1.5.3">x</mi></msub><mo id="A2.Ex42.m1.1.6">,</mo></mrow><annotation encoding="application/x-tex" id="A2.Ex42.m1.1c">\displaystyle=\mathbb{E}\left[\left\|\sum_{t=1}^{T}\nabla_{\theta}\log\pi_{\theta}(a_{t}|x,a_{1:t-1})\right\|_{2}^{2}\left(b_{x}-2r(x,a_{1:T})\right)\right]b_{x},</annotation></semantics></math></td>
<td class="ltx_eqn_cell ltx_eqn_center_padright"></td>
</tr></tbody>
</table>
<p id="A2.SS3.1.p1.4" class="ltx_p">where all the expectations are taken over the randomness of <math id="A2.SS3.1.p1.2.m1.1" class="ltx_Math" alttext="a_{1:T}" display="inline"><semantics id="A2.SS3.1.p1.2.m1.1a"><msub id="A2.SS3.1.p1.2.m1.1.1" xref="A2.SS3.1.p1.2.m1.1.1.cmml"><mi id="A2.SS3.1.p1.2.m1.1.1.2" xref="A2.SS3.1.p1.2.m1.1.1.2.cmml">a</mi><mrow id="A2.SS3.1.p1.2.m1.1.1.3" xref="A2.SS3.1.p1.2.m1.1.1.3.cmml"><mn id="A2.SS3.1.p1.2.m1.1.1.3.2" xref="A2.SS3.1.p1.2.m1.1.1.3.2.cmml">1</mn><mo lspace="0.278em" rspace="0.278em" id="A2.SS3.1.p1.2.m1.1.1.3.1" xref="A2.SS3.1.p1.2.m1.1.1.3.1.cmml">:</mo><mi id="A2.SS3.1.p1.2.m1.1.1.3.3" xref="A2.SS3.1.p1.2.m1.1.1.3.3.cmml">T</mi></mrow></msub><annotation-xml encoding="MathML-Content" id="A2.SS3.1.p1.2.m1.1b"><apply id="A2.SS3.1.p1.2.m1.1.1.cmml" xref="A2.SS3.1.p1.2.m1.1.1"><csymbol cd="ambiguous" id="A2.SS3.1.p1.2.m1.1.1.1.cmml" xref="A2.SS3.1.p1.2.m1.1.1">subscript</csymbol><ci id="A2.SS3.1.p1.2.m1.1.1.2.cmml" xref="A2.SS3.1.p1.2.m1.1.1.2">𝑎</ci><apply id="A2.SS3.1.p1.2.m1.1.1.3.cmml" xref="A2.SS3.1.p1.2.m1.1.1.3"><ci id="A2.SS3.1.p1.2.m1.1.1.3.1.cmml" xref="A2.SS3.1.p1.2.m1.1.1.3.1">:</ci><cn type="integer" id="A2.SS3.1.p1.2.m1.1.1.3.2.cmml" xref="A2.SS3.1.p1.2.m1.1.1.3.2">1</cn><ci id="A2.SS3.1.p1.2.m1.1.1.3.3.cmml" xref="A2.SS3.1.p1.2.m1.1.1.3.3">𝑇</ci></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="A2.SS3.1.p1.2.m1.1c">a_{1:T}</annotation></semantics></math> when sampling from <math id="A2.SS3.1.p1.3.m2.1" class="ltx_Math" alttext="\pi_{\theta}" display="inline"><semantics id="A2.SS3.1.p1.3.m2.1a"><msub id="A2.SS3.1.p1.3.m2.1.1" xref="A2.SS3.1.p1.3.m2.1.1.cmml"><mi id="A2.SS3.1.p1.3.m2.1.1.2" xref="A2.SS3.1.p1.3.m2.1.1.2.cmml">π</mi><mi id="A2.SS3.1.p1.3.m2.1.1.3" xref="A2.SS3.1.p1.3.m2.1.1.3.cmml">θ</mi></msub><annotation-xml encoding="MathML-Content" id="A2.SS3.1.p1.3.m2.1b"><apply id="A2.SS3.1.p1.3.m2.1.1.cmml" xref="A2.SS3.1.p1.3.m2.1.1"><csymbol cd="ambiguous" id="A2.SS3.1.p1.3.m2.1.1.1.cmml" xref="A2.SS3.1.p1.3.m2.1.1">subscript</csymbol><ci id="A2.SS3.1.p1.3.m2.1.1.2.cmml" xref="A2.SS3.1.p1.3.m2.1.1.2">𝜋</ci><ci id="A2.SS3.1.p1.3.m2.1.1.3.cmml" xref="A2.SS3.1.p1.3.m2.1.1.3">𝜃</ci></apply></annotation-xml><annotation encoding="application/x-tex" id="A2.SS3.1.p1.3.m2.1c">\pi_{\theta}</annotation></semantics></math>. Notice that the above objective is a quadratic function with respect to <math id="A2.SS3.1.p1.4.m3.1" class="ltx_Math" alttext="b_{x}" display="inline"><semantics id="A2.SS3.1.p1.4.m3.1a"><msub id="A2.SS3.1.p1.4.m3.1.1" xref="A2.SS3.1.p1.4.m3.1.1.cmml"><mi id="A2.SS3.1.p1.4.m3.1.1.2" xref="A2.SS3.1.p1.4.m3.1.1.2.cmml">b</mi><mi id="A2.SS3.1.p1.4.m3.1.1.3" xref="A2.SS3.1.p1.4.m3.1.1.3.cmml">x</mi></msub><annotation-xml encoding="MathML-Content" id="A2.SS3.1.p1.4.m3.1b"><apply id="A2.SS3.1.p1.4.m3.1.1.cmml" xref="A2.SS3.1.p1.4.m3.1.1"><csymbol cd="ambiguous" id="A2.SS3.1.p1.4.m3.1.1.1.cmml" xref="A2.SS3.1.p1.4.m3.1.1">subscript</csymbol><ci id="A2.SS3.1.p1.4.m3.1.1.2.cmml" xref="A2.SS3.1.p1.4.m3.1.1.2">𝑏</ci><ci id="A2.SS3.1.p1.4.m3.1.1.3.cmml" xref="A2.SS3.1.p1.4.m3.1.1.3">𝑥</ci></apply></annotation-xml><annotation encoding="application/x-tex" id="A2.SS3.1.p1.4.m3.1c">b_{x}</annotation></semantics></math>. By the first-order optimality condition, we have that the optimal baseline value in <a href="#A2.E6" title="In Proposition 3. ‣ B.3 Baseline Value with Maximum Variance Reduction ‣ Appendix B Proofs ‣ ReMax: A Simple, Effective, and Efficient Reinforcement Learning Method for Aligning Large Language Models" class="ltx_ref"><span class="ltx_text ltx_ref_tag">Equation</span> <span class="ltx_text ltx_ref_tag">6</span></a>.
∎</p>
</div>
</div>
<div id="A2.SS3.p2" class="ltx_para">
<p id="A2.SS3.p2.2" class="ltx_p">We highlight that this optimal baseline is <em id="A2.SS3.p2.2.1" class="ltx_emph ltx_font_italic">intractable</em> to compute in practice, as it requires the score function <math id="A2.SS3.p2.1.m1.2" class="ltx_Math" alttext="\nabla_{\theta}\log\pi_{\theta}(a_{t}|x,a_{1:t-1})" display="inline"><semantics id="A2.SS3.p2.1.m1.2a"><mrow id="A2.SS3.p2.1.m1.2.2" xref="A2.SS3.p2.1.m1.2.2.cmml"><mrow id="A2.SS3.p2.1.m1.2.2.3" xref="A2.SS3.p2.1.m1.2.2.3.cmml"><mrow id="A2.SS3.p2.1.m1.2.2.3.1" xref="A2.SS3.p2.1.m1.2.2.3.1.cmml"><msub id="A2.SS3.p2.1.m1.2.2.3.1.1" xref="A2.SS3.p2.1.m1.2.2.3.1.1.cmml"><mo id="A2.SS3.p2.1.m1.2.2.3.1.1.2" xref="A2.SS3.p2.1.m1.2.2.3.1.1.2.cmml">∇</mo><mi id="A2.SS3.p2.1.m1.2.2.3.1.1.3" xref="A2.SS3.p2.1.m1.2.2.3.1.1.3.cmml">θ</mi></msub><mi id="A2.SS3.p2.1.m1.2.2.3.1.2" xref="A2.SS3.p2.1.m1.2.2.3.1.2.cmml">log</mi></mrow><mo lspace="0.167em" id="A2.SS3.p2.1.m1.2.2.3a" xref="A2.SS3.p2.1.m1.2.2.3.cmml">⁡</mo><msub id="A2.SS3.p2.1.m1.2.2.3.2" xref="A2.SS3.p2.1.m1.2.2.3.2.cmml"><mi id="A2.SS3.p2.1.m1.2.2.3.2.2" xref="A2.SS3.p2.1.m1.2.2.3.2.2.cmml">π</mi><mi id="A2.SS3.p2.1.m1.2.2.3.2.3" xref="A2.SS3.p2.1.m1.2.2.3.2.3.cmml">θ</mi></msub></mrow><mo lspace="0em" rspace="0em" id="A2.SS3.p2.1.m1.2.2.2" xref="A2.SS3.p2.1.m1.2.2.2.cmml">​</mo><mrow id="A2.SS3.p2.1.m1.2.2.1.1" xref="A2.SS3.p2.1.m1.2.2.1.1.1.cmml"><mo stretchy="false" id="A2.SS3.p2.1.m1.2.2.1.1.2" xref="A2.SS3.p2.1.m1.2.2.1.1.1.cmml">(</mo><mrow id="A2.SS3.p2.1.m1.2.2.1.1.1" xref="A2.SS3.p2.1.m1.2.2.1.1.1.cmml"><msub id="A2.SS3.p2.1.m1.2.2.1.1.1.3" xref="A2.SS3.p2.1.m1.2.2.1.1.1.3.cmml"><mi id="A2.SS3.p2.1.m1.2.2.1.1.1.3.2" xref="A2.SS3.p2.1.m1.2.2.1.1.1.3.2.cmml">a</mi><mi id="A2.SS3.p2.1.m1.2.2.1.1.1.3.3" xref="A2.SS3.p2.1.m1.2.2.1.1.1.3.3.cmml">t</mi></msub><mo fence="false" id="A2.SS3.p2.1.m1.2.2.1.1.1.2" xref="A2.SS3.p2.1.m1.2.2.1.1.1.2.cmml">|</mo><mrow id="A2.SS3.p2.1.m1.2.2.1.1.1.1.1" xref="A2.SS3.p2.1.m1.2.2.1.1.1.1.2.cmml"><mi id="A2.SS3.p2.1.m1.1.1" xref="A2.SS3.p2.1.m1.1.1.cmml">x</mi><mo id="A2.SS3.p2.1.m1.2.2.1.1.1.1.1.2" xref="A2.SS3.p2.1.m1.2.2.1.1.1.1.2.cmml">,</mo><msub id="A2.SS3.p2.1.m1.2.2.1.1.1.1.1.1" xref="A2.SS3.p2.1.m1.2.2.1.1.1.1.1.1.cmml"><mi id="A2.SS3.p2.1.m1.2.2.1.1.1.1.1.1.2" xref="A2.SS3.p2.1.m1.2.2.1.1.1.1.1.1.2.cmml">a</mi><mrow id="A2.SS3.p2.1.m1.2.2.1.1.1.1.1.1.3" xref="A2.SS3.p2.1.m1.2.2.1.1.1.1.1.1.3.cmml"><mn id="A2.SS3.p2.1.m1.2.2.1.1.1.1.1.1.3.2" xref="A2.SS3.p2.1.m1.2.2.1.1.1.1.1.1.3.2.cmml">1</mn><mo lspace="0.278em" rspace="0.278em" id="A2.SS3.p2.1.m1.2.2.1.1.1.1.1.1.3.1" xref="A2.SS3.p2.1.m1.2.2.1.1.1.1.1.1.3.1.cmml">:</mo><mrow id="A2.SS3.p2.1.m1.2.2.1.1.1.1.1.1.3.3" xref="A2.SS3.p2.1.m1.2.2.1.1.1.1.1.1.3.3.cmml"><mi id="A2.SS3.p2.1.m1.2.2.1.1.1.1.1.1.3.3.2" xref="A2.SS3.p2.1.m1.2.2.1.1.1.1.1.1.3.3.2.cmml">t</mi><mo id="A2.SS3.p2.1.m1.2.2.1.1.1.1.1.1.3.3.1" xref="A2.SS3.p2.1.m1.2.2.1.1.1.1.1.1.3.3.1.cmml">−</mo><mn id="A2.SS3.p2.1.m1.2.2.1.1.1.1.1.1.3.3.3" xref="A2.SS3.p2.1.m1.2.2.1.1.1.1.1.1.3.3.3.cmml">1</mn></mrow></mrow></msub></mrow></mrow><mo stretchy="false" id="A2.SS3.p2.1.m1.2.2.1.1.3" xref="A2.SS3.p2.1.m1.2.2.1.1.1.cmml">)</mo></mrow></mrow><annotation-xml encoding="MathML-Content" id="A2.SS3.p2.1.m1.2b"><apply id="A2.SS3.p2.1.m1.2.2.cmml" xref="A2.SS3.p2.1.m1.2.2"><times id="A2.SS3.p2.1.m1.2.2.2.cmml" xref="A2.SS3.p2.1.m1.2.2.2"></times><apply id="A2.SS3.p2.1.m1.2.2.3.cmml" xref="A2.SS3.p2.1.m1.2.2.3"><apply id="A2.SS3.p2.1.m1.2.2.3.1.cmml" xref="A2.SS3.p2.1.m1.2.2.3.1"><apply id="A2.SS3.p2.1.m1.2.2.3.1.1.cmml" xref="A2.SS3.p2.1.m1.2.2.3.1.1"><csymbol cd="ambiguous" id="A2.SS3.p2.1.m1.2.2.3.1.1.1.cmml" xref="A2.SS3.p2.1.m1.2.2.3.1.1">subscript</csymbol><ci id="A2.SS3.p2.1.m1.2.2.3.1.1.2.cmml" xref="A2.SS3.p2.1.m1.2.2.3.1.1.2">∇</ci><ci id="A2.SS3.p2.1.m1.2.2.3.1.1.3.cmml" xref="A2.SS3.p2.1.m1.2.2.3.1.1.3">𝜃</ci></apply><log id="A2.SS3.p2.1.m1.2.2.3.1.2.cmml" xref="A2.SS3.p2.1.m1.2.2.3.1.2"></log></apply><apply id="A2.SS3.p2.1.m1.2.2.3.2.cmml" xref="A2.SS3.p2.1.m1.2.2.3.2"><csymbol cd="ambiguous" id="A2.SS3.p2.1.m1.2.2.3.2.1.cmml" xref="A2.SS3.p2.1.m1.2.2.3.2">subscript</csymbol><ci id="A2.SS3.p2.1.m1.2.2.3.2.2.cmml" xref="A2.SS3.p2.1.m1.2.2.3.2.2">𝜋</ci><ci id="A2.SS3.p2.1.m1.2.2.3.2.3.cmml" xref="A2.SS3.p2.1.m1.2.2.3.2.3">𝜃</ci></apply></apply><apply id="A2.SS3.p2.1.m1.2.2.1.1.1.cmml" xref="A2.SS3.p2.1.m1.2.2.1.1"><csymbol cd="latexml" id="A2.SS3.p2.1.m1.2.2.1.1.1.2.cmml" xref="A2.SS3.p2.1.m1.2.2.1.1.1.2">conditional</csymbol><apply id="A2.SS3.p2.1.m1.2.2.1.1.1.3.cmml" xref="A2.SS3.p2.1.m1.2.2.1.1.1.3"><csymbol cd="ambiguous" id="A2.SS3.p2.1.m1.2.2.1.1.1.3.1.cmml" xref="A2.SS3.p2.1.m1.2.2.1.1.1.3">subscript</csymbol><ci id="A2.SS3.p2.1.m1.2.2.1.1.1.3.2.cmml" xref="A2.SS3.p2.1.m1.2.2.1.1.1.3.2">𝑎</ci><ci id="A2.SS3.p2.1.m1.2.2.1.1.1.3.3.cmml" xref="A2.SS3.p2.1.m1.2.2.1.1.1.3.3">𝑡</ci></apply><list id="A2.SS3.p2.1.m1.2.2.1.1.1.1.2.cmml" xref="A2.SS3.p2.1.m1.2.2.1.1.1.1.1"><ci id="A2.SS3.p2.1.m1.1.1.cmml" xref="A2.SS3.p2.1.m1.1.1">𝑥</ci><apply id="A2.SS3.p2.1.m1.2.2.1.1.1.1.1.1.cmml" xref="A2.SS3.p2.1.m1.2.2.1.1.1.1.1.1"><csymbol cd="ambiguous" id="A2.SS3.p2.1.m1.2.2.1.1.1.1.1.1.1.cmml" xref="A2.SS3.p2.1.m1.2.2.1.1.1.1.1.1">subscript</csymbol><ci id="A2.SS3.p2.1.m1.2.2.1.1.1.1.1.1.2.cmml" xref="A2.SS3.p2.1.m1.2.2.1.1.1.1.1.1.2">𝑎</ci><apply id="A2.SS3.p2.1.m1.2.2.1.1.1.1.1.1.3.cmml" xref="A2.SS3.p2.1.m1.2.2.1.1.1.1.1.1.3"><ci id="A2.SS3.p2.1.m1.2.2.1.1.1.1.1.1.3.1.cmml" xref="A2.SS3.p2.1.m1.2.2.1.1.1.1.1.1.3.1">:</ci><cn type="integer" id="A2.SS3.p2.1.m1.2.2.1.1.1.1.1.1.3.2.cmml" xref="A2.SS3.p2.1.m1.2.2.1.1.1.1.1.1.3.2">1</cn><apply id="A2.SS3.p2.1.m1.2.2.1.1.1.1.1.1.3.3.cmml" xref="A2.SS3.p2.1.m1.2.2.1.1.1.1.1.1.3.3"><minus id="A2.SS3.p2.1.m1.2.2.1.1.1.1.1.1.3.3.1.cmml" xref="A2.SS3.p2.1.m1.2.2.1.1.1.1.1.1.3.3.1"></minus><ci id="A2.SS3.p2.1.m1.2.2.1.1.1.1.1.1.3.3.2.cmml" xref="A2.SS3.p2.1.m1.2.2.1.1.1.1.1.1.3.3.2">𝑡</ci><cn type="integer" id="A2.SS3.p2.1.m1.2.2.1.1.1.1.1.1.3.3.3.cmml" xref="A2.SS3.p2.1.m1.2.2.1.1.1.1.1.1.3.3.3">1</cn></apply></apply></apply></list></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="A2.SS3.p2.1.m1.2c">\nabla_{\theta}\log\pi_{\theta}(a_{t}|x,a_{1:t-1})</annotation></semantics></math> and involves calculating the expectation. Likewise, computing the expected reward <math id="A2.SS3.p2.2.m2.2" class="ltx_Math" alttext="\mathbb{E}_{a_{1:T}\sim\pi_{\theta}}[r(x,a_{1:T})]" display="inline"><semantics id="A2.SS3.p2.2.m2.2a"><mrow id="A2.SS3.p2.2.m2.2.2" xref="A2.SS3.p2.2.m2.2.2.cmml"><msub id="A2.SS3.p2.2.m2.2.2.3" xref="A2.SS3.p2.2.m2.2.2.3.cmml"><mi id="A2.SS3.p2.2.m2.2.2.3.2" xref="A2.SS3.p2.2.m2.2.2.3.2.cmml">𝔼</mi><mrow id="A2.SS3.p2.2.m2.2.2.3.3" xref="A2.SS3.p2.2.m2.2.2.3.3.cmml"><msub id="A2.SS3.p2.2.m2.2.2.3.3.2" xref="A2.SS3.p2.2.m2.2.2.3.3.2.cmml"><mi id="A2.SS3.p2.2.m2.2.2.3.3.2.2" xref="A2.SS3.p2.2.m2.2.2.3.3.2.2.cmml">a</mi><mrow id="A2.SS3.p2.2.m2.2.2.3.3.2.3" xref="A2.SS3.p2.2.m2.2.2.3.3.2.3.cmml"><mn id="A2.SS3.p2.2.m2.2.2.3.3.2.3.2" xref="A2.SS3.p2.2.m2.2.2.3.3.2.3.2.cmml">1</mn><mo lspace="0.278em" rspace="0.278em" id="A2.SS3.p2.2.m2.2.2.3.3.2.3.1" xref="A2.SS3.p2.2.m2.2.2.3.3.2.3.1.cmml">:</mo><mi id="A2.SS3.p2.2.m2.2.2.3.3.2.3.3" xref="A2.SS3.p2.2.m2.2.2.3.3.2.3.3.cmml">T</mi></mrow></msub><mo id="A2.SS3.p2.2.m2.2.2.3.3.1" xref="A2.SS3.p2.2.m2.2.2.3.3.1.cmml">∼</mo><msub id="A2.SS3.p2.2.m2.2.2.3.3.3" xref="A2.SS3.p2.2.m2.2.2.3.3.3.cmml"><mi id="A2.SS3.p2.2.m2.2.2.3.3.3.2" xref="A2.SS3.p2.2.m2.2.2.3.3.3.2.cmml">π</mi><mi id="A2.SS3.p2.2.m2.2.2.3.3.3.3" xref="A2.SS3.p2.2.m2.2.2.3.3.3.3.cmml">θ</mi></msub></mrow></msub><mo lspace="0em" rspace="0em" id="A2.SS3.p2.2.m2.2.2.2" xref="A2.SS3.p2.2.m2.2.2.2.cmml">​</mo><mrow id="A2.SS3.p2.2.m2.2.2.1.1" xref="A2.SS3.p2.2.m2.2.2.1.2.cmml"><mo stretchy="false" id="A2.SS3.p2.2.m2.2.2.1.1.2" xref="A2.SS3.p2.2.m2.2.2.1.2.1.cmml">[</mo><mrow id="A2.SS3.p2.2.m2.2.2.1.1.1" xref="A2.SS3.p2.2.m2.2.2.1.1.1.cmml"><mi id="A2.SS3.p2.2.m2.2.2.1.1.1.3" xref="A2.SS3.p2.2.m2.2.2.1.1.1.3.cmml">r</mi><mo lspace="0em" rspace="0em" id="A2.SS3.p2.2.m2.2.2.1.1.1.2" xref="A2.SS3.p2.2.m2.2.2.1.1.1.2.cmml">​</mo><mrow id="A2.SS3.p2.2.m2.2.2.1.1.1.1.1" xref="A2.SS3.p2.2.m2.2.2.1.1.1.1.2.cmml"><mo stretchy="false" id="A2.SS3.p2.2.m2.2.2.1.1.1.1.1.2" xref="A2.SS3.p2.2.m2.2.2.1.1.1.1.2.cmml">(</mo><mi id="A2.SS3.p2.2.m2.1.1" xref="A2.SS3.p2.2.m2.1.1.cmml">x</mi><mo id="A2.SS3.p2.2.m2.2.2.1.1.1.1.1.3" xref="A2.SS3.p2.2.m2.2.2.1.1.1.1.2.cmml">,</mo><msub id="A2.SS3.p2.2.m2.2.2.1.1.1.1.1.1" xref="A2.SS3.p2.2.m2.2.2.1.1.1.1.1.1.cmml"><mi id="A2.SS3.p2.2.m2.2.2.1.1.1.1.1.1.2" xref="A2.SS3.p2.2.m2.2.2.1.1.1.1.1.1.2.cmml">a</mi><mrow id="A2.SS3.p2.2.m2.2.2.1.1.1.1.1.1.3" xref="A2.SS3.p2.2.m2.2.2.1.1.1.1.1.1.3.cmml"><mn id="A2.SS3.p2.2.m2.2.2.1.1.1.1.1.1.3.2" xref="A2.SS3.p2.2.m2.2.2.1.1.1.1.1.1.3.2.cmml">1</mn><mo lspace="0.278em" rspace="0.278em" id="A2.SS3.p2.2.m2.2.2.1.1.1.1.1.1.3.1" xref="A2.SS3.p2.2.m2.2.2.1.1.1.1.1.1.3.1.cmml">:</mo><mi id="A2.SS3.p2.2.m2.2.2.1.1.1.1.1.1.3.3" xref="A2.SS3.p2.2.m2.2.2.1.1.1.1.1.1.3.3.cmml">T</mi></mrow></msub><mo stretchy="false" id="A2.SS3.p2.2.m2.2.2.1.1.1.1.1.4" xref="A2.SS3.p2.2.m2.2.2.1.1.1.1.2.cmml">)</mo></mrow></mrow><mo stretchy="false" id="A2.SS3.p2.2.m2.2.2.1.1.3" xref="A2.SS3.p2.2.m2.2.2.1.2.1.cmml">]</mo></mrow></mrow><annotation-xml encoding="MathML-Content" id="A2.SS3.p2.2.m2.2b"><apply id="A2.SS3.p2.2.m2.2.2.cmml" xref="A2.SS3.p2.2.m2.2.2"><times id="A2.SS3.p2.2.m2.2.2.2.cmml" xref="A2.SS3.p2.2.m2.2.2.2"></times><apply id="A2.SS3.p2.2.m2.2.2.3.cmml" xref="A2.SS3.p2.2.m2.2.2.3"><csymbol cd="ambiguous" id="A2.SS3.p2.2.m2.2.2.3.1.cmml" xref="A2.SS3.p2.2.m2.2.2.3">subscript</csymbol><ci id="A2.SS3.p2.2.m2.2.2.3.2.cmml" xref="A2.SS3.p2.2.m2.2.2.3.2">𝔼</ci><apply id="A2.SS3.p2.2.m2.2.2.3.3.cmml" xref="A2.SS3.p2.2.m2.2.2.3.3"><csymbol cd="latexml" id="A2.SS3.p2.2.m2.2.2.3.3.1.cmml" xref="A2.SS3.p2.2.m2.2.2.3.3.1">similar-to</csymbol><apply id="A2.SS3.p2.2.m2.2.2.3.3.2.cmml" xref="A2.SS3.p2.2.m2.2.2.3.3.2"><csymbol cd="ambiguous" id="A2.SS3.p2.2.m2.2.2.3.3.2.1.cmml" xref="A2.SS3.p2.2.m2.2.2.3.3.2">subscript</csymbol><ci id="A2.SS3.p2.2.m2.2.2.3.3.2.2.cmml" xref="A2.SS3.p2.2.m2.2.2.3.3.2.2">𝑎</ci><apply id="A2.SS3.p2.2.m2.2.2.3.3.2.3.cmml" xref="A2.SS3.p2.2.m2.2.2.3.3.2.3"><ci id="A2.SS3.p2.2.m2.2.2.3.3.2.3.1.cmml" xref="A2.SS3.p2.2.m2.2.2.3.3.2.3.1">:</ci><cn type="integer" id="A2.SS3.p2.2.m2.2.2.3.3.2.3.2.cmml" xref="A2.SS3.p2.2.m2.2.2.3.3.2.3.2">1</cn><ci id="A2.SS3.p2.2.m2.2.2.3.3.2.3.3.cmml" xref="A2.SS3.p2.2.m2.2.2.3.3.2.3.3">𝑇</ci></apply></apply><apply id="A2.SS3.p2.2.m2.2.2.3.3.3.cmml" xref="A2.SS3.p2.2.m2.2.2.3.3.3"><csymbol cd="ambiguous" id="A2.SS3.p2.2.m2.2.2.3.3.3.1.cmml" xref="A2.SS3.p2.2.m2.2.2.3.3.3">subscript</csymbol><ci id="A2.SS3.p2.2.m2.2.2.3.3.3.2.cmml" xref="A2.SS3.p2.2.m2.2.2.3.3.3.2">𝜋</ci><ci id="A2.SS3.p2.2.m2.2.2.3.3.3.3.cmml" xref="A2.SS3.p2.2.m2.2.2.3.3.3.3">𝜃</ci></apply></apply></apply><apply id="A2.SS3.p2.2.m2.2.2.1.2.cmml" xref="A2.SS3.p2.2.m2.2.2.1.1"><csymbol cd="latexml" id="A2.SS3.p2.2.m2.2.2.1.2.1.cmml" xref="A2.SS3.p2.2.m2.2.2.1.1.2">delimited-[]</csymbol><apply id="A2.SS3.p2.2.m2.2.2.1.1.1.cmml" xref="A2.SS3.p2.2.m2.2.2.1.1.1"><times id="A2.SS3.p2.2.m2.2.2.1.1.1.2.cmml" xref="A2.SS3.p2.2.m2.2.2.1.1.1.2"></times><ci id="A2.SS3.p2.2.m2.2.2.1.1.1.3.cmml" xref="A2.SS3.p2.2.m2.2.2.1.1.1.3">𝑟</ci><interval closure="open" id="A2.SS3.p2.2.m2.2.2.1.1.1.1.2.cmml" xref="A2.SS3.p2.2.m2.2.2.1.1.1.1.1"><ci id="A2.SS3.p2.2.m2.1.1.cmml" xref="A2.SS3.p2.2.m2.1.1">𝑥</ci><apply id="A2.SS3.p2.2.m2.2.2.1.1.1.1.1.1.cmml" xref="A2.SS3.p2.2.m2.2.2.1.1.1.1.1.1"><csymbol cd="ambiguous" id="A2.SS3.p2.2.m2.2.2.1.1.1.1.1.1.1.cmml" xref="A2.SS3.p2.2.m2.2.2.1.1.1.1.1.1">subscript</csymbol><ci id="A2.SS3.p2.2.m2.2.2.1.1.1.1.1.1.2.cmml" xref="A2.SS3.p2.2.m2.2.2.1.1.1.1.1.1.2">𝑎</ci><apply id="A2.SS3.p2.2.m2.2.2.1.1.1.1.1.1.3.cmml" xref="A2.SS3.p2.2.m2.2.2.1.1.1.1.1.1.3"><ci id="A2.SS3.p2.2.m2.2.2.1.1.1.1.1.1.3.1.cmml" xref="A2.SS3.p2.2.m2.2.2.1.1.1.1.1.1.3.1">:</ci><cn type="integer" id="A2.SS3.p2.2.m2.2.2.1.1.1.1.1.1.3.2.cmml" xref="A2.SS3.p2.2.m2.2.2.1.1.1.1.1.1.3.2">1</cn><ci id="A2.SS3.p2.2.m2.2.2.1.1.1.1.1.1.3.3.cmml" xref="A2.SS3.p2.2.m2.2.2.1.1.1.1.1.1.3.3">𝑇</ci></apply></apply></interval></apply></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="A2.SS3.p2.2.m2.2c">\mathbb{E}_{a_{1:T}\sim\pi_{\theta}}[r(x,a_{1:T})]</annotation></semantics></math> for the baseline value is also impractical.</p>
</div>
</section>
</section>
<section id="A3" class="ltx_appendix">
<h2 class="ltx_title ltx_title_appendix">
<span class="ltx_tag ltx_tag_appendix">Appendix C </span>Experiment Details</h2>

<div id="A3.p1" class="ltx_para">
<p id="A3.p1.1" class="ltx_p">We made several changes to the RLHF process when using the DeepSpeed-Chat framework <cite class="ltx_cite ltx_citemacro_citep">[Yao et al., <a href="#bib.bib41" title="" class="ltx_ref">2023</a>]</cite>. Here are the key differences:</p>
<ul id="A3.I1" class="ltx_itemize">
<li id="A3.I1.i1" class="ltx_item" style="list-style-type:none;">
<span class="ltx_tag ltx_tag_item">•</span> 
<div id="A3.I1.i1.p1" class="ltx_para">
<p id="A3.I1.i1.p1.1" class="ltx_p"><span id="A3.I1.i1.p1.1.1" class="ltx_text ltx_font_bold">Data Processing:</span> We adjusted how we handle padding tokens. Instead of using the token of <span id="A3.I1.i1.p1.1.2" class="ltx_text ltx_font_typewriter">&lt;|endoftext|&gt;</span> as padding, we set it to be the end-of-sequence (EOS) token. This change ensures that our models stop generating properly.</p>
</div>
</li>
<li id="A3.I1.i2" class="ltx_item" style="list-style-type:none;">
<span class="ltx_tag ltx_tag_item">•</span> 
<div id="A3.I1.i2.p1" class="ltx_para">
<p id="A3.I1.i2.p1.1" class="ltx_p"><span id="A3.I1.i2.p1.1.1" class="ltx_text ltx_font_bold">Supervised Fine-tuning:</span> We modified the fine-tuning process by focusing on the fine-tuning loss, excluding the next-token-prediction loss for prompt parts.</p>
</div>
</li>
<li id="A3.I1.i3" class="ltx_item" style="list-style-type:none;">
<span class="ltx_tag ltx_tag_item">•</span> 
<div id="A3.I1.i3.p1" class="ltx_para">
<p id="A3.I1.i3.p1.1" class="ltx_p"><span id="A3.I1.i3.p1.1.1" class="ltx_text ltx_font_bold">Reward Learning:</span> We changed how we calculate the classification loss. Instead of considering all hidden states, we only use the last hidden state. This adjustment is based on the PTL theory.</p>
</div>
</li>
<li id="A3.I1.i4" class="ltx_item" style="list-style-type:none;">
<span class="ltx_tag ltx_tag_item">•</span> 
<div id="A3.I1.i4.p1" class="ltx_para">
<p id="A3.I1.i4.p1.1" class="ltx_p"><span id="A3.I1.i4.p1.1.1" class="ltx_text ltx_font_bold">Reward Maximization:</span> When generating responses, we set specific parameters like <span id="A3.I1.i4.p1.1.2" class="ltx_text ltx_font_typewriter">temperature=1</span>, <span id="A3.I1.i4.p1.1.3" class="ltx_text ltx_font_typewriter">top_p=0.9</span>, and <span id="A3.I1.i4.p1.1.4" class="ltx_text ltx_font_typewriter">do_sample=True</span>. Additionally, we include the generated end-of-sequence (EOS) token in the reward evaluation.</p>
</div>
</li>
</ul>
</div>
<div id="A3.p2" class="ltx_para">
<p id="A3.p2.2" class="ltx_p">Unless stated otherwise, we use the Adam optimizer with <math id="A3.p2.1.m1.1" class="ltx_Math" alttext="\beta_{1}=0.9" display="inline"><semantics id="A3.p2.1.m1.1a"><mrow id="A3.p2.1.m1.1.1" xref="A3.p2.1.m1.1.1.cmml"><msub id="A3.p2.1.m1.1.1.2" xref="A3.p2.1.m1.1.1.2.cmml"><mi id="A3.p2.1.m1.1.1.2.2" xref="A3.p2.1.m1.1.1.2.2.cmml">β</mi><mn id="A3.p2.1.m1.1.1.2.3" xref="A3.p2.1.m1.1.1.2.3.cmml">1</mn></msub><mo id="A3.p2.1.m1.1.1.1" xref="A3.p2.1.m1.1.1.1.cmml">=</mo><mn id="A3.p2.1.m1.1.1.3" xref="A3.p2.1.m1.1.1.3.cmml">0.9</mn></mrow><annotation-xml encoding="MathML-Content" id="A3.p2.1.m1.1b"><apply id="A3.p2.1.m1.1.1.cmml" xref="A3.p2.1.m1.1.1"><eq id="A3.p2.1.m1.1.1.1.cmml" xref="A3.p2.1.m1.1.1.1"></eq><apply id="A3.p2.1.m1.1.1.2.cmml" xref="A3.p2.1.m1.1.1.2"><csymbol cd="ambiguous" id="A3.p2.1.m1.1.1.2.1.cmml" xref="A3.p2.1.m1.1.1.2">subscript</csymbol><ci id="A3.p2.1.m1.1.1.2.2.cmml" xref="A3.p2.1.m1.1.1.2.2">𝛽</ci><cn type="integer" id="A3.p2.1.m1.1.1.2.3.cmml" xref="A3.p2.1.m1.1.1.2.3">1</cn></apply><cn type="float" id="A3.p2.1.m1.1.1.3.cmml" xref="A3.p2.1.m1.1.1.3">0.9</cn></apply></annotation-xml><annotation encoding="application/x-tex" id="A3.p2.1.m1.1c">\beta_{1}=0.9</annotation></semantics></math> and <math id="A3.p2.2.m2.1" class="ltx_Math" alttext="\beta_{2}=0.95" display="inline"><semantics id="A3.p2.2.m2.1a"><mrow id="A3.p2.2.m2.1.1" xref="A3.p2.2.m2.1.1.cmml"><msub id="A3.p2.2.m2.1.1.2" xref="A3.p2.2.m2.1.1.2.cmml"><mi id="A3.p2.2.m2.1.1.2.2" xref="A3.p2.2.m2.1.1.2.2.cmml">β</mi><mn id="A3.p2.2.m2.1.1.2.3" xref="A3.p2.2.m2.1.1.2.3.cmml">2</mn></msub><mo id="A3.p2.2.m2.1.1.1" xref="A3.p2.2.m2.1.1.1.cmml">=</mo><mn id="A3.p2.2.m2.1.1.3" xref="A3.p2.2.m2.1.1.3.cmml">0.95</mn></mrow><annotation-xml encoding="MathML-Content" id="A3.p2.2.m2.1b"><apply id="A3.p2.2.m2.1.1.cmml" xref="A3.p2.2.m2.1.1"><eq id="A3.p2.2.m2.1.1.1.cmml" xref="A3.p2.2.m2.1.1.1"></eq><apply id="A3.p2.2.m2.1.1.2.cmml" xref="A3.p2.2.m2.1.1.2"><csymbol cd="ambiguous" id="A3.p2.2.m2.1.1.2.1.cmml" xref="A3.p2.2.m2.1.1.2">subscript</csymbol><ci id="A3.p2.2.m2.1.1.2.2.cmml" xref="A3.p2.2.m2.1.1.2.2">𝛽</ci><cn type="integer" id="A3.p2.2.m2.1.1.2.3.cmml" xref="A3.p2.2.m2.1.1.2.3">2</cn></apply><cn type="float" id="A3.p2.2.m2.1.1.3.cmml" xref="A3.p2.2.m2.1.1.3">0.95</cn></apply></annotation-xml><annotation encoding="application/x-tex" id="A3.p2.2.m2.1c">\beta_{2}=0.95</annotation></semantics></math>. The maximum sequence length, including prompts and responses, is set to 512. Additional details are as follows:</p>
<ul id="A3.I2" class="ltx_itemize">
<li id="A3.I2.i1" class="ltx_item" style="list-style-type:none;">
<span class="ltx_tag ltx_tag_item">•</span> 
<div id="A3.I2.i1.p1" class="ltx_para">
<p id="A3.I2.i1.p1.1" class="ltx_p">For the first step of Supervised Fine-Tuning (SFT), we use a batch size of 16 per device and a learning rate of <math id="A3.I2.i1.p1.1.m1.1" class="ltx_Math" alttext="10^{-5}" display="inline"><semantics id="A3.I2.i1.p1.1.m1.1a"><msup id="A3.I2.i1.p1.1.m1.1.1" xref="A3.I2.i1.p1.1.m1.1.1.cmml"><mn id="A3.I2.i1.p1.1.m1.1.1.2" xref="A3.I2.i1.p1.1.m1.1.1.2.cmml">10</mn><mrow id="A3.I2.i1.p1.1.m1.1.1.3" xref="A3.I2.i1.p1.1.m1.1.1.3.cmml"><mo id="A3.I2.i1.p1.1.m1.1.1.3a" xref="A3.I2.i1.p1.1.m1.1.1.3.cmml">−</mo><mn id="A3.I2.i1.p1.1.m1.1.1.3.2" xref="A3.I2.i1.p1.1.m1.1.1.3.2.cmml">5</mn></mrow></msup><annotation-xml encoding="MathML-Content" id="A3.I2.i1.p1.1.m1.1b"><apply id="A3.I2.i1.p1.1.m1.1.1.cmml" xref="A3.I2.i1.p1.1.m1.1.1"><csymbol cd="ambiguous" id="A3.I2.i1.p1.1.m1.1.1.1.cmml" xref="A3.I2.i1.p1.1.m1.1.1">superscript</csymbol><cn type="integer" id="A3.I2.i1.p1.1.m1.1.1.2.cmml" xref="A3.I2.i1.p1.1.m1.1.1.2">10</cn><apply id="A3.I2.i1.p1.1.m1.1.1.3.cmml" xref="A3.I2.i1.p1.1.m1.1.1.3"><minus id="A3.I2.i1.p1.1.m1.1.1.3.1.cmml" xref="A3.I2.i1.p1.1.m1.1.1.3"></minus><cn type="integer" id="A3.I2.i1.p1.1.m1.1.1.3.2.cmml" xref="A3.I2.i1.p1.1.m1.1.1.3.2">5</cn></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="A3.I2.i1.p1.1.m1.1c">10^{-5}</annotation></semantics></math> with a cosine learning rate schedule (no warm-up). Training lasts for 2 epochs.</p>
</div>
</li>
<li id="A3.I2.i2" class="ltx_item" style="list-style-type:none;">
<span class="ltx_tag ltx_tag_item">•</span> 
<div id="A3.I2.i2.p1" class="ltx_para">
<p id="A3.I2.i2.p1.1" class="ltx_p">For the second step of reward model learning, the batch size per device is 16, with a learning rate of <math id="A3.I2.i2.p1.1.m1.1" class="ltx_Math" alttext="10^{-5}" display="inline"><semantics id="A3.I2.i2.p1.1.m1.1a"><msup id="A3.I2.i2.p1.1.m1.1.1" xref="A3.I2.i2.p1.1.m1.1.1.cmml"><mn id="A3.I2.i2.p1.1.m1.1.1.2" xref="A3.I2.i2.p1.1.m1.1.1.2.cmml">10</mn><mrow id="A3.I2.i2.p1.1.m1.1.1.3" xref="A3.I2.i2.p1.1.m1.1.1.3.cmml"><mo id="A3.I2.i2.p1.1.m1.1.1.3a" xref="A3.I2.i2.p1.1.m1.1.1.3.cmml">−</mo><mn id="A3.I2.i2.p1.1.m1.1.1.3.2" xref="A3.I2.i2.p1.1.m1.1.1.3.2.cmml">5</mn></mrow></msup><annotation-xml encoding="MathML-Content" id="A3.I2.i2.p1.1.m1.1b"><apply id="A3.I2.i2.p1.1.m1.1.1.cmml" xref="A3.I2.i2.p1.1.m1.1.1"><csymbol cd="ambiguous" id="A3.I2.i2.p1.1.m1.1.1.1.cmml" xref="A3.I2.i2.p1.1.m1.1.1">superscript</csymbol><cn type="integer" id="A3.I2.i2.p1.1.m1.1.1.2.cmml" xref="A3.I2.i2.p1.1.m1.1.1.2">10</cn><apply id="A3.I2.i2.p1.1.m1.1.1.3.cmml" xref="A3.I2.i2.p1.1.m1.1.1.3"><minus id="A3.I2.i2.p1.1.m1.1.1.3.1.cmml" xref="A3.I2.i2.p1.1.m1.1.1.3"></minus><cn type="integer" id="A3.I2.i2.p1.1.m1.1.1.3.2.cmml" xref="A3.I2.i2.p1.1.m1.1.1.3.2">5</cn></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="A3.I2.i2.p1.1.m1.1c">10^{-5}</annotation></semantics></math> and a cosine learning rate schedule (no warm-up). A weight decay of 0.1 is used. Training lasts for 2 epochs, achieving a final evaluation accuracy of 67.8%.</p>
</div>
</li>
<li id="A3.I2.i3" class="ltx_item" style="list-style-type:none;">
<span class="ltx_tag ltx_tag_item">•</span> 
<div id="A3.I2.i3.p1" class="ltx_para">
<p id="A3.I2.i3.p1.3" class="ltx_p">For the third step, we use ZeRO-2, gradient checkpointing, and offload if applicable. The learning rate is the same, set to <math id="A3.I2.i3.p1.1.m1.1" class="ltx_Math" alttext="10^{-6}" display="inline"><semantics id="A3.I2.i3.p1.1.m1.1a"><msup id="A3.I2.i3.p1.1.m1.1.1" xref="A3.I2.i3.p1.1.m1.1.1.cmml"><mn id="A3.I2.i3.p1.1.m1.1.1.2" xref="A3.I2.i3.p1.1.m1.1.1.2.cmml">10</mn><mrow id="A3.I2.i3.p1.1.m1.1.1.3" xref="A3.I2.i3.p1.1.m1.1.1.3.cmml"><mo id="A3.I2.i3.p1.1.m1.1.1.3a" xref="A3.I2.i3.p1.1.m1.1.1.3.cmml">−</mo><mn id="A3.I2.i3.p1.1.m1.1.1.3.2" xref="A3.I2.i3.p1.1.m1.1.1.3.2.cmml">6</mn></mrow></msup><annotation-xml encoding="MathML-Content" id="A3.I2.i3.p1.1.m1.1b"><apply id="A3.I2.i3.p1.1.m1.1.1.cmml" xref="A3.I2.i3.p1.1.m1.1.1"><csymbol cd="ambiguous" id="A3.I2.i3.p1.1.m1.1.1.1.cmml" xref="A3.I2.i3.p1.1.m1.1.1">superscript</csymbol><cn type="integer" id="A3.I2.i3.p1.1.m1.1.1.2.cmml" xref="A3.I2.i3.p1.1.m1.1.1.2">10</cn><apply id="A3.I2.i3.p1.1.m1.1.1.3.cmml" xref="A3.I2.i3.p1.1.m1.1.1.3"><minus id="A3.I2.i3.p1.1.m1.1.1.3.1.cmml" xref="A3.I2.i3.p1.1.m1.1.1.3"></minus><cn type="integer" id="A3.I2.i3.p1.1.m1.1.1.3.2.cmml" xref="A3.I2.i3.p1.1.m1.1.1.3.2">6</cn></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="A3.I2.i3.p1.1.m1.1c">10^{-6}</annotation></semantics></math> with a cosine learning rate decay schedule (no warm-up). The training lasts for 1 epoch. The KL penalty coefficient is set to <math id="A3.I2.i3.p1.2.m2.1" class="ltx_Math" alttext="0.1" display="inline"><semantics id="A3.I2.i3.p1.2.m2.1a"><mn id="A3.I2.i3.p1.2.m2.1.1" xref="A3.I2.i3.p1.2.m2.1.1.cmml">0.1</mn><annotation-xml encoding="MathML-Content" id="A3.I2.i3.p1.2.m2.1b"><cn type="float" id="A3.I2.i3.p1.2.m2.1.1.cmml" xref="A3.I2.i3.p1.2.m2.1.1">0.1</cn></annotation-xml><annotation encoding="application/x-tex" id="A3.I2.i3.p1.2.m2.1c">0.1</annotation></semantics></math> for both PPO and ReMax. For DPO, we use the hyper-parameter <math id="A3.I2.i3.p1.3.m3.1" class="ltx_Math" alttext="\beta=0.1" display="inline"><semantics id="A3.I2.i3.p1.3.m3.1a"><mrow id="A3.I2.i3.p1.3.m3.1.1" xref="A3.I2.i3.p1.3.m3.1.1.cmml"><mi id="A3.I2.i3.p1.3.m3.1.1.2" xref="A3.I2.i3.p1.3.m3.1.1.2.cmml">β</mi><mo id="A3.I2.i3.p1.3.m3.1.1.1" xref="A3.I2.i3.p1.3.m3.1.1.1.cmml">=</mo><mn id="A3.I2.i3.p1.3.m3.1.1.3" xref="A3.I2.i3.p1.3.m3.1.1.3.cmml">0.1</mn></mrow><annotation-xml encoding="MathML-Content" id="A3.I2.i3.p1.3.m3.1b"><apply id="A3.I2.i3.p1.3.m3.1.1.cmml" xref="A3.I2.i3.p1.3.m3.1.1"><eq id="A3.I2.i3.p1.3.m3.1.1.1.cmml" xref="A3.I2.i3.p1.3.m3.1.1.1"></eq><ci id="A3.I2.i3.p1.3.m3.1.1.2.cmml" xref="A3.I2.i3.p1.3.m3.1.1.2">𝛽</ci><cn type="float" id="A3.I2.i3.p1.3.m3.1.1.3.cmml" xref="A3.I2.i3.p1.3.m3.1.1.3">0.1</cn></apply></annotation-xml><annotation encoding="application/x-tex" id="A3.I2.i3.p1.3.m3.1c">\beta=0.1</annotation></semantics></math>, as recommended in <cite class="ltx_cite ltx_citemacro_citep">[Rafailov et al., <a href="#bib.bib23" title="" class="ltx_ref">2023</a>]</cite>. Note that the reward model and reference model use ZeRO-3 with offloading, as they do not require training. The hybrid training engine <cite class="ltx_cite ltx_citemacro_citep">[Yao et al., <a href="#bib.bib41" title="" class="ltx_ref">2023</a>]</cite> is used.</p>
</div>
</li>
</ul>
</div>
<div id="A3.p3" class="ltx_para">
<p id="A3.p3.1" class="ltx_p">Note that for trainable models, we do not use ZeRO-3 since it is unacceptably slow. When using offload for trainable models, we only offload the optimizers to the CPU and leave the parameters in the GPU.</p>
</div>
<div id="A3.p4" class="ltx_para">
<p id="A3.p4.1" class="ltx_p">For the evaluation on the AlpacaEval dataset <cite class="ltx_cite ltx_citemacro_citep">[Li et al., <a href="#bib.bib16" title="" class="ltx_ref">2023</a>]</cite>, we utilize the <span id="A3.p4.1.1" class="ltx_text ltx_font_typewriter">alpha_eval_gpt4</span> configuration. The query template and evaluation keyword arguments employed for GPT-4 can be found at <a target="_blank" href="https://github.com/tatsu-lab/alpaca_eval/tree/main/src/alpaca_eval/evaluators_configs/alpaca_eval_gpt4" title="" class="ltx_ref ltx_url ltx_font_typewriter">https://github.com/tatsu-lab/alpaca_eval/tree/main/src/alpaca_eval/evaluators_configs/alpaca_eval_gpt4</a>.</p>
</div>
<div id="A3.p5" class="ltx_para">
<p id="A3.p5.1" class="ltx_p">Note that our use of OPT-1.3B and Llama2-7B, as well as the full-hh-rlhf dataset, is allowed under their respective licenses.</p>
</div>
</section>
<section id="A4" class="ltx_appendix">
<h2 class="ltx_title ltx_title_appendix">
<span class="ltx_tag ltx_tag_appendix">Appendix D </span>Additional Results</h2>

<section id="A4.SS1" class="ltx_subsection">
<h3 class="ltx_title ltx_title_subsection">
<span class="ltx_tag ltx_tag_subsection">D.1 </span>Llama2-7B</h3>

<div id="A4.SS1.p1" class="ltx_para">
<p id="A4.SS1.p1.1" class="ltx_p">We note that in the third step of RLHF, where preference labels are not available, DPO is not applicable. However, we may use DPO (rather than SFT) as an initial LLM when performing the third step of RLHF. We call this variant ReMax+. In subsequent experiments, we observe that it slightly improves performance compared with using SFT as the starting point.</p>
</div>
<div id="A4.SS1.p2" class="ltx_para">
<p id="A4.SS1.p2.1" class="ltx_p">On the AlpacaEval dataset <cite class="ltx_cite ltx_citemacro_citep">[Li et al., <a href="#bib.bib16" title="" class="ltx_ref">2023</a>]</cite>, we also evaluate the binary win rate of text-davinci-003<span id="footnote8" class="ltx_note ltx_role_footnote"><sup class="ltx_note_mark">8</sup><span class="ltx_note_outer"><span class="ltx_note_content"><sup class="ltx_note_mark">8</sup><span class="ltx_tag ltx_tag_note">8</span><a target="_blank" href="https://api.openai.com/v1/engines/text-davinci-003/completions" title="" class="ltx_ref ltx_url ltx_font_typewriter">https://api.openai.com/v1/engines/text-davinci-003/completions</a></span></span></span>, a strong LLM. It is important to note that text-davinci-003 likely has more than 7B parameters, which is why the fine-tuned Llama2 models do not outperform it. Nevertheless, ReMax is able to closely match its performance. As a side note, our experiments indicate that the reward model, learned from preference data, has the ability to generalize. That is, it can guide improvement on new prompt datasets where preference labels are not available</p>
</div>
<figure id="A4.F6" class="ltx_figure"><img src="/html/2310.10505/assets/x7.png" id="A4.F6.g1" class="ltx_graphics ltx_centering ltx_img_landscape" width="230" height="185" alt="Refer to caption">
<figcaption class="ltx_caption ltx_centering"><span class="ltx_tag ltx_tag_figure"><span id="A4.F6.2.1.1" class="ltx_text" style="font-size:90%;">Figure 6</span>: </span><span id="A4.F6.3.2" class="ltx_text" style="font-size:90%;">Binary win rate over text-davinci-003 on the AlpacaEval dataset.</span></figcaption>
</figure>
</section>
<section id="A4.SS2" class="ltx_subsection">
<h3 class="ltx_title ltx_title_subsection">
<span class="ltx_tag ltx_tag_subsection">D.2 </span>GPT2-137M</h3>

<div id="A4.SS2.p1" class="ltx_para">
<p id="A4.SS2.p1.1" class="ltx_p">In this section, we conduct an experiment on a small model GPT-2 (with 137M parameters). Our goal is to show that the proposed reward maximization algorithm can also be used in the setting beyond RLHF. In this experiment, rather than directly learning from human preference data, the reward model is a sentiment classifier <cite class="ltx_cite ltx_citemacro_citep">[Sanh et al., <a href="#bib.bib27" title="" class="ltx_ref">2019</a>]</cite>, which gives sentiment scores indicating how positive a given text is.</p>
</div>
<div id="A4.SS2.p2" class="ltx_para">
<p id="A4.SS2.p2.1" class="ltx_p">Following <cite class="ltx_cite ltx_citemacro_citep">[Ramamurthy et al., <a href="#bib.bib25" title="" class="ltx_ref">2023</a>]</cite>, we leverage the IMDB dataset, which has 25,000 training examples, 5,000 validation examples, and 5,000 test examples, all consisting of movie review text along with sentiment labels categorizing them as either positive or negative. The input of the model is a partial movie review text, with a maximum of 64 tokens. The objective of the model is to generate an additional 48 tokens to complete the review while ensuring the output maintains a positive sentiment and fluency. We use the official implementation at <a target="_blank" href="https://github.com/allenai/RL4LMs" title="" class="ltx_ref ltx_url ltx_font_typewriter">https://github.com/allenai/RL4LMs</a>.</p>
</div>
<figure id="A4.F7" class="ltx_figure"><img src="/html/2310.10505/assets/x8.png" id="A4.F7.g1" class="ltx_graphics ltx_centering ltx_img_landscape" width="230" height="144" alt="Refer to caption">
<figcaption class="ltx_caption ltx_centering"><span class="ltx_tag ltx_tag_figure"><span id="A4.F7.2.1.1" class="ltx_text" style="font-size:90%;">Figure 7</span>: </span><span id="A4.F7.3.2" class="ltx_text" style="font-size:90%;">Evaluation reward of fine-tuning GPT-2 on the IMDB dataset. To achieve a comparable level of performance, ReMax shows a speed-up of 2.2 times.</span></figcaption>
</figure>
<div id="A4.SS2.p3" class="ltx_para">
<p id="A4.SS2.p3.1" class="ltx_p">The evaluation reward is shown in <a href="#A4.F7" title="In D.2 GPT2-137M ‣ Appendix D Additional Results ‣ ReMax: A Simple, Effective, and Efficient Reinforcement Learning Method for Aligning Large Language Models" class="ltx_ref"><span class="ltx_text ltx_ref_tag">Figure</span> <span class="ltx_text ltx_ref_tag">7</span></a>, where we observe that Remax effectively maximizes rewards and achieves a training speed-up of 2.2 times. Note that in this set-up, PPO uses an off-policy training epoch of 4, which is larger than the value of 1 used in RLHF experiments. That is the reason why we see training acceleration on this small model. As an additional observation, we observe that ReMax takes about 15GB GPU memory while PPO consumes about 37GB GPU memory. That is, ReMax saves about 60% memory usage compared with PPO.</p>
</div>
</section>
</section>
<section id="A5" class="ltx_appendix">
<h2 class="ltx_title ltx_title_appendix">
<span class="ltx_tag ltx_tag_appendix">Appendix E </span>Samples of Response</h2>

<div id="A5.p1" class="ltx_para">
<p id="A5.p1.1" class="ltx_p">The complete responses of SFT, DPO, PPO and ReMax are available at the anonymous repository <a target="_blank" href="https://github.com/liziniu/ReMax/results" title="" class="ltx_ref ltx_url ltx_font_typewriter">https://github.com/liziniu/ReMax/results</a>. Below, we provide some samples.</p>
</div>
<figure id="A5.F8" class="ltx_figure">
<table id="A5.F8.2" class="ltx_tabular ltx_centering ltx_align_middle">
<tr id="A5.Ex43" class="ltx_tr">
<td id="A5.Ex43.1" class="ltx_td ltx_nopad_r ltx_align_justify ltx_align_top ltx_border_tt ltx_border_tt" style="padding-top:2.25pt;padding-bottom:2.25pt;">
<span id="A5.Ex43.1.1" class="ltx_inline-block ltx_align_top">
<span id="A5.Ex43.1.1.1" class="ltx_p" style="width:411.9pt;"><span id="A5.Ex43.1.1.1.1" class="ltx_text ltx_font_bold" style="font-size:90%;color:#3078BE;">Instruction: When was hip hop invented?</span></span>
</span>
</td>
</tr>
<tr id="A5.Ex44" class="ltx_tr">
<td id="A5.Ex44.1" class="ltx_td ltx_nopad_r ltx_align_justify ltx_align_top ltx_border_tt ltx_border_tt" style="padding-top:2.25pt;padding-bottom:2.25pt;">
<span id="A5.Ex44.1.1" class="ltx_inline-block ltx_align_top">
<span id="A5.Ex44.1.1.1" class="ltx_p" style="width:411.9pt;"><span id="A5.Ex44.1.1.1.1" class="ltx_text ltx_font_bold" style="font-size:90%;">SFT:</span><span id="A5.Ex44.1.1.1.2" class="ltx_text" style="font-size:90%;"> 1970s</span></span>
</span>
</td>
</tr>
<tr id="A5.Ex45" class="ltx_tr">
<td id="A5.Ex45.1" class="ltx_td ltx_nopad_r ltx_align_justify ltx_align_top ltx_border_t" style="padding-top:2.25pt;padding-bottom:2.25pt;">
<span id="A5.Ex45.1.1" class="ltx_inline-block ltx_align_top">
<span id="A5.Ex45.1.1.1" class="ltx_p" style="width:411.9pt;"><span id="A5.Ex45.1.1.1.1" class="ltx_text ltx_font_bold" style="font-size:90%;">DPO:</span><span id="A5.Ex45.1.1.1.2" class="ltx_text" style="font-size:90%;"> The exact origins of hip hop are disputed, but the earliest record of the genre is from the late 1970s in New York City. Hip hop became popular in the 1980s, and today it is one of the most popular forms of music in the world.</span></span>
</span>
</td>
</tr>
<tr id="A5.Ex46" class="ltx_tr">
<td id="A5.Ex46.1" class="ltx_td ltx_nopad_r ltx_align_justify ltx_align_top ltx_border_t" style="padding-top:2.25pt;padding-bottom:2.25pt;">
<span id="A5.Ex46.1.1" class="ltx_inline-block ltx_align_top">
<span id="A5.Ex46.1.1.1" class="ltx_p" style="width:411.9pt;"><span id="A5.Ex46.1.1.1.1" class="ltx_text ltx_font_bold" style="font-size:90%;">PPO:</span><span id="A5.Ex46.1.1.1.2" class="ltx_text" style="font-size:90%;"> 1970s</span></span>
</span>
</td>
</tr>
<tr id="A5.Ex47" class="ltx_tr">
<td id="A5.Ex47.1" class="ltx_td ltx_nopad_r ltx_align_justify ltx_align_top ltx_border_bb ltx_border_t" style="padding-top:2.25pt;padding-bottom:2.25pt;">
<span id="A5.Ex47.1.1" class="ltx_inline-block ltx_align_top">
<span id="A5.Ex47.1.1.1" class="ltx_p" style="width:411.9pt;"><span id="A5.Ex47.1.1.1.1" class="ltx_text ltx_font_bold" style="font-size:90%;">ReMax:</span><span id="A5.Ex47.1.1.1.2" class="ltx_text" style="font-size:90%;"> Hip hop emerged in the 1970s, as part of the larger culture of urban youth and resistance in the United States. It originated primarily among African American and Latino youth in New York City, and became popular in the following decade. Hip hop is a genre of music that blends elements of R&amp;B, soul, funk, and rap, with a distinctive street style and cultural aesthetic. It also encompasses aspects of dance, fashion, graffiti art, and other forms of urban culture, and has had a major influence on popular culture around the world.</span></span>
</span>
</td>
</tr>
</table>
<figcaption class="ltx_caption ltx_centering" style="font-size:90%;"><span class="ltx_tag ltx_tag_figure">Figure 8: </span>Samples of responses to the #125 test question from the AlpacaEval <cite class="ltx_cite ltx_citemacro_citep">[Li et al., <a href="#bib.bib16" title="" class="ltx_ref">2023</a>]</cite> dataset.</figcaption>
</figure>
<figure id="A5.F9" class="ltx_figure">
<table id="A5.F9.2" class="ltx_tabular ltx_centering ltx_align_middle">
<tr id="A5.Ex48" class="ltx_tr">
<td id="A5.Ex48.1" class="ltx_td ltx_nopad_r ltx_align_justify ltx_align_top ltx_border_tt ltx_border_tt" style="padding-top:2.25pt;padding-bottom:2.25pt;">
<span id="A5.Ex48.1.1" class="ltx_inline-block ltx_align_top">
<span id="A5.Ex48.1.1.1" class="ltx_p" style="width:411.9pt;"><span id="A5.Ex48.1.1.1.1" class="ltx_text ltx_font_bold" style="font-size:90%;color:#3078BE;">Instruction: Marley has $20 left when she turns 21 years old. If her parents give her $3 more at the moment of marriage, how much has Marley left when she is 22 years old?</span></span>
</span>
</td>
</tr>
<tr id="A5.Ex49" class="ltx_tr">
<td id="A5.Ex49.1" class="ltx_td ltx_nopad_r ltx_align_justify ltx_align_top ltx_border_tt ltx_border_tt" style="padding-top:2.25pt;padding-bottom:2.25pt;">
<span id="A5.Ex49.1.1" class="ltx_inline-block ltx_align_top">
<span id="A5.Ex49.1.1.1" class="ltx_p" style="width:411.9pt;"><span id="A5.Ex49.1.1.1.1" class="ltx_text ltx_font_bold" style="font-size:90%;">SFT:</span><span id="A5.Ex49.1.1.1.2" class="ltx_text" style="font-size:90%;"> 1. When Marley is 21, she has $20. 2. Marley’s parents give her $3 at the moment of marriage, making her total amount $23. 3. When Marley is 22, she will have $23 - $20, or $3 left.</span></span>
</span>
</td>
</tr>
<tr id="A5.Ex50" class="ltx_tr">
<td id="A5.Ex50.1" class="ltx_td ltx_nopad_r ltx_align_justify ltx_align_top ltx_border_t" style="padding-top:2.25pt;padding-bottom:2.25pt;">
<span id="A5.Ex50.1.1" class="ltx_inline-block ltx_align_top">
<span id="A5.Ex50.1.1.1" class="ltx_p" style="width:411.9pt;"><span id="A5.Ex50.1.1.1.1" class="ltx_text ltx_font_bold" style="font-size:90%;">DPO:</span><span id="A5.Ex50.1.1.1.2" class="ltx_text" style="font-size:90%;"> At the moment of marriage, Marley will have a total of $23 left. Then when she is 22 years old, she will have a total of $20 left.</span></span>
</span>
</td>
</tr>
<tr id="A5.Ex51" class="ltx_tr">
<td id="A5.Ex51.1" class="ltx_td ltx_nopad_r ltx_align_justify ltx_align_top ltx_border_t" style="padding-top:2.25pt;padding-bottom:2.25pt;">
<span id="A5.Ex51.1.1" class="ltx_inline-block ltx_align_top">
<span id="A5.Ex51.1.1.1" class="ltx_p" style="width:411.9pt;"><span id="A5.Ex51.1.1.1.1" class="ltx_text ltx_font_bold" style="font-size:90%;">PPO:</span><span id="A5.Ex51.1.1.1.2" class="ltx_text" style="font-size:90%;"> The amount Marley has left when she turns 22 is $17. To find this, you must subtract the original $20 she had at age 21 from the amount she has at age 22, which is $23. Since $20 + $3 = $23, this leaves Marley with $17 at age 22.</span></span>
</span>
</td>
</tr>
<tr id="A5.Ex52" class="ltx_tr">
<td id="A5.Ex52.1" class="ltx_td ltx_nopad_r ltx_align_justify ltx_align_top ltx_border_bb ltx_border_t" style="padding-top:2.25pt;padding-bottom:2.25pt;">
<span id="A5.Ex52.1.1" class="ltx_inline-block ltx_align_top">
<span id="A5.Ex52.1.1.1" class="ltx_p" style="width:411.9pt;"><span id="A5.Ex52.1.1.1.1" class="ltx_text ltx_font_bold" style="font-size:90%;">ReMax:</span><span id="A5.Ex52.1.1.1.2" class="ltx_text" style="font-size:90%;"> It sounds like you want to know how to calculate how much money Marley will have when she is 22 years old, assuming that she has $20 left at the age of 21 and her parents give her $3 more at the time of marriage. To answer this question, we can use the following equation:</span></span>
<span id="A5.Ex52.1.1.2" class="ltx_p"><span id="A5.Ex52.1.1.2.1" class="ltx_text" style="font-size:90%;">Money Left at Age 21 = $20</span></span>
<span id="A5.Ex52.1.1.3" class="ltx_p"><span id="A5.Ex52.1.1.3.1" class="ltx_text" style="font-size:90%;">Additional Money Given by Parents = $3</span></span>
<span id="A5.Ex52.1.1.4" class="ltx_p"><span id="A5.Ex52.1.1.4.1" class="ltx_text" style="font-size:90%;">New Money at Age 22 = Money Left at Age 21 + Additional Money Given by Parents</span></span>
<span id="A5.Ex52.1.1.5" class="ltx_p"><span id="A5.Ex52.1.1.5.1" class="ltx_text" style="font-size:90%;">New Money at Age 22 = $20 + $3 = $23</span></span>
<span id="A5.Ex52.1.1.6" class="ltx_p"><span id="A5.Ex52.1.1.6.1" class="ltx_text" style="font-size:90%;">Therefore, Marley will have $23 dollars left when she is 22 years old. This calculation assumes that Marley does not spend any of the money she receives at the time of marriage, and that she continues to save the $20 she already has. It also assumes that her parents provide the $3 additional gift at the time of marriage, and that this gift is not in the form of a loan or other financial obligation. In general, it is a good idea for young adults to set aside some money for their future, as they will likely need it for various expenses and emergencies as they get older. Saving a portion of any money received at the time of marriage can be a good way to start this</span></span>
</span>
</td>
</tr>
</table>
<figcaption class="ltx_caption ltx_centering" style="font-size:90%;"><span class="ltx_tag ltx_tag_figure">Figure 9: </span>Samples of responses to the #268 test question from the AlpacaEval <cite class="ltx_cite ltx_citemacro_citep">[Li et al., <a href="#bib.bib16" title="" class="ltx_ref">2023</a>]</cite> dataset.</figcaption>
</figure>
<figure id="A5.F10" class="ltx_figure">
<table id="A5.F10.2" class="ltx_tabular ltx_centering ltx_align_middle">
<tr id="A5.Ex53" class="ltx_tr">
<td id="A5.Ex53.1" class="ltx_td ltx_nopad_r ltx_align_justify ltx_align_top ltx_border_tt ltx_border_tt" style="padding-top:2.25pt;padding-bottom:2.25pt;">
<span id="A5.Ex53.1.1" class="ltx_inline-block ltx_align_top">
<span id="A5.Ex53.1.1.1" class="ltx_p" style="width:411.9pt;"><span id="A5.Ex53.1.1.1.1" class="ltx_text ltx_font_bold" style="font-size:90%;color:#3078BE;">Instruction: can you please create a python script that outputs a derivative using The Average Rate of Change Formula A(x) = f(b)-f(a) /(b-a) when x is user input</span></span>
</span>
</td>
</tr>
<tr id="A5.Ex54" class="ltx_tr">
<td id="A5.Ex54.1" class="ltx_td ltx_nopad_r ltx_align_justify ltx_align_top ltx_border_tt ltx_border_tt" style="padding-top:2.25pt;padding-bottom:2.25pt;">
<span id="A5.Ex54.1.1" class="ltx_inline-block ltx_align_top">
<span id="A5.Ex54.1.1.1" class="ltx_p" style="width:411.9pt;"><span id="A5.Ex54.1.1.1.1" class="ltx_text ltx_font_bold" style="font-size:90%;">SFT:</span><span id="A5.Ex54.1.1.1.2" class="ltx_text" style="font-size:90%;"> I’m afraid I don’t understand your request. Can you please give me a bit more context, and perhaps a few specific examples of what you’re trying to accomplish?</span></span>
</span>
</td>
</tr>
<tr id="A5.Ex55" class="ltx_tr">
<td id="A5.Ex55.1" class="ltx_td ltx_nopad_r ltx_align_justify ltx_align_top ltx_border_t" style="padding-top:2.25pt;padding-bottom:2.25pt;">
<span id="A5.Ex55.1.1" class="ltx_inline-block ltx_align_top">
<span id="A5.Ex55.1.1.1" class="ltx_p" style="width:411.9pt;"><span id="A5.Ex55.1.1.1.1" class="ltx_text ltx_font_bold" style="font-size:90%;">DPO:</span><span id="A5.Ex55.1.1.1.2" class="ltx_text" style="font-size:90%;"> Yes, I can do that. I’ll need the user to enter the function and values of x and b. This is the formula you need:

The Average Rate of Change Formula A(x) = f(b)-f(a) /(b-a)</span></span>
</span>
</td>
</tr>
<tr id="A5.Ex56" class="ltx_tr">
<td id="A5.Ex56.1" class="ltx_td ltx_nopad_r ltx_align_justify ltx_align_top ltx_border_t" style="padding-top:2.25pt;padding-bottom:2.25pt;">
<span id="A5.Ex56.1.1" class="ltx_inline-block ltx_align_top">
<span id="A5.Ex56.1.1.1" class="ltx_p" style="width:411.9pt;"><span id="A5.Ex56.1.1.1.1" class="ltx_text ltx_font_bold" style="font-size:90%;">PPO:</span><span id="A5.Ex56.1.1.1.2" class="ltx_text" style="font-size:90%;"> Here’s one way to do that:</span></span>
<span id="A5.Ex56.1.1.2" class="ltx_listing ltx_lst_language_Python ltx_lst_numbers_left ltx_lstlisting ltx_listing" style="background-color:#F2F2EB;"><span class="ltx_listing_data"><a href="data:text/plain;base64,aW1wb3J0IG1hdGgKCmRlZiBkZXJpdmF0aXZlKGZ1bmMsIGEsIGIsIHgpOgogICAgcmV0dXJuIChmdW5jKHgpIC0gZnVuYyhiKSkgLyAoYiAtIGEpCgpwcmludChkZXJpdmF0aXZlKGxhbWJkYSB4OiB4KioyLCAwLCAxLCB4KSk=" download="">⬇</a></span>
<span id="lstnumberx1" class="ltx_listingline"><span class="ltx_tag ltx_tag_listingline">1</span><span id="lstnumberx1.1" class="ltx_text ltx_lst_keyword ltx_font_typewriter ltx_font_bold" style="font-size:80%;">import</span><span id="lstnumberx1.2" class="ltx_text ltx_lst_space ltx_font_typewriter" style="font-size:80%;"> </span><span id="lstnumberx1.3" class="ltx_text ltx_lst_identifier ltx_font_typewriter" style="font-size:80%;">math</span>
</span>
<span id="lstnumberx2" class="ltx_listingline"><span class="ltx_tag ltx_tag_listingline">2</span>
</span>
<span id="lstnumberx3" class="ltx_listingline"><span class="ltx_tag ltx_tag_listingline">3</span><span id="lstnumberx3.1" class="ltx_text ltx_lst_keyword ltx_font_typewriter ltx_font_bold" style="font-size:80%;">def</span><span id="lstnumberx3.2" class="ltx_text ltx_lst_space ltx_font_typewriter" style="font-size:80%;"> </span><span id="lstnumberx3.3" class="ltx_text ltx_lst_identifier ltx_font_typewriter" style="font-size:80%;">derivative</span><span id="lstnumberx3.4" class="ltx_text ltx_font_typewriter" style="font-size:80%;">(</span><span id="lstnumberx3.5" class="ltx_text ltx_lst_identifier ltx_font_typewriter" style="font-size:80%;">func</span><span id="lstnumberx3.6" class="ltx_text ltx_font_typewriter" style="font-size:80%;">,</span><span id="lstnumberx3.7" class="ltx_text ltx_lst_space ltx_font_typewriter" style="font-size:80%;"> </span><span id="lstnumberx3.8" class="ltx_text ltx_lst_identifier ltx_font_typewriter" style="font-size:80%;">a</span><span id="lstnumberx3.9" class="ltx_text ltx_font_typewriter" style="font-size:80%;">,</span><span id="lstnumberx3.10" class="ltx_text ltx_lst_space ltx_font_typewriter" style="font-size:80%;"> </span><span id="lstnumberx3.11" class="ltx_text ltx_lst_identifier ltx_font_typewriter" style="font-size:80%;">b</span><span id="lstnumberx3.12" class="ltx_text ltx_font_typewriter" style="font-size:80%;">,</span><span id="lstnumberx3.13" class="ltx_text ltx_lst_space ltx_font_typewriter" style="font-size:80%;"> </span><span id="lstnumberx3.14" class="ltx_text ltx_lst_identifier ltx_font_typewriter" style="font-size:80%;">x</span><span id="lstnumberx3.15" class="ltx_text ltx_font_typewriter" style="font-size:80%;">):</span>
</span>
<span id="lstnumberx4" class="ltx_listingline"><span class="ltx_tag ltx_tag_listingline">4</span><span id="lstnumberx4.1" class="ltx_text ltx_lst_space ltx_font_typewriter" style="font-size:80%;">    </span><span id="lstnumberx4.2" class="ltx_text ltx_lst_keyword ltx_font_typewriter ltx_font_bold" style="font-size:80%;">return</span><span id="lstnumberx4.3" class="ltx_text ltx_lst_space ltx_font_typewriter" style="font-size:80%;"> </span><span id="lstnumberx4.4" class="ltx_text ltx_font_typewriter" style="font-size:80%;">(</span><span id="lstnumberx4.5" class="ltx_text ltx_lst_identifier ltx_font_typewriter" style="font-size:80%;">func</span><span id="lstnumberx4.6" class="ltx_text ltx_font_typewriter" style="font-size:80%;">(</span><span id="lstnumberx4.7" class="ltx_text ltx_lst_identifier ltx_font_typewriter" style="font-size:80%;">x</span><span id="lstnumberx4.8" class="ltx_text ltx_font_typewriter" style="font-size:80%;">)</span><span id="lstnumberx4.9" class="ltx_text ltx_lst_space ltx_font_typewriter" style="font-size:80%;"> </span><span id="lstnumberx4.10" class="ltx_text ltx_font_typewriter" style="font-size:80%;">-</span><span id="lstnumberx4.11" class="ltx_text ltx_lst_space ltx_font_typewriter" style="font-size:80%;"> </span><span id="lstnumberx4.12" class="ltx_text ltx_lst_identifier ltx_font_typewriter" style="font-size:80%;">func</span><span id="lstnumberx4.13" class="ltx_text ltx_font_typewriter" style="font-size:80%;">(</span><span id="lstnumberx4.14" class="ltx_text ltx_lst_identifier ltx_font_typewriter" style="font-size:80%;">b</span><span id="lstnumberx4.15" class="ltx_text ltx_font_typewriter" style="font-size:80%;">))</span><span id="lstnumberx4.16" class="ltx_text ltx_lst_space ltx_font_typewriter" style="font-size:80%;"> </span><span id="lstnumberx4.17" class="ltx_text ltx_font_typewriter" style="font-size:80%;">/</span><span id="lstnumberx4.18" class="ltx_text ltx_lst_space ltx_font_typewriter" style="font-size:80%;"> </span><span id="lstnumberx4.19" class="ltx_text ltx_font_typewriter" style="font-size:80%;">(</span><span id="lstnumberx4.20" class="ltx_text ltx_lst_identifier ltx_font_typewriter" style="font-size:80%;">b</span><span id="lstnumberx4.21" class="ltx_text ltx_lst_space ltx_font_typewriter" style="font-size:80%;"> </span><span id="lstnumberx4.22" class="ltx_text ltx_font_typewriter" style="font-size:80%;">-</span><span id="lstnumberx4.23" class="ltx_text ltx_lst_space ltx_font_typewriter" style="font-size:80%;"> </span><span id="lstnumberx4.24" class="ltx_text ltx_lst_identifier ltx_font_typewriter" style="font-size:80%;">a</span><span id="lstnumberx4.25" class="ltx_text ltx_font_typewriter" style="font-size:80%;">)</span>
</span>
<span id="lstnumberx5" class="ltx_listingline"><span class="ltx_tag ltx_tag_listingline">5</span>
</span>
<span id="lstnumberx6" class="ltx_listingline"><span class="ltx_tag ltx_tag_listingline">6</span><span id="lstnumberx6.1" class="ltx_text ltx_lst_keyword ltx_font_typewriter ltx_font_bold" style="font-size:80%;">print</span><span id="lstnumberx6.2" class="ltx_text ltx_font_typewriter" style="font-size:80%;">(</span><span id="lstnumberx6.3" class="ltx_text ltx_lst_identifier ltx_font_typewriter" style="font-size:80%;">derivative</span><span id="lstnumberx6.4" class="ltx_text ltx_font_typewriter" style="font-size:80%;">(</span><span id="lstnumberx6.5" class="ltx_text ltx_lst_keyword ltx_font_typewriter ltx_font_bold" style="font-size:80%;">lambda</span><span id="lstnumberx6.6" class="ltx_text ltx_lst_space ltx_font_typewriter" style="font-size:80%;"> </span><span id="lstnumberx6.7" class="ltx_text ltx_lst_identifier ltx_font_typewriter" style="font-size:80%;">x</span><span id="lstnumberx6.8" class="ltx_text ltx_font_typewriter" style="font-size:80%;">:</span><span id="lstnumberx6.9" class="ltx_text ltx_lst_space ltx_font_typewriter" style="font-size:80%;"> </span><span id="lstnumberx6.10" class="ltx_text ltx_lst_identifier ltx_font_typewriter" style="font-size:80%;">x</span><span id="lstnumberx6.11" class="ltx_text ltx_font_typewriter" style="font-size:80%;">**2,</span><span id="lstnumberx6.12" class="ltx_text ltx_lst_space ltx_font_typewriter" style="font-size:80%;"> </span><span id="lstnumberx6.13" class="ltx_text ltx_font_typewriter" style="font-size:80%;">0,</span><span id="lstnumberx6.14" class="ltx_text ltx_lst_space ltx_font_typewriter" style="font-size:80%;"> </span><span id="lstnumberx6.15" class="ltx_text ltx_font_typewriter" style="font-size:80%;">1,</span><span id="lstnumberx6.16" class="ltx_text ltx_lst_space ltx_font_typewriter" style="font-size:80%;"> </span><span id="lstnumberx6.17" class="ltx_text ltx_lst_identifier ltx_font_typewriter" style="font-size:80%;">x</span><span id="lstnumberx6.18" class="ltx_text ltx_font_typewriter" style="font-size:80%;">))</span>
</span>
</span>
</span>
</td>
</tr>
<tr id="A5.Ex57" class="ltx_tr">
<td id="A5.Ex57.1" class="ltx_td ltx_nopad_r ltx_align_justify ltx_align_top ltx_border_bb ltx_border_t" style="padding-top:2.25pt;padding-bottom:2.25pt;">
<span id="A5.Ex57.1.1" class="ltx_inline-block ltx_align_top">
<span id="A5.Ex57.1.1.1" class="ltx_p" style="width:411.9pt;"><span id="A5.Ex57.1.1.1.1" class="ltx_text ltx_font_bold" style="font-size:90%;">ReMax:</span><span id="A5.Ex57.1.1.1.2" class="ltx_text" style="font-size:90%;"> Sure! Here is the Python code that will calculate the derivative using the Average Rate of Change formula:</span></span>
<span id="A5.Ex57.1.1.2" class="ltx_listing ltx_lst_language_Python ltx_lst_numbers_left ltx_lstlisting ltx_listing" style="background-color:#F2F2EB;"><span class="ltx_listing_data"><a href="data:text/plain;base64,IyEvdXNyL2Jpbi9weXRob24KCiMgZGVyaXZhdGl2ZSBmb3JtdWxhOiAgQSh4KSA9IGYoYiktZihhKSAvKGItYSkKCmRlZiBkZXJpdmF0aXZlKGYsIGEsIGIsIHgpOgogICAgZEEgPSBmKGIpLWYoYSkKICAgIGRlbm9tID0gKGItYSkKICAgIHJldHVybiBkQSAvIGRlbm9tCgppZiBfX25hbWVfXyA9PSAiX19tYWluX18iOgogICAgIyBpbnB1dCB2YWx1ZXMKICAgIGYgPSA1CiAgICBhID0gMQogICAgYiA9IDUKICAgIHggPSAzCgogICAgIyBjYWxjdWxhdGUgdGhlIGRlcml2YXRpdmUKICAgIHByaW50KCJUaGUgZGVyaXZhdGl2ZSBvZiBmKHgpID0gIiwgZiwgIiB1c2luZyB0aGUgQXZlcmFnZSBSYXRlIG9mIENoYW5nZSBmb3JtdWxhIGlzOiAiLCBkZXJpdmF0aXZlKGYsIGEsIGIsIHgpKQ==" download="">⬇</a></span>
<span id="lstnumberx7" class="ltx_listingline"><span class="ltx_tag ltx_tag_listingline">1</span><span id="lstnumberx7.1" class="ltx_text ltx_lst_comment ltx_font_typewriter" style="font-size:80%;color:#009900;">#!/usr/bin/python</span>
</span>
<span id="lstnumberx8" class="ltx_listingline"><span class="ltx_tag ltx_tag_listingline">2</span>
</span>
<span id="lstnumberx9" class="ltx_listingline"><span class="ltx_tag ltx_tag_listingline">3</span><span id="lstnumberx9.1" class="ltx_text ltx_lst_comment ltx_font_typewriter" style="font-size:80%;color:#009900;">#<span id="lstnumberx9.1.1" class="ltx_text ltx_lst_space"> </span>derivative<span id="lstnumberx9.1.2" class="ltx_text ltx_lst_space"> </span>formula:<span id="lstnumberx9.1.3" class="ltx_text ltx_lst_space">  </span>A(x)<span id="lstnumberx9.1.4" class="ltx_text ltx_lst_space"> </span>=<span id="lstnumberx9.1.5" class="ltx_text ltx_lst_space"> </span>f(b)-f(a)<span id="lstnumberx9.1.6" class="ltx_text ltx_lst_space"> </span>/(b-a)</span>
</span>
<span id="lstnumberx10" class="ltx_listingline"><span class="ltx_tag ltx_tag_listingline">4</span>
</span>
<span id="lstnumberx11" class="ltx_listingline"><span class="ltx_tag ltx_tag_listingline">5</span><span id="lstnumberx11.1" class="ltx_text ltx_lst_keyword ltx_font_typewriter ltx_font_bold" style="font-size:80%;">def</span><span id="lstnumberx11.2" class="ltx_text ltx_lst_space ltx_font_typewriter" style="font-size:80%;"> </span><span id="lstnumberx11.3" class="ltx_text ltx_lst_identifier ltx_font_typewriter" style="font-size:80%;">derivative</span><span id="lstnumberx11.4" class="ltx_text ltx_font_typewriter" style="font-size:80%;">(</span><span id="lstnumberx11.5" class="ltx_text ltx_lst_identifier ltx_font_typewriter" style="font-size:80%;">f</span><span id="lstnumberx11.6" class="ltx_text ltx_font_typewriter" style="font-size:80%;">,</span><span id="lstnumberx11.7" class="ltx_text ltx_lst_space ltx_font_typewriter" style="font-size:80%;"> </span><span id="lstnumberx11.8" class="ltx_text ltx_lst_identifier ltx_font_typewriter" style="font-size:80%;">a</span><span id="lstnumberx11.9" class="ltx_text ltx_font_typewriter" style="font-size:80%;">,</span><span id="lstnumberx11.10" class="ltx_text ltx_lst_space ltx_font_typewriter" style="font-size:80%;"> </span><span id="lstnumberx11.11" class="ltx_text ltx_lst_identifier ltx_font_typewriter" style="font-size:80%;">b</span><span id="lstnumberx11.12" class="ltx_text ltx_font_typewriter" style="font-size:80%;">,</span><span id="lstnumberx11.13" class="ltx_text ltx_lst_space ltx_font_typewriter" style="font-size:80%;"> </span><span id="lstnumberx11.14" class="ltx_text ltx_lst_identifier ltx_font_typewriter" style="font-size:80%;">x</span><span id="lstnumberx11.15" class="ltx_text ltx_font_typewriter" style="font-size:80%;">):</span>
</span>
<span id="lstnumberx12" class="ltx_listingline"><span class="ltx_tag ltx_tag_listingline">6</span><span id="lstnumberx12.1" class="ltx_text ltx_lst_space ltx_font_typewriter" style="font-size:80%;">    </span><span id="lstnumberx12.2" class="ltx_text ltx_lst_identifier ltx_font_typewriter" style="font-size:80%;">dA</span><span id="lstnumberx12.3" class="ltx_text ltx_lst_space ltx_font_typewriter" style="font-size:80%;"> </span><span id="lstnumberx12.4" class="ltx_text ltx_font_typewriter" style="font-size:80%;">=</span><span id="lstnumberx12.5" class="ltx_text ltx_lst_space ltx_font_typewriter" style="font-size:80%;"> </span><span id="lstnumberx12.6" class="ltx_text ltx_lst_identifier ltx_font_typewriter" style="font-size:80%;">f</span><span id="lstnumberx12.7" class="ltx_text ltx_font_typewriter" style="font-size:80%;">(</span><span id="lstnumberx12.8" class="ltx_text ltx_lst_identifier ltx_font_typewriter" style="font-size:80%;">b</span><span id="lstnumberx12.9" class="ltx_text ltx_font_typewriter" style="font-size:80%;">)-</span><span id="lstnumberx12.10" class="ltx_text ltx_lst_identifier ltx_font_typewriter" style="font-size:80%;">f</span><span id="lstnumberx12.11" class="ltx_text ltx_font_typewriter" style="font-size:80%;">(</span><span id="lstnumberx12.12" class="ltx_text ltx_lst_identifier ltx_font_typewriter" style="font-size:80%;">a</span><span id="lstnumberx12.13" class="ltx_text ltx_font_typewriter" style="font-size:80%;">)</span>
</span>
<span id="lstnumberx13" class="ltx_listingline"><span class="ltx_tag ltx_tag_listingline">7</span><span id="lstnumberx13.1" class="ltx_text ltx_lst_space ltx_font_typewriter" style="font-size:80%;">    </span><span id="lstnumberx13.2" class="ltx_text ltx_lst_identifier ltx_font_typewriter" style="font-size:80%;">denom</span><span id="lstnumberx13.3" class="ltx_text ltx_lst_space ltx_font_typewriter" style="font-size:80%;"> </span><span id="lstnumberx13.4" class="ltx_text ltx_font_typewriter" style="font-size:80%;">=</span><span id="lstnumberx13.5" class="ltx_text ltx_lst_space ltx_font_typewriter" style="font-size:80%;"> </span><span id="lstnumberx13.6" class="ltx_text ltx_font_typewriter" style="font-size:80%;">(</span><span id="lstnumberx13.7" class="ltx_text ltx_lst_identifier ltx_font_typewriter" style="font-size:80%;">b</span><span id="lstnumberx13.8" class="ltx_text ltx_font_typewriter" style="font-size:80%;">-</span><span id="lstnumberx13.9" class="ltx_text ltx_lst_identifier ltx_font_typewriter" style="font-size:80%;">a</span><span id="lstnumberx13.10" class="ltx_text ltx_font_typewriter" style="font-size:80%;">)</span>
</span>
<span id="lstnumberx14" class="ltx_listingline"><span class="ltx_tag ltx_tag_listingline">8</span><span id="lstnumberx14.1" class="ltx_text ltx_lst_space ltx_font_typewriter" style="font-size:80%;">    </span><span id="lstnumberx14.2" class="ltx_text ltx_lst_keyword ltx_font_typewriter ltx_font_bold" style="font-size:80%;">return</span><span id="lstnumberx14.3" class="ltx_text ltx_lst_space ltx_font_typewriter" style="font-size:80%;"> </span><span id="lstnumberx14.4" class="ltx_text ltx_lst_identifier ltx_font_typewriter" style="font-size:80%;">dA</span><span id="lstnumberx14.5" class="ltx_text ltx_lst_space ltx_font_typewriter" style="font-size:80%;"> </span><span id="lstnumberx14.6" class="ltx_text ltx_font_typewriter" style="font-size:80%;">/</span><span id="lstnumberx14.7" class="ltx_text ltx_lst_space ltx_font_typewriter" style="font-size:80%;"> </span><span id="lstnumberx14.8" class="ltx_text ltx_lst_identifier ltx_font_typewriter" style="font-size:80%;">denom</span>
</span>
<span id="lstnumberx15" class="ltx_listingline"><span class="ltx_tag ltx_tag_listingline">9</span>
</span>
<span id="lstnumberx16" class="ltx_listingline"><span class="ltx_tag ltx_tag_listingline">10</span><span id="lstnumberx16.1" class="ltx_text ltx_lst_keyword ltx_font_typewriter ltx_font_bold" style="font-size:80%;">if</span><span id="lstnumberx16.2" class="ltx_text ltx_lst_space ltx_font_typewriter" style="font-size:80%;"> </span><span id="lstnumberx16.3" class="ltx_text ltx_lst_identifier ltx_font_typewriter" style="font-size:80%;">__name__</span><span id="lstnumberx16.4" class="ltx_text ltx_lst_space ltx_font_typewriter" style="font-size:80%;"> </span><span id="lstnumberx16.5" class="ltx_text ltx_font_typewriter" style="font-size:80%;">==</span><span id="lstnumberx16.6" class="ltx_text ltx_lst_space ltx_font_typewriter" style="font-size:80%;"> </span><span id="lstnumberx16.7" class="ltx_text ltx_lst_string ltx_font_typewriter" style="font-size:80%;color:#9400D1;">"__main__"</span><span id="lstnumberx16.8" class="ltx_text ltx_font_typewriter" style="font-size:80%;">:</span>
</span>
<span id="lstnumberx17" class="ltx_listingline"><span class="ltx_tag ltx_tag_listingline">11</span><span id="lstnumberx17.1" class="ltx_text ltx_lst_space ltx_font_typewriter" style="font-size:80%;">    </span><span id="lstnumberx17.2" class="ltx_text ltx_lst_comment ltx_font_typewriter" style="font-size:80%;color:#009900;">#<span id="lstnumberx17.2.1" class="ltx_text ltx_lst_space"> </span>input<span id="lstnumberx17.2.2" class="ltx_text ltx_lst_space"> </span>values</span>
</span>
<span id="lstnumberx18" class="ltx_listingline"><span class="ltx_tag ltx_tag_listingline">12</span><span id="lstnumberx18.1" class="ltx_text ltx_lst_space ltx_font_typewriter" style="font-size:80%;">    </span><span id="lstnumberx18.2" class="ltx_text ltx_lst_identifier ltx_font_typewriter" style="font-size:80%;">f</span><span id="lstnumberx18.3" class="ltx_text ltx_lst_space ltx_font_typewriter" style="font-size:80%;"> </span><span id="lstnumberx18.4" class="ltx_text ltx_font_typewriter" style="font-size:80%;">=</span><span id="lstnumberx18.5" class="ltx_text ltx_lst_space ltx_font_typewriter" style="font-size:80%;"> </span><span id="lstnumberx18.6" class="ltx_text ltx_font_typewriter" style="font-size:80%;">5</span>
</span>
<span id="lstnumberx19" class="ltx_listingline"><span class="ltx_tag ltx_tag_listingline">13</span><span id="lstnumberx19.1" class="ltx_text ltx_lst_space ltx_font_typewriter" style="font-size:80%;">    </span><span id="lstnumberx19.2" class="ltx_text ltx_lst_identifier ltx_font_typewriter" style="font-size:80%;">a</span><span id="lstnumberx19.3" class="ltx_text ltx_lst_space ltx_font_typewriter" style="font-size:80%;"> </span><span id="lstnumberx19.4" class="ltx_text ltx_font_typewriter" style="font-size:80%;">=</span><span id="lstnumberx19.5" class="ltx_text ltx_lst_space ltx_font_typewriter" style="font-size:80%;"> </span><span id="lstnumberx19.6" class="ltx_text ltx_font_typewriter" style="font-size:80%;">1</span>
</span>
<span id="lstnumberx20" class="ltx_listingline"><span class="ltx_tag ltx_tag_listingline">14</span><span id="lstnumberx20.1" class="ltx_text ltx_lst_space ltx_font_typewriter" style="font-size:80%;">    </span><span id="lstnumberx20.2" class="ltx_text ltx_lst_identifier ltx_font_typewriter" style="font-size:80%;">b</span><span id="lstnumberx20.3" class="ltx_text ltx_lst_space ltx_font_typewriter" style="font-size:80%;"> </span><span id="lstnumberx20.4" class="ltx_text ltx_font_typewriter" style="font-size:80%;">=</span><span id="lstnumberx20.5" class="ltx_text ltx_lst_space ltx_font_typewriter" style="font-size:80%;"> </span><span id="lstnumberx20.6" class="ltx_text ltx_font_typewriter" style="font-size:80%;">5</span>
</span>
<span id="lstnumberx21" class="ltx_listingline"><span class="ltx_tag ltx_tag_listingline">15</span><span id="lstnumberx21.1" class="ltx_text ltx_lst_space ltx_font_typewriter" style="font-size:80%;">    </span><span id="lstnumberx21.2" class="ltx_text ltx_lst_identifier ltx_font_typewriter" style="font-size:80%;">x</span><span id="lstnumberx21.3" class="ltx_text ltx_lst_space ltx_font_typewriter" style="font-size:80%;"> </span><span id="lstnumberx21.4" class="ltx_text ltx_font_typewriter" style="font-size:80%;">=</span><span id="lstnumberx21.5" class="ltx_text ltx_lst_space ltx_font_typewriter" style="font-size:80%;"> </span><span id="lstnumberx21.6" class="ltx_text ltx_font_typewriter" style="font-size:80%;">3</span>
</span>
<span id="lstnumberx22" class="ltx_listingline"><span class="ltx_tag ltx_tag_listingline">16</span>
</span>
<span id="lstnumberx23" class="ltx_listingline"><span class="ltx_tag ltx_tag_listingline">17</span><span id="lstnumberx23.1" class="ltx_text ltx_lst_space ltx_font_typewriter" style="font-size:80%;">    </span><span id="lstnumberx23.2" class="ltx_text ltx_lst_comment ltx_font_typewriter" style="font-size:80%;color:#009900;">#<span id="lstnumberx23.2.1" class="ltx_text ltx_lst_space"> </span>calculate<span id="lstnumberx23.2.2" class="ltx_text ltx_lst_space"> </span>the<span id="lstnumberx23.2.3" class="ltx_text ltx_lst_space"> </span>derivative</span>
</span>
<span id="lstnumberx24" class="ltx_listingline"><span class="ltx_tag ltx_tag_listingline">18</span><span id="lstnumberx24.1" class="ltx_text ltx_lst_space ltx_font_typewriter" style="font-size:80%;">    </span><span id="lstnumberx24.2" class="ltx_text ltx_lst_keyword ltx_font_typewriter ltx_font_bold" style="font-size:80%;">print</span><span id="lstnumberx24.3" class="ltx_text ltx_font_typewriter" style="font-size:80%;">(</span><span id="lstnumberx24.4" class="ltx_text ltx_lst_string ltx_font_typewriter" style="font-size:80%;color:#9400D1;">"The<span id="lstnumberx24.4.1" class="ltx_text ltx_lst_space"> </span>derivative<span id="lstnumberx24.4.2" class="ltx_text ltx_lst_space"> </span>of<span id="lstnumberx24.4.3" class="ltx_text ltx_lst_space"> </span>f(x)<span id="lstnumberx24.4.4" class="ltx_text ltx_lst_space"> </span>=<span id="lstnumberx24.4.5" class="ltx_text ltx_lst_space"> </span>"</span><span id="lstnumberx24.5" class="ltx_text ltx_font_typewriter" style="font-size:80%;">,</span><span id="lstnumberx24.6" class="ltx_text ltx_lst_space ltx_font_typewriter" style="font-size:80%;"> </span><span id="lstnumberx24.7" class="ltx_text ltx_lst_identifier ltx_font_typewriter" style="font-size:80%;">f</span><span id="lstnumberx24.8" class="ltx_text ltx_font_typewriter" style="font-size:80%;">,</span><span id="lstnumberx24.9" class="ltx_text ltx_lst_space ltx_font_typewriter" style="font-size:80%;"> </span><span id="lstnumberx24.10" class="ltx_text ltx_lst_string ltx_font_typewriter" style="font-size:80%;color:#9400D1;">"<span id="lstnumberx24.10.1" class="ltx_text ltx_lst_space"> </span>using<span id="lstnumberx24.10.2" class="ltx_text ltx_lst_space"> </span>the<span id="lstnumberx24.10.3" class="ltx_text ltx_lst_space"> </span>Average<span id="lstnumberx24.10.4" class="ltx_text ltx_lst_space"> </span>Rate<span id="lstnumberx24.10.5" class="ltx_text ltx_lst_space"> </span>of<span id="lstnumberx24.10.6" class="ltx_text ltx_lst_space"> </span>Change<span id="lstnumberx24.10.7" class="ltx_text ltx_lst_space"> </span>formula<span id="lstnumberx24.10.8" class="ltx_text ltx_lst_space"> </span>is:<span id="lstnumberx24.10.9" class="ltx_text ltx_lst_space"> </span>"</span><span id="lstnumberx24.11" class="ltx_text ltx_font_typewriter" style="font-size:80%;">,</span><span id="lstnumberx24.12" class="ltx_text ltx_lst_space ltx_font_typewriter" style="font-size:80%;"> </span><span id="lstnumberx24.13" class="ltx_text ltx_lst_identifier ltx_font_typewriter" style="font-size:80%;">derivative</span><span id="lstnumberx24.14" class="ltx_text ltx_font_typewriter" style="font-size:80%;">(</span><span id="lstnumberx24.15" class="ltx_text ltx_lst_identifier ltx_font_typewriter" style="font-size:80%;">f</span><span id="lstnumberx24.16" class="ltx_text ltx_font_typewriter" style="font-size:80%;">,</span><span id="lstnumberx24.17" class="ltx_text ltx_lst_space ltx_font_typewriter" style="font-size:80%;"> </span><span id="lstnumberx24.18" class="ltx_text ltx_lst_identifier ltx_font_typewriter" style="font-size:80%;">a</span><span id="lstnumberx24.19" class="ltx_text ltx_font_typewriter" style="font-size:80%;">,</span><span id="lstnumberx24.20" class="ltx_text ltx_lst_space ltx_font_typewriter" style="font-size:80%;"> </span><span id="lstnumberx24.21" class="ltx_text ltx_lst_identifier ltx_font_typewriter" style="font-size:80%;">b</span><span id="lstnumberx24.22" class="ltx_text ltx_font_typewriter" style="font-size:80%;">,</span><span id="lstnumberx24.23" class="ltx_text ltx_lst_space ltx_font_typewriter" style="font-size:80%;"> </span><span id="lstnumberx24.24" class="ltx_text ltx_lst_identifier ltx_font_typewriter" style="font-size:80%;">x</span><span id="lstnumberx24.25" class="ltx_text ltx_font_typewriter" style="font-size:80%;">))</span>
</span>
</span>
<span id="A5.Ex57.1.1.3" class="ltx_p"><span id="A5.Ex57.1.1.3.1" class="ltx_text" style="font-size:90%;"># output:</span></span>
<span id="A5.Ex57.1.1.4" class="ltx_p"><span id="A5.Ex57.1.1.4.1" class="ltx_text" style="font-size:90%;">The derivative of f(x) = 5 using the Average Rate of Change formula is: 0.5</span></span>
</span>
</td>
</tr>
</table>
<figcaption class="ltx_caption ltx_centering" style="font-size:90%;"><span class="ltx_tag ltx_tag_figure">Figure 10: </span>Samples of responses to the #313 test question from the AlpacaEval <cite class="ltx_cite ltx_citemacro_citep">[Li et al., <a href="#bib.bib16" title="" class="ltx_ref">2023</a>]</cite> dataset.</figcaption>
</figure>
<figure id="A5.F11" class="ltx_figure">
<table id="A5.F11.2" class="ltx_tabular ltx_centering ltx_align_middle">
<tr id="A5.Ex58" class="ltx_tr">
<td id="A5.Ex58.1" class="ltx_td ltx_nopad_r ltx_align_justify ltx_align_top ltx_border_tt ltx_border_tt" style="padding-top:2.25pt;padding-bottom:2.25pt;">
<span id="A5.Ex58.1.1" class="ltx_inline-block ltx_align_top">
<span id="A5.Ex58.1.1.1" class="ltx_p" style="width:411.9pt;"><span id="A5.Ex58.1.1.1.1" class="ltx_text ltx_font_bold" style="font-size:90%;color:#3078BE;">Instruction: Does the 5 second rule actually exist?</span></span>
</span>
</td>
</tr>
<tr id="A5.Ex59" class="ltx_tr">
<td id="A5.Ex59.1" class="ltx_td ltx_nopad_r ltx_align_justify ltx_align_top ltx_border_tt ltx_border_tt" style="padding-top:2.25pt;padding-bottom:2.25pt;">
<span id="A5.Ex59.1.1" class="ltx_inline-block ltx_align_top">
<span id="A5.Ex59.1.1.1" class="ltx_p" style="width:411.9pt;"><span id="A5.Ex59.1.1.1.1" class="ltx_text ltx_font_bold" style="font-size:90%;">SFT:</span><span id="A5.Ex59.1.1.1.2" class="ltx_text" style="font-size:90%;"> 5 second rule is a rule in the game of ping pong, where you serve the ball, then if it’s returned, you get 5 seconds to return it before losing the point.</span></span>
</span>
</td>
</tr>
<tr id="A5.Ex60" class="ltx_tr">
<td id="A5.Ex60.1" class="ltx_td ltx_nopad_r ltx_align_justify ltx_align_top ltx_border_t" style="padding-top:2.25pt;padding-bottom:2.25pt;">
<span id="A5.Ex60.1.1" class="ltx_inline-block ltx_align_top">
<span id="A5.Ex60.1.1.1" class="ltx_p" style="width:411.9pt;"><span id="A5.Ex60.1.1.1.1" class="ltx_text ltx_font_bold" style="font-size:90%;">DPO:</span><span id="A5.Ex60.1.1.1.2" class="ltx_text" style="font-size:90%;"> The 5 second rule is a popular saying that’s sometimes used to encourage eating food that has fallen to the ground or dropped on the floor. While there is no specific evidence for this rule, many studies suggest that food left on the floor for a short period of time is not necessarily dangerous to eat. However, it’s recommended that you still wash your hands and avoid touching your face after touching the food, to avoid germs. You should also try to avoid stepping on the food or getting it on your shoes or clothing, and try to eat it as soon as possible. It’s probably safest to avoid foods that are likely to have bacteria, like meat or fish, as they can get contaminated more easily. Also, foods that have fallen onto a floor are more likely to have bacteria, because they’ve been on the floor and have likely picked up some bacteria. Overall, if you drop food on the floor, it’s safest to discard it, but you could try to eat it if it’s something that can be washed off easily and has not touched the ground for a long time. It</span></span>
</span>
</td>
</tr>
<tr id="A5.Ex61" class="ltx_tr">
<td id="A5.Ex61.1" class="ltx_td ltx_nopad_r ltx_align_justify ltx_align_top ltx_border_t" style="padding-top:2.25pt;padding-bottom:2.25pt;">
<span id="A5.Ex61.1.1" class="ltx_inline-block ltx_align_top">
<span id="A5.Ex61.1.1.1" class="ltx_p" style="width:411.9pt;"><span id="A5.Ex61.1.1.1.1" class="ltx_text ltx_font_bold" style="font-size:90%;">PPO:</span><span id="A5.Ex61.1.1.1.2" class="ltx_text" style="font-size:90%;"> The “5 second rule” is a myth. Research has shown that bacteria can actually survive for a few seconds on food that has been dropped on the floor, but the bacteria can’t survive for long, and the food is still not safe to eat after that. So while it’s possible that a few bacteria could survive on the food for a few seconds, they would not survive for long, and it’s definitely not safe to eat the food after it has been on the floor.</span></span>
</span>
</td>
</tr>
<tr id="A5.Ex62" class="ltx_tr">
<td id="A5.Ex62.1" class="ltx_td ltx_nopad_r ltx_align_justify ltx_align_top ltx_border_bb ltx_border_t" style="padding-top:2.25pt;padding-bottom:2.25pt;">
<span id="A5.Ex62.1.1" class="ltx_inline-block ltx_align_top">
<span id="A5.Ex62.1.1.1" class="ltx_p" style="width:411.9pt;"><span id="A5.Ex62.1.1.1.1" class="ltx_text ltx_font_bold" style="font-size:90%;">ReMax:</span><span id="A5.Ex62.1.1.1.2" class="ltx_text" style="font-size:90%;"> Well this is a very interesting and debated topic! The so-called 5 second rule states that food dropped on the ground is still safe to eat as long as it is picked up and consumed within 5 seconds, as the food will not have been contaminated by bacteria or other pathogens during that brief time period. However, there is actually very little scientific evidence to support this rule, and numerous studies have shown that food dropped on the ground can indeed become contaminated with bacteria within a matter of seconds, and thus should not be eaten. In fact, the 5 second rule is generally regarded as a myth by most scientists and food safety experts, and is not recommended by the Food and Drug Administration (FDA). So unfortunately, I would have to say that the 5 second rule does not actually exist, and food dropped on the ground should generally be avoided due to the high risk of food poisoning. Sorry about that! Hope this information was helpful. Have a great day!</span></span>
</span>
</td>
</tr>
</table>
<figcaption class="ltx_caption ltx_centering" style="font-size:90%;"><span class="ltx_tag ltx_tag_figure">Figure 11: </span>Samples of responses to the #430 test question from the AlpacaEval <cite class="ltx_cite ltx_citemacro_citep">[Li et al., <a href="#bib.bib16" title="" class="ltx_ref">2023</a>]</cite> dataset.</figcaption>
</figure>
<figure id="A5.F12" class="ltx_figure">
<table id="A5.F12.2" class="ltx_tabular ltx_centering ltx_align_middle">
<tr id="A5.Ex63" class="ltx_tr">
<td id="A5.Ex63.1" class="ltx_td ltx_nopad_r ltx_align_justify ltx_align_top ltx_border_tt ltx_border_tt" style="padding-top:2.25pt;padding-bottom:2.25pt;">
<span id="A5.Ex63.1.1" class="ltx_inline-block ltx_align_top">
<span id="A5.Ex63.1.1.1" class="ltx_p" style="width:411.9pt;"><span id="A5.Ex63.1.1.1.1" class="ltx_text ltx_font_bold" style="font-size:90%;color:#3078BE;">Instruction: Write a good Twitter Bio. Try to cover all the provided main points in your generated bio.
Name: Jane.
Main points: Architect and Interested in Tech.
Written in first person. Use casual tone</span></span>
</span>
</td>
</tr>
<tr id="A5.Ex64" class="ltx_tr">
<td id="A5.Ex64.1" class="ltx_td ltx_nopad_r ltx_align_justify ltx_align_top ltx_border_tt ltx_border_tt" style="padding-top:2.25pt;padding-bottom:2.25pt;">
<span id="A5.Ex64.1.1" class="ltx_inline-block ltx_align_top">
<span id="A5.Ex64.1.1.1" class="ltx_p" style="width:411.9pt;"><span id="A5.Ex64.1.1.1.1" class="ltx_text ltx_font_bold" style="font-size:90%;">SFT:</span><span id="A5.Ex64.1.1.1.2" class="ltx_text" style="font-size:90%;"> Hey Jane, here’s the bio I wrote for you:</span></span>
<span id="A5.Ex64.1.1.2" class="ltx_p"><span id="A5.Ex64.1.1.2.1" class="ltx_text" style="font-size:90%;">My name is Jane and I am an architect with a passion for technology. I am currently involved in a number of projects involving innovative building design and sustainable construction. I am also an avid runner, reader, and hiker, and enjoy traveling and spending time with my family. I am deeply interested in the fields of artificial intelligence, robotics, and nanotechnology, and strive to keep up to date on the latest developments in these areas. I also enjoy learning about a wide variety of other topics, including astronomy, history, literature, music, and science. I am an enthusiastic and dedicated person, and love helping others in any way I can. I am always up for trying something new and enjoy adventure and exploration. I am deeply committed to making the world a better place, and strive to live a life of integrity and compassion.</span></span>
</span>
</td>
</tr>
<tr id="A5.Ex65" class="ltx_tr">
<td id="A5.Ex65.1" class="ltx_td ltx_nopad_r ltx_align_justify ltx_align_top ltx_border_t" style="padding-top:2.25pt;padding-bottom:2.25pt;">
<span id="A5.Ex65.1.1" class="ltx_inline-block ltx_align_top">
<span id="A5.Ex65.1.1.1" class="ltx_p" style="width:411.9pt;"><span id="A5.Ex65.1.1.1.1" class="ltx_text ltx_font_bold" style="font-size:90%;">DPO:</span><span id="A5.Ex65.1.1.1.2" class="ltx_text" style="font-size:90%;"> Jane is an architect who loves technology. She is an active contributor to the tech community. She enjoys working on the cutting edge of technology and sharing her knowledge and insights with others. Jane is a big believer in the power of social media and is an active contributor on Twitter. She is also passionate about her work as an architect and loves to share her passion for design and building with others.</span></span>
</span>
</td>
</tr>
<tr id="A5.Ex66" class="ltx_tr">
<td id="A5.Ex66.1" class="ltx_td ltx_nopad_r ltx_align_justify ltx_align_top ltx_border_t" style="padding-top:2.25pt;padding-bottom:2.25pt;">
<span id="A5.Ex66.1.1" class="ltx_inline-block ltx_align_top">
<span id="A5.Ex66.1.1.1" class="ltx_p" style="width:411.9pt;"><span id="A5.Ex66.1.1.1.1" class="ltx_text ltx_font_bold" style="font-size:90%;">PPO:</span><span id="A5.Ex66.1.1.1.2" class="ltx_text" style="font-size:90%;"> Jane is a talented architect with a passion for technology. She is an innovative thinker who enjoys building functional, beautiful structures. Jane is always excited to learn more about technology, and stays up to date on the latest trends in her field. She loves traveling and learning about different cultures. Jane is also an avid runner, and enjoys spending time outdoors.</span></span>
</span>
</td>
</tr>
<tr id="A5.Ex67" class="ltx_tr">
<td id="A5.Ex67.1" class="ltx_td ltx_nopad_r ltx_align_justify ltx_align_top ltx_border_bb ltx_border_t" style="padding-top:2.25pt;padding-bottom:2.25pt;">
<span id="A5.Ex67.1.1" class="ltx_inline-block ltx_align_top">
<span id="A5.Ex67.1.1.1" class="ltx_p" style="width:411.9pt;"><span id="A5.Ex67.1.1.1.1" class="ltx_text ltx_font_bold" style="font-size:90%;">ReMax:</span><span id="A5.Ex67.1.1.1.2" class="ltx_text" style="font-size:90%;"> Here is a draft of a Twitter bio:</span></span>
<span id="A5.Ex67.1.1.2" class="ltx_p"><span id="A5.Ex67.1.1.2.1" class="ltx_text" style="font-size:90%;">Hi! I’m Jane, an architect and tech enthusiast from San Francisco. I’m interested in the intersection of technology and design, and I’m always looking for new ways to create innovative and sustainable buildings and urban spaces. I also enjoy hiking, biking, and exploring the Bay Area’s many cultural attractions. I’m looking forward to connecting with others on Twitter and sharing my thoughts and insights on architecture and technology!</span></span>
</span>
</td>
</tr>
</table>
<figcaption class="ltx_caption ltx_centering" style="font-size:90%;"><span class="ltx_tag ltx_tag_figure">Figure 12: </span>Samples of responses to the #527 test question from the AlpacaEval <cite class="ltx_cite ltx_citemacro_citep">[Li et al., <a href="#bib.bib16" title="" class="ltx_ref">2023</a>]</cite> dataset.</figcaption>
</figure>
<div class="ltx_pagination ltx_role_newpage"></div>
</section>
</article>
</div>
<div class="ar5iv-footer"><a href="/html/2310.10504" class="ar5iv-nav-button ar5iv-nav-button-prev">◄</a>
    <a class="ar5iv-home-button" href="/"><img height="40" alt="ar5iv homepage" src="/assets/ar5iv.png"></a>
    <a href="/feeling_lucky" class="ar5iv-text-button">Feeling<br>lucky?</a>
    <a href="/log/2310.10505" class="ar5iv-text-button ar5iv-severity-error">Conversion<br>report</a>
    <a class="ar5iv-text-button" target="_blank" href="https://github.com/dginev/ar5iv/issues/new?template=improve-article--arxiv-id-.md&title=Improve+article+2310.10505">Report<br>an issue</a>
    <a href="https://arxiv.org/abs/2310.10505" class="ar5iv-text-button arxiv-ui-theme">View&nbsp;original<br>on&nbsp;arXiv</a><a href="/html/2310.10506" class="ar5iv-nav-button ar5iv-nav-button-next">►</a>
</div><footer class="ltx_page_footer">
<a class="ar5iv-toggle-color-scheme" href="javascript:toggleColorScheme()" title="Toggle ar5iv color scheme"><span class="color-scheme-icon"></span></a>
<a class="ar5iv-footer-button" href="https://arxiv.org/help/license" target="_blank">Copyright</a>
<a class="ar5iv-footer-button" href="https://arxiv.org/help/policies/privacy_policy" target="_blank">Privacy Policy</a>

<div class="ltx_page_logo">Generated  on Wed Feb 28 01:03:35 2024 by <a target="_blank" href="http://dlmf.nist.gov/LaTeXML/" class="ltx_LaTeXML_logo"><span style="letter-spacing:-0.2em; margin-right:0.1em;">L<span class="ltx_font_smallcaps" style="position:relative; bottom:2.2pt;">a</span>T<span class="ltx_font_smallcaps" style="font-size:120%;position:relative; bottom:-0.2ex;">e</span></span><span style="font-size:90%; position:relative; bottom:-0.2ex;">XML</span><img src="data:image/png;base64,iVBORw0KGgoAAAANSUhEUgAAAAsAAAAOCAYAAAD5YeaVAAAAAXNSR0IArs4c6QAAAAZiS0dEAP8A/wD/oL2nkwAAAAlwSFlzAAALEwAACxMBAJqcGAAAAAd0SU1FB9wKExQZLWTEaOUAAAAddEVYdENvbW1lbnQAQ3JlYXRlZCB3aXRoIFRoZSBHSU1Q72QlbgAAAdpJREFUKM9tkL+L2nAARz9fPZNCKFapUn8kyI0e4iRHSR1Kb8ng0lJw6FYHFwv2LwhOpcWxTjeUunYqOmqd6hEoRDhtDWdA8ApRYsSUCDHNt5ul13vz4w0vWCgUnnEc975arX6ORqN3VqtVZbfbTQC4uEHANM3jSqXymFI6yWazP2KxWAXAL9zCUa1Wy2tXVxheKA9YNoR8Pt+aTqe4FVVVvz05O6MBhqUIBGk8Hn8HAOVy+T+XLJfLS4ZhTiRJgqIoVBRFIoric47jPnmeB1mW/9rr9ZpSSn3Lsmir1fJZlqWlUonKsvwWwD8ymc/nXwVBeLjf7xEKhdBut9Hr9WgmkyGEkJwsy5eHG5vN5g0AKIoCAEgkEkin0wQAfN9/cXPdheu6P33fBwB4ngcAcByHJpPJl+fn54mD3Gg0NrquXxeLRQAAwzAYj8cwTZPwPH9/sVg8PXweDAauqqr2cDjEer1GJBLBZDJBs9mE4zjwfZ85lAGg2+06hmGgXq+j3+/DsixYlgVN03a9Xu8jgCNCyIegIAgx13Vfd7vdu+FweG8YRkjXdWy329+dTgeSJD3ieZ7RNO0VAXAPwDEAO5VKndi2fWrb9jWl9Esul6PZbDY9Go1OZ7PZ9z/lyuD3OozU2wAAAABJRU5ErkJggg==" alt="Mascot Sammy"></a>
</div></footer>
</div>

    <script>
      var canMathML = typeof(MathMLElement) == "function";
      if (!canMathML) {
        var body = document.querySelector("body");
        body.firstElementChild.setAttribute('style', 'opacity: 0;');
        var loading = document.createElement("div");
        loading.setAttribute("id", "mathjax-loading-spinner");
        var message = document.createElement("div");
        message.setAttribute("id", "mathjax-loading-message");
        message.innerText = "Typesetting Equations...";
        body.prepend(loading);
        body.prepend(message);

        var el = document.createElement("script");
        el.src = "https://cdn.jsdelivr.net/npm/mathjax@3/es5/tex-mml-chtml.js";
        document.querySelector("head").appendChild(el);

        window.MathJax = {
          startup: {
            pageReady: () => {
              return MathJax.startup.defaultPageReady().then(() => {
                body.removeChild(loading);
                body.removeChild(message);
                body.firstElementChild.removeAttribute('style');
              }); } } };
      }
    </script>
    <script>
    // Auxiliary function, building the preview feature when
    // an inline citation is clicked
    function clicked_cite(e) {
      e.preventDefault();
      let cite = this.closest('.ltx_cite');
      let next = cite.nextSibling;
      if (next && next.nodeType == Node.ELEMENT_NODE && next.getAttribute('class') == "ar5iv-bibitem-preview") {
        next.remove();
        return; }
      // Before adding a preview modal,
      // cleanup older previews, in case they're still open
      document.querySelectorAll('span.ar5iv-bibitem-preview').forEach(function(node) {
        node.remove();
      })

      // Create the preview
      preview = document.createElement('span');
      preview.setAttribute('class','ar5iv-bibitem-preview');
      let target = document.getElementById(this.getAttribute('href').slice(1));
      target.childNodes.forEach(function (child) {
        preview.append(child.cloneNode(true));
      });
      let close_x = document.createElement('button');
      close_x.setAttribute("aria-label","Close modal for bibliography item preview");
      close_x.textContent = "×";
      close_x.setAttribute('class', 'ar5iv-button-close-preview');
      close_x.setAttribute('onclick','this.parentNode.remove()');
      preview.append(close_x);
      preview.querySelectorAll('.ltx_tag_bibitem').forEach(function(node) {
        node.remove();
      });
      cite.parentNode.insertBefore(preview, cite.nextSibling);
      return;
    }
    // Global Document initialization:
    // - assign the preview feature to all inline citation links
    document.querySelectorAll(".ltx_cite .ltx_ref").forEach(function (link) {
      link.addEventListener("click", clicked_cite);
    });
    </script>
    </body>
</html>

2310.10505
Alignment is crucial for training large language models. The predominant strategy is Reinforcement Learning from Human Feedback (RLHF) , with Proximal Policy Optimization (PPO)  as the de-facto algorithm. Yet, PPO is known to struggle with computational inefficiency, a challenge that this paper aims to address. We identify three important properties of RLHF tasks: fast simulation, deterministic transitions, and trajectory-level rewards, which arenotleveraged in PPO. Based on these properties, we develop ReMax, a new algorithm tailored for RLHF. The design of ReMax builds on the celebrated algorithm REINFORCE but is enhanced with a new variance-reduction technique. ReMax offers threefold advantages over PPO: first, it is simple to implement with just 6 lines of code. It further eliminates more than 4 hyper-parameters in PPO, which are laborious to tune. Second, ReMax reduces memory usage by about 50%. To illustrate, PPO runs out of memory when fine-tuning a Llama2-7B model on A100-80GB GPUs, whereas ReMax can support the training. Even though memory-efficient techniques (e.g., ZeRO and offload)  are employed for PPO to afford training, ReMax can utilize a larger batch size to increase throughput. Third, in terms of wall-clock time, PPO is about twice as slow as ReMax per iteration. Importantly, these improvements do not sacrifice task performance. We hypothesize that these advantages can be maintained in larger-scale models.111Our implementation of ReMax is available athttps://github.com/liziniu/ReMax
abstract
ReMax: A Simple, Effective, and Efficient Reinforcement Learning Method for Aligning Large Language Models
Abstract
2310.10505
1IntroductionAlignment is crucial for instructing Large Language Models (LLMs)  to operate by human values. There are two approaches to do this: supervised learning and Reinforcement Learning from Human Feedback (RLHF) . The former approach relies on large amount of pre-prepared human-annotated data, so practitioners have to decide exactly how LLMs should behave upfront, which could be laborious. In contrast, the latter approach RLHF does not need to define everything beforehand. Briefly speaking, RLHF reformulates the text generation task into a sequential decision-making problem and applies Reinforcement Learning (RL)  algorithms to solve it. The effectiveness of RLHF is highlighted in the GPT-4 technical report.Despite its notable success, the wide application of RLHF is hindered by its heavy computation burden. To get a better sense, we recap that RLHF unfolds in three principal steps:•Step 1: supervised fine-tuning of an LLM is carried out to pinpoint a promising starting position.•Step 2: a reward model is learned from human preference data.•Step 3: an LLM is fine-tuned on new prompt datasets utilizing an RL algorithm.The hardest part is the third step, where the LLM has to come up with its own responses and make them better to get high reward scores. For instance, as reported by the DeepSpeed team, while working on an OPT-13B modelwith RLHF, the duration expended on the third RL step soared to 10.8 hours, quadrupling the cumulative time of about 2.5 hours spent on the preceding steps; refer to. Moreover, according to our observation, the RL step requires more thanthe GPU memory compared with the first two steps, which hinders the scale-up when computation resources are limited. Motivated by the above observations, this paper works on the third step of RLHF to make it easier and less computationally expensive.Figure 1:Comparison between the building blocks of PPO and those of ReMax. ReMax keeps the reference model (for calculating KL penalty)  and removes all the components related to the value model in PPO.What is the computational bottleneck in the third step of RLHF? We find the overhead is due to the RL algorithm, Proximal Policy Optimization (PPO) . Specifically, a key component of PPO, thevalue model—which is a neural network trained to estimate gradients—incurs significant computational overhead. To align LLMs with human preferences, the value model typically matches the LLM in size, which doubles the storage. Furthermore, training the value model requires storing its gradients, activations, and optimizer states, all of which increase computational burden. Researchers have attempted to address this issue by using gradient checkpointing, Zero Redundancy Optimizer (ZeRO) , the offload technique, and a hybrid training engine. However, these techniques results in slow computation, and even with these techniques, the heavy GPU memory consumption of PPO remains an issue.Is it possible to design a better algorithm for RLHF tasks, hopefully without the value model? We find the answer is yes.1.1Our ContributionWe find three important properties of RLHF that arenotused in PPO:fast simulation,deterministic transitionsandtrajectory-level rewards. The first means that a trajectory (i.e., a complete response of an LLM)  can be quickly obtained with minimal time overhead. The second indicates that the text context relies solely on past tokens and the presently generated token.222We note that while the policy for token generation (i.e., the LLM itself)  remains stochastic, the transition dynamics are deterministic.Finally, the third implies that the reward model provides a single value only upon the completion of a response.Based on the above observations, we propose a new algorithm tailored for RLHF, calledReMax. It
utilizes the aforementioned three properties of RLHF and discards the value model without sacrificing performance. Figure1illustrates the comparison between building blocks of PPO and ReMax.
The design of ReMax is inspired by a celebrated algorithm called REINFORCE, but is equipped with a new variance-reduction technique specially designed for LLMs. Without it, the performance is poor due to the high variance of stochastic gradients; verified inFigure3through experiments. The pseudo code of ReMax is given inAlgorithm1.Algorithm 1ReMax for Aligning Large Language Models1:reward_modelandlanguage_model2:forpromptsindatasetsdo3:4:5:6:7:8:lanugage_model.minimize(loss) 9:endfor10:language_modelIn comparison to PPO for RLHF, ReMax has the following advantages:•(A1)  Simplicity:ReMax is very simple (with 6 lines of code to implement)  and removes more than 4 hyper-parameters in PPO (e.g., importance sampling clipping, GAE coefficient, value model learning rate, and off-policy training epochs) , which are laborious to tune. This is significant as hyper-parameter tuning is expensive for LLMs.•(A2)  Memory Efficiency:ReMax can reduce GPU memory usage by about 50% in principle. This enhancement yields to two main benefits. First, ReMax is capable of conducting training within limited GPU resources whereas PPO might run out-of-memory. Second, the memory savings by ReMax can be allocated for larger batch sizes, thereby increasing throughput.•(A3)  Computation Efficiency:ReMax offers a reduction in wall-clock time per iteration by eliminating the need to train a value model. This can significantly speed up the entire training process of RLHF. According to our calculation, when the generation time is much smaller than the backpropagation time (a condition usually true for LLMs) , PPO runs twice slower than ReMax.•(A4)  Effectiveness:Regarding task-specific performance, ReMax is on par with PPO, and at times, even outperforms it (possibly due to the ease of hyper-parameter tuning with ReMax) .To demonstrate the practical impact of the above advantages, we conducted experiments aligning the famous Llama2-7Bmodel.
With regards toA2, ReMax supports training on A100-80GB GPUs without memory-efficient techniques, whereas PPO runs out-of-memory in the same setting. Even when PPO manages training Llama2-7B by using techniques like ZeRO and offload, ReMax still outperforms by enabling the use of 1.3larger batch sizes. RegardingA3, ReMax offers a 2.1training speed-up thanks to larger batch sizes and fewer computations. ForA4, in evaluating response quality using the AlpacaEval, with judgments rendered by GPT-4, ReMax achieves a win rate of 63.60% over PPO.
introduction
ReMax: A Simple, Effective, and Efficient Reinforcement Learning Method for Aligning Large Language Models
1Introduction
2310.10505
2Related WorkDue to the fast development in the realm of LLMs, we cannot offer a comprehensive review of previous works and defer interested readers to the survey of. Below, we review relevant topics in terms of RLHF.The domain of RLHF is meticulously explored in various studies to enhance the alignment of LLMs with human values. To name a few,emphasized the challenges inherent in RLHF, particularly in designing reward models aligned with human values. Exploring the foundation of RLHF,focused on the scaling laws of reward model overoptimization, whileprovided a theoretical framework for RLHF from an offline learning viewpoint.Many recent studies have been trying to make PPO work better with RLHF. For example, one study byintroduced a new advantage-induced algorithm to align policy. Another study bypresented benchmarks and baselines for applying RL in NLP tasks. The recent workinvestigated how to efficiently use LoRAin PPO. Moreover,introduced an advanced version, PPO-max, to improve training stability.studied the reward ranking for optimization. Our work differs from these studies in the sense that we leverage special properties of RLHF tasks.
body
ReMax: A Simple, Effective, and Efficient Reinforcement Learning Method for Aligning Large Language Models
2Related Work
2310.10505
3Problem FormulationA Large Language Model (LLM)  is denoted as, whererepresents the training parameters. It operates as an auto-regressive generator, selecting tokens from a finite vocabularyin a probabilistic manner. Given a context of tokens, the LLM models the sampling process as. This process continues until an End-Of-Sentence (EOS)  token is encountered or a maximum lengthis reached. For notational simplicity, we assume that the response length is exactly, with any necessary padding occurring after the EOS token is generated.LLMs are typically pre-trained on extensive corpora, optimizing for next-token prediction. However, these models often fail to generate text that aligns closely with human-like expectations, such as following instructions or creating responses that feel genuinely human. To bridge this gap, fine-tuning LLMs through RLHF is a common practice.In the RLHF setup, a reward modelprovides a scalar valueto a complete response, with higher values generally being preferable. Recent studies focus on learning the reward model from human preference data. Specifically, given pairs of responses with positive preference dataand negative preference data, a binary classification objective is optimized to train the reward modelsuch that it assigns higher scores to positively preferred data:whereis the sigmoid function andstands for a complete response.For specific tasks, we may introduce instructional prompts. Letdenote such a prompt, incorporating the task instructions and inputs, with the LLMgenerating a response. A reward modelassesses the response’s relevance to the prompt. The goal isreward maximization:333For ease of presentation, we do not present the KL regularization (with a reference language model)  under the reward maximization framework. This issue can be addressed by introducing a KL-associated penalty to the reward. Please refer toAppendixAfor a detailed discussion.(1) withindicating the distribution of prompts. The following section will detail converting this into an RL sequential decision-making problem.3.1Reward Maximization as Sequential Decision-making TaskIn this section, we delve into the mathematical aspects of training LLMs via RL, providing insights to guide algorithm design.The reward-maximization problem, as highlighted inEquation1, can be formulated to a Markov Decision Process (MDP) , which can be solved using RL algorithms. An MDP can be depicted as a tuple. Let us explain these terms within the MDP framework and subsequently relate them to the LLM paradigm.
The symbolsandrepresent the state and action spaces of a system, respectively.
The symbolserves as the transition function, detailing the probabilistic transition to the next statepredicated on the current stateand action; hence,.
The reward function,, assigns a scalar value,, to every state-action pairing.
The symbolmeans the initial state distribution. Using this, a trajectory spanningsteps is created by choosing an action from policyand the ensuing state from transition function.
The primary objective in the MDP framework is to optimize the (expected) long-term return, which is the cumulative sum of one-step intermediate rewards:(2) In the realm of LLMs, a state is represented by a sequence of previously generated tokens, denoted as. An action,, pertains to selecting a token from the vocabulary set. The initial state,, corresponds to a prompt, aligningwith the distribution of this prompt. While the rewardevaluates the quality of a complete response, not individual tokens, we can adapt this for the MDP framework. Specifically, we designate a reward of 0 for individual tokens:(3) The transition functionappends the current token to the history, shaping the subsequent state:(4) Here,denotes the elements in tuple.
With the above formulation, any RL algorithm designed for problem (2)  can equivalently solve problem (1) .3.2A Natural Solution to Problem (2) : PPONow we discuss how to solve problem (2) . In the RL community, a natural choice of algorithm is Proximal Policy Optimization (PPO) , which is designed to train agents in general environments withstochastictransitions and rewards. We will not get into all the details of PPO here. Instead, we will give a concise overview of PPO, which is enough for discussion. PPO uses a surrogate objective:(5) In the above objective, trajectories are sampled from an old policyand importance sampling is utilized to mitigate the bias, reflected in the ratio. Furthermore, a clipping-related hyper-parameteris introduced to stabilize training. The advantage function, crucial for policy gradient estimation, is computed using the one-step rewardand avalue model, i.e.,.444This value modelis trained by a temporal difference learning objectiveto estimate the long-term return starting from an arbitrary state.In addition, Generalized Advantage Estimation (GAE) is applied in the above calculation of, introducing the GAE coefficient, a hyper-parameter requiring tuning, not shown inEquation5for simplicity.3.3PPO is not the Best Fit for RLHFFor RLHF tasks, we find that the value model employed in PPO brings a substantial computational burden. This is primarily due to two factors. First, the value model usually shares a similar scale with the language model. Second, the value model’s training requires resources for gradients, activations, and optimizer states. As such, a trainable value (or language)  model typically requires more than 4 times the GPU memory during training compared with inference. As a result, roughly 50% of GPU memory usage in PPO is allocated to value model learning, with the remaining portion being dominated by the language model learning. Thus, reducing the computational load imposed by the value model is essential.In pursuit of this objective, we first revisit the motivation behind introducing a value model in PPO. There are two primary purposes. The first is to improve sample efficiency: for MDPs withstochastictransitions and rewards, PPO utilizes the value model to predict the expected long-term return, preventing the wastage of data from past experiences. The second purpose is to enhance computational efficiency: a value model provides anapproximateestimation of long-term returns, without the need for full trajectory rollouts and evaluations.Figure 2:Illustration that how PPO and ReMax fit to general RL and specific RLHF tasks, respectively.However, we observe that these motivations are not directly applicable to RLHF tasks for LLMs. As a result, PPO is not the best fit for RLHF. Specifically, we discover three important properties of RLHF that are different from general RL tasks.•Property 1: fast simulation.While the long-term return is expensive to get in some classical RL applications (e.g., Go, Atari games, and robotics) , it is cheap and easy to obtain in the RLHF setup. As shown inEquation2, the long-term return in RLHF is nothing but the trajectory reward of one response by LLM. Getting this reward is simple: it only needs a query of the language model and reward model. For models with less than 10B parameters, it usually takes no more than 3 seconds on modern GPUs.•Property 2: deterministic environment.As shown inEquation4, the transition is deterministic. That is, give anpair, the next stateis known. Further, the reward functionis also deterministic since it is from the neural network. Therefore, the whole environment of RLHF is deterministic. Note that the agent (i.e., the LLM)  follows a randomized policyto generate responses, but the randomness of agents is not counted in the environment.•Property 3: trajectory-level reward.As shown inEquation3,is non-zero only when the whole trajectory ends at. This property means that RLHF tasks are close to a “single-stage” optimization problem since the rewards of the intermediate stages are 0. As such, the value function used in RL may not be as useful here.Based on the above observations, we claim that the expected long-term return in RLHF can be obtained both computationally efficiently and sample efficiently, which is quite different from the general RL setup. Consequently, the value model designed in PPO does not really fit the RLHF problem (seeFigure2for illustration) . With this understanding, we propose a new algorithm tailored for RLHF tasks in the next section.
body
ReMax: A Simple, Effective, and Efficient Reinforcement Learning Method for Aligning Large Language Models
3Problem Formulation
2310.10505
4Proposed MethodIn this section, we propose algorithms to better exploit the mentioned properties inSection3.3.4.1A Brief Review on REINFORCEBefore introducing our proposed method, we first review a classical algorithm REINFORCEfor solving problem (1) , which can exploit the properties of RLHF tasks. In particular, REINFORCE operates iteratively, updating based on the gradient of policy. Let us consider a fixed prompt. By REINFORCE, we can determine the gradient of the objective in (1)  as:The transformation in the last equation employs the so-called log-derivative trick. Now, given a set of prompts, the stochastic gradient estimator can be derived by unrolling the LLM modelas:wherefor all. To optimize its performance, a single step of gradient ascent can be executed as: (wheredenotes the learning rate at the-th iteration) We find that REINFORCE seems to be a good fit for the RLHF problems. In particular, it requires an estimate of the expected return, i.e., the objective function value in (1) , which can be efficiently obtained by a query of the language and reward model. Furthermore, REINFORCE updates the policy by only utilizing the final-stage rewardand ignoring the middle rewards. Such algorithmic design is originally considered as a drawback in generic RL setting, because the middle-stage rewards may contain rich signals to guide the policy. However in RLHF, since the middle-stage rewards are all 0, this drawback is gone.Does REINFORCE address all the drawbacks of PPO in RLHF? Unfortunately, no. In our preliminary experiments with an OPT-1.3B model, we observed that REINFORCE was ineffective in improving reward maximization performance. We attribute this ineffectiveness to the high variance of the stochastic gradients observed during the training process, which is consistent with findings reported in the literature. Please refer toFigure3.(a) Evaluation reward of fine-tuning an OPT-1.3B model.(b) Gradient norm of fine-tuning an OPT-1.3B model.Figure 3:Unlike ReMax, REINFORCE suffers the high variance of stochastic gradients and poor performance.Due to its poor performance, we abandon the study of REINFORCE on larger models and instead propose a new variance-reduced version called ReMax, which we introduce in the next section.4.2From REINFORCE to ReMaxIn this section, we present an enhanced reward maximization algorithm that builds upon the REINFORCE algorithm. Motivated by the need to mitigate the variance challenges inherent in stochastic gradients, we introduce a new variance-reduction technique tailored for LLMs. Drawing inspiration from the REINFORCE with Baseline approach, we modify the gradient estimation by incorporating a subtractive baseline value:where the actionand actionfor all.For a given prompt, ReMax generates an alternative responseusing a greedy policy based on the current model. To stabilize training, we modify the reward score by subtracting a baseline value. The algorithm’s procedure is described inAlgorithm1, using a PyTorch code style. To justify the algorithm design, we provide theoretical evidence to confirm that the proposed gradient estimator remains unbiased.Proposition 1.The gradient estimator inSection4.2is unbiased for the objective function in (1) ,
i.e.,.Proof ofProposition1is deferred toSectionB.1. From the proof, readers may notice that not only the proposed baseline value, but any constant baseline value can yield an unbiased gradient estimator. In fact, the vanilla approach corresponds to the scenario where the baseline value is set to 0. So, what makes the proposed method potentially outperform the vanilla one? The key difference lies in the fact that our proposed baseline value isadaptiveto the specific promptand the current status of the language model. Following the same assumption in, we explore the theoretical foundation of ReMax below.Proposition 2.For tasks with lengthand action (token)  size, assume we use the parameterization. Then we have thatwhenever the optimal action has not yet dominated, i.e.,, where.The proof ofProposition2is provided inSectionB.2. It is important to note that the design of apracticalbaseline value for variance reduction has remained an open problem since the work of. In particular, theoretically sound baseline values, such as the maximum variance reduction proposed by(provided inSectionB.3for interested readers)  and the intuitive baseline of expected reward, are not computationally tractable in practice. We conjecture thatProposition2holds true for general cases and leave its verification for future work.We highlight that ReMax inherits the computational efficiency of REINFORCE, and is more effective in task performance. Compared with PPO that employs 4 models (a trainable language model, a fixed reference model, a fixed reward model, and a trainable value model) , ReMax removes the need of training a value model. This, as a beneficial side effect, increases computation speed since backpropagation for the value model is not needed.
body
ReMax: A Simple, Effective, and Efficient Reinforcement Learning Method for Aligning Large Language Models
4Proposed Method
2310.10505
5ExperimentsIn this section, we conduct experiments to validate the superiority of ReMax when used in RLHF. Note that, as a generic algorithm, ReMax could also be applied to traditional NLP tasks and we explore such an application on GPT-2 inAppendixD.We implement RLHF by using the DeepSpeed-Chat framework, where PPO serves as the default algorithm in the third step. Note that, according to the evaluation in, PPO is the most effective approach when used in the third step of RLHF. We study thefull-hh-rlhfdataset released by Anthropic, which consists of 112k instances for training and 12.5k for evaluation. Following, we divide this dataset into three parts: 20% for supervised fine-tuning (SFT) , 40% for reward learning, and the remaining 40% for reward maximization through RL. In addition to baselines such as SFT and PPO, we also examine the approach Direct Preference Optimization (DPO) , which can learn directly from preference data without a reward model.All experiments are conducted by using 3 different random seeds, and the averaged results are reported. Our experiments are executed on 4A100-80GB GPUs with half-precision training. More experiment details are given inAppendixC.5.1On the Effectiveness of ReMaxHere we show that ReMax is effective in maximizing reward and improving response quality. First, we display the reward training curves inFigure4, where we observe that ReMax is stable in training dynamics and offers a 2.1speed-up.Figure 4:Evaluation rewards for fine-tuning an Llama2-7B model on the full-hh-rlhf dataset. To achieve comparable performance, ReMax offers a 2.1x speed-up.Then, we consider assessing the response quality. We report three metrics: the reward score (evaluated by the trained reward model in the second step of RLHF) , perplexity, and response length; seeTable1for reference. In particular, we observe that alignment methods have higher perplexities, and ReMax has a longer response length.555This is likely due to data bias in reward learning, rather than to reward optimization methods.More evaluation results can be found inAppendixD.MethodRewardPerplexityLengthSFT0.274.6890DPO2.634.74125PPO5.135.30132ReMax5.136.15178Table 1:Statistics for trained LLMs on the full-hh-rlhf evaluation dataset.In addition, we also consider the AlpacaEval datasetto assess the quality of the generated responses, which can be viewed as a kind of out-of-distribution measurement since methods are not directly trained on such a dataset. Because there is no reference for these test questions, we use a strong LLM model, GPT-4, to evaluate the binary win rate. We present the results inFigure5. We find that ReMax outperforms all baselines in average win rate. Samples of generated responses are given inAppendixE.Figure 5:Evaluation on 805 test questions from the AlpacaEval dataset, as rated by GPT-4. ReMax achieves win rates of 84.22%, 75.28%, and 63.60% over SFT, DPO, and PPO, respectively.To summarize, our results suggest that ReMax is an effective reward maximization algorithm for RLHF. We believe the performance improvement of ReMax may be due to the fewer hyper-parameters it requires, which simplifies tuning.666In our experiments, we used the same common hyperparameters, such as learning rate, across all methods and used the tuned algorithm-specific hyper-parameters from previous literature for the baselines.5.2On the Efficiency of ReMaxIn this section, we show that in addition to the effectiveness, ReMax also exhibits computational efficiency in terms of memory and training speed.Training memory improvement.As discussed inSection4.2, ReMax can save about 50% memory usage compared with PPO, which is achieved by eliminating the need of training a value model. This bring two benefits. First, ReMax can support training when GPU memory resources are limited, whereas PPO may not in the same setting. Second, the memory savings from ReMax can be allocated to larger batch size training, which is crucial for increasing throughput and speeding up the entire training process on modern GPUs.To demonstrate the memory improvement, we report the maximum batch size allowed when fine-tuning a Llama2-7B model on A100-80GB GPUs. Please refer toTable2. Note that we conduct experiments with 4 GPUs and the offload technique described inSection5.1, but performance in the single GPU case is also reported.GPUsOffloadMethodMax Batch Size4FalsePPO✗4FalseReMax426=1044TruePPO430=1204TrueReMax440=1601FalsePPO✗1FalseReMax✗1TruePPO132=321TrueReMax142=42Table 2:Maximum of batch size allowed when fine-tuning Llama2-7B on A100-80GB GPUs. The symbol ✗ means that the algorithm cannot afford training due to the out-of-memory issue. The gradient checkpointing and ZeRO-2 technique are considered in both methods.Training speed improvement.The entire training time mainly depends on two factors: the batch size and the per-iteration training time. We have shown that ReMax outperforms PPO in the first aspect. For the second point, even both methods can use a same batch size, ReMax may be still superior. In particular, we have a rough estimate of per-iteration training time:777For the off-policy training epoch hyper-parameter in PPO, we assume it takes the value of 1. Using a larger value makes PPO slower and may cause divergence.The first line follows that in each iteration, PPO needs to generate a response and train two neural networks: the language model and the value model. According toAlgorithm1, ReMax needs to additionally generate a response for variance-reduction, but does not require training of a value model. In our experiments, we find that the generation time is significantly less than the backpropagation time used to a train a model. Please refer toTable3.GPUsOffloadMethodGBT4FalsePPO✗✗✗4FalseReMax9.3s10.9s2.4h4TruePPO5.1s52.9s6.0h4TrueReMax10.6s25.8s2.8h1FalsePPO✗✗✗1FalseReMax✗✗✗1TruePPO5.6s51.0s22.0h1TrueReMax11.3s23.1s10.2hTable 3:Training time for fine-tuning Llama2-7B on A100-80GB GPUs with 45k samples of length 512. The symbols “G” and “B” correspond to the generation time and backpropagation time for all models used in 1 iteration, respectively. The symbol “T” indicates the total training time of 1 epoch.FromTable3, we observe that with 4 GPUs, ReMax can support training and offer a 2.5speed-up by eliminating the need for the offload technique, which slows down computation.The main limitation of ReMax is its use of an additional response for gradient estimation. Nevertheless, we note that this limitation is not significant because, in larger-scale models, the forward process (corresponding to generation)  should be faster than the backward process (corresponding to training)  in properly designed neural networks.
body
ReMax: A Simple, Effective, and Efficient Reinforcement Learning Method for Aligning Large Language Models
5Experiments
2310.10505
6ConclusionIn this paper, we introduce a new method called ReMax, which offers several advantages, including simple implementation, reduced memory usage, fewer hyper-parameters, accelerated training speed, and better task performance compared with the prevalent practice of using PPO. Overall, ReMax makes RLHF easier and cheaper to use for LLMs.We acknowledge that ReMax does not address all challenges. Issues like reward hackingand mis-alignmentrequire careful data collection and the design of reward learning objectives. Nevertheless, an efficient reward maximization method like ReMax aids in quickly identifying issues in RLHF and LLMs.
conclusion
ReMax: A Simple, Effective, and Efficient Reinforcement Learning Method for Aligning Large Language Models
6Conclusion