告你什么
A place to tell the truth, the whole truth and nothing but the truth.
• 首页
• 归档
• 分类
• 标签
• 关于

## 1. 判定凸集，以及凸函数

Convex set

### 凸函数定义 $f(\frac{x_1+x_2}2)\leqslant\frac{f(x_1)+f(x_2)}2$

• 若二阶导数在区间上非负，则称为凸函数
• 若二阶导数在区间上恒大于0，则称严格凸函数

## 2. 线性规划与二次规划

### 线性规划

\begin{matrix} \begin{aligned} \max Z &S_{1}x_{1}+S_{2}x_{2}&(\text{最大化利润：目标函数})\\ s.t. & x_1+x_2\leqslant A &(\text{种植面积的限制})\\ & F_1 x_1 + F_2 x_2 \leqslant F &(\text{肥料数量的限制})\\ & P_1 x_1 + P_2 x_2 \leqslant P & (\text{农药数量的限制})\\ & x_1 \geqslant 0,\, x_2 \geqslant 0 &(\text{不可以栽种负数的面积})\\ \end{aligned} \end{matrix}

### 二次规划

$\begin{matrix} \min_{x} &\frac{1}{2}x^TQx+c^Tx\\ s.t.&Ax \leqslant b \end{matrix}$

$Q$ 为半正定矩阵，则上面的目标函数是凸函数，相应的二次规划为凸二次规划问题；此时若约束条件定义的可行域不为空，且目标函数在此可行域有下界，则该问题有全局最小值。

$Q$ 为正定矩阵，则该问题有唯一的全局最小值。

$Q$ 为非正定矩阵，则目标函数是有多个平稳点和局部极小点的NP难问题。

• 椭球法
• 内点法
• 增广拉格朗日法
• 梯度投影法等

$Q$ 为正定矩阵，则相应的二次规划问题可由椭球法在多项式时间内求解。

### 矩阵的正定及半正定[5:1]

• 若所有特征值均不小于零，则称为半正定。
• 若所有特征值均大于零，则称为正定。

## 3. 拉格朗日与对偶函数

### 原始问题

$\min_{\boldsymbol{x} \in \mathbf{R}^n}f(\boldsymbol{x})$

$f(x)$ 的最小值时 $x$ 的取值，$f(x)$$R^n$ 上连续可微。这时候我们对 $f(x)$ 求导令导数为 0 就能取到极值了。若此时加入约束如下：

$\min_{\boldsymbol{x} \in \mathbf{R}^n}f(\boldsymbol{x})$

\begin{aligned}\mathbb{s.t.}\quad &c_i(\boldsymbol{x}) \le 0,\quad i=1,2,\cdots,k\\&h_j(\boldsymbol{x})=0,\quad j=1,2,\cdots,l\end{aligned}

### 拉格朗日函数

$L(\boldsymbol{x},\boldsymbol{\alpha},\boldsymbol{\beta})=f(\boldsymbol{x})+\sum_{i=1}^k \alpha_ic_i(\boldsymbol{x}) + \sum_{j=1}^l\beta_jh_j(\boldsymbol{x})$

$\theta_P(\boldsymbol{x})=\max_{\boldsymbol{\alpha,\beta}:\alpha_i\ge0}L(\boldsymbol{x},\boldsymbol{\alpha},\boldsymbol{\beta})$

$\theta_P(\boldsymbol{x})=\begin{cases}f(\boldsymbol{x}),&\boldsymbol{x} \text{满足原始问题约束}\\+\infty,&\text{其他}\end{cases} %]]>$

$\min_{\boldsymbol{x}}\theta_P(\boldsymbol{x})=\min_{\boldsymbol{x}}\max_{\boldsymbol{\alpha,\beta}:\alpha_i\ge0}L(\boldsymbol{x},\boldsymbol{\alpha},\boldsymbol{\beta})$

$\min_{\boldsymbol{x}}\max_{\boldsymbol{\alpha,\beta}:\alpha_i\ge0}L(\boldsymbol{x},\boldsymbol{\alpha},\boldsymbol{\beta})$ 称为广义拉格朗日函数的极小极大问题。这样一来，就把原始最优化问题表示为广义拉格朗日函数的极小极大问题。我们定义原始问题最优解：

$p^*=\min_{x}\theta_P(x)$

### 对偶问题

$\theta_D(\alpha,\beta)=\min_x L(x,\alpha,\beta)$

$\max_{\alpha,\beta}\theta_D(\alpha,\beta)=\max_{\boldsymbol{\alpha,\beta}}\min_{\boldsymbol{x}}L(\boldsymbol{x},\boldsymbol{\alpha},\boldsymbol{\beta})$

$\max_{\boldsymbol{\alpha,\beta}}\min_{\boldsymbol{x}}L(\boldsymbol{x},\boldsymbol{\alpha},\boldsymbol{\beta})$ 为广义拉格朗日函数的极大极小问题(上一节的是极小极大问题)。这样可以将广义拉格朗日函数的极大极小问题进一步表示为约束最优化问题：

\begin{aligned} \max_{\alpha,\beta}\theta_D(\alpha,\beta)= \max_{\boldsymbol{\alpha,\beta}}\min_{\boldsymbol{x}}L(\boldsymbol{x},\boldsymbol{\alpha},\boldsymbol{\beta}) \\ \mathbb{s.t.}\quad\alpha_i\ge0,\quad i=1,2,\cdots,k \end{aligned}

$d^* = \max_{\alpha,\beta}\theta_D(\alpha,\beta)$

### 原始问题和对偶问题的关系

$d^*=\max_{\boldsymbol{\alpha,\beta}}\min_{\boldsymbol{x}}L(\boldsymbol{x},\boldsymbol{\alpha},\boldsymbol{\beta})\le\min_{\boldsymbol{x}}\max_{\boldsymbol{\alpha,\beta}:\alpha_i\ge0}L(\boldsymbol{x},\boldsymbol{\alpha},\boldsymbol{\beta})=p^*$

$x^∗$$α^∗$, $β^∗$ 分别是原始问题和对偶问题的可行解并且 $d^∗=p^∗$$x^∗$$α^∗$, $β^∗$ 分别是原始问题和对偶问题的最优解。 ## 4. strong duality 和 KKT 条件

### KKT条件[6:1]

\begin{aligned} \nabla_\boldsymbol{x}L(\boldsymbol{x}^*,\boldsymbol{\alpha}^*,\boldsymbol{\beta}^*)=0 \\ \nabla_\boldsymbol{\alpha}L(\boldsymbol{x}^*,\boldsymbol{\alpha}^*,\boldsymbol{\beta}^*)=0 \\ \nabla_\boldsymbol{\beta}L(\boldsymbol{x}^*,\boldsymbol{\alpha}^*,\boldsymbol{\beta}^*)=0 \\ \alpha_i^*c_i(\boldsymbol{x}^*)=0,\quad i=1,2,\cdots,k\\ c_i(\boldsymbol{x}^*)\le0,\quad i=1,2,\cdots,k\\ \alpha_i^*\ge0,\quad i=1,2,\cdots,k\\ h_j(\boldsymbol{x}^*)=0,\quad j=1,2,\cdots,l \end{aligned}

### 仿射函数[6:2]

$f(\boldsymbol{x})=\boldsymbol{A}\boldsymbol{x}+b$

## 5. 非凸优化问题

### 深度学习为何非凸

$f$$g$ 都是线性的时候，$h$ 是线性的。但在深度学习里用到的函数，Logistic, ReLU等等，都是非线性 ，并且非常多。把他们复合起来形成的函数 $h$, 便是非凸的。

## 6. NP-Hard 问题与松弛化处理

### P、NP

• P问题：在多项式时间内可以被解决的问题
• NP问题：在多项式时间内可以被验证其正确性的问题

### NP 困难

• NPC(Non-deterministic Polynomial Complete) Problem: 满足两个条件 (1)是一个NP问题 (2) 所有的NP问题都可以约化到它
• NP-Hard Problem: 满足NPC问题的第二条，但不一定要满足第一条[9:1]

NP困难（NP-hardness, non-deterministic polynomial-time hardness）问题是计算复杂性理论中最重要的复杂性类之一。如果所有NP问题都可以多项式时间归约到某个问题，则称该问题为NP困难。

### 松弛化处理

#### 拉格朗日松弛

1. 直接去掉约束条件

那显然定义域变大了，那得到的最小值肯定不比原来的大。那怎么办？

2. 那就如果不满足某些约束条件，我们就来点惩罚

这个惩罚表现在目标函数上。我们在目标函数上多加一项，如果某些约束条件没有满足，那目标函数就会变大。

\begin{aligned} \min x^2+y^2\\ s.t.\space \space \space x+y=1 \end{aligned}

$\min L(x,y,p)=x^2+y^2+p(1-x-y)$

$\because x+y=1$

$\therefore x=y=0.5,p=1$

$p$ 即惩罚

## 7. 离散优化 1. 连续优化（continuous optimization）

连续优化是求解在连续变量的问题，其一般地是求一组实数，或者一个函数。

2. 离散优化（discrete optimization）

连续优化是求解离散变量的问题，是从一个无限集或者可数无限集里寻找一个对象，典型地是一个整数，一个集合，一个排列，或者一个图。

3. 组合优化（combinatorial optimization）

组合优化问题的目标是从组合问题的可行解集中求出最优解，通常可描述为：令 $Ω=\{s1，s2，…，sn\}$ 为所有状态构成的解空间，$C(s_i)$ 为状态 $s_i$ 对应的目标函数值，要求寻找最优解 $s$，使得对于所有的 $s_i \in Ω$，有 $C(s^*)=\min C(s_i)$。组合优化往往涉及排序、分类、筛选等问题，它是运筹学的一个重要分支。

典型的组合优化问题有旅行商问题、加工调度问题、0-1背包问题、装箱问题、图着色问题、聚类问题等。这些问题描述非常简单，并且有很强的工程代表性，但最优化求解很困难，其主要原因是求解这些问题的算法需要极长的运行时间与极大的存储空间，以致根本不可能在现有计算机上实现，即所谓的“组合爆炸”。正是这些问题的代表性和复杂性激起了人们对组合优化理论与算法的研究兴趣。

### 梯度下降

#### 微分 \begin{aligned} f(x)=x^2 \\ f'(x)=2x \end{aligned}

\begin{aligned} f(x,y)=x^2y^2\\ \frac{\partial{f}}{\partial{x}}=2xy^2,\frac{\partial{f}}{\partial{y}}=x^22y \end{aligned}

#### 梯度

$J(\theta)=0.55-(5\theta_1+2\theta_2-12\theta_3)$

$\nabla{J(\theta)}=\lang{\frac{\partial{J}}{\partial{\theta_1}},\frac{\partial{J}}{\partial{\theta_2}},\frac{\partial{J}}{\partial{\theta_3}}}\rang=\lang{-5,-2,12}\rang$

• 在单变量的函数中，梯度其实就是函数的微分，代表着函数在某个给定点的切线的斜率
• 在多变量函数中，梯度是向量，向量有方向，梯度的方向就指出了函数在给定点的上升最快的方向

#### 梯度下降

$\Theta^1=\Theta^0-\alpha{\nabla{J(\Theta)}}$

$\alpha$ 在梯度下降算法中被称作为学习率或者步长，一般是 $(0,1]$ 的数，意味着我们可以通过 $\alpha$ 来控制每一步走的距离，不要走太快，错过了最低点。 #### 一个例子

$J(\theta)=\theta^2$

$J'(\theta)=2\theta$

\begin{aligned} \theta^0&=1\\ \theta^1&=\theta^0-\alpha\times{J'(\theta^0)}\\ &=1-0.4\times{2}\\ &=0.2\\ \theta^2&=\theta^1-\alpha\times{J'(\theta^1)}\\ &=0.04\\ \theta^3&=0.008\\ \theta^4&=0.0016 \end{aligned}

### 随机梯度下降

$J(x)=\frac{1}{n}\sum_{i=1}^{n}{J(x_i)}$

$\nabla{J(x)}=\frac{1}{n}\nabla\sum_{i=1}^{n}{J(x_i)}$

• 选择合适的 learning rate 比较困难 - 对所有的参数更新使用同样的 learning rate。对于稀疏数据或者特征，有时我们可能想更新快一些对于不经常出现的特征，对于常出现的特征更新慢一些，这时候SGD就不太能满足要求了
• SGD容易收敛到局部最优，并且在某些情况下可能被困在鞍点。

### 动量法 \begin{aligned} m_n&=\gamma{m_{n-1}}+\alpha{\nabla{J(\Theta_n)}}\\ \Theta_n&=\Theta_{n-1}-m_n \end{aligned} #### 数学原理

$y_t = \gamma y_{t-1} + (1-\gamma) x_t.$

\begin{aligned} y_t &= (1-\gamma) x_t + \gamma y_{t-1}\\ &= (1-\gamma)x_t + (1-\gamma) \cdot \gamma x_{t-1} + \gamma^2y_{t-2}\\ &= (1-\gamma)x_t + (1-\gamma) \cdot \gamma x_{t-1} + (1-\gamma) \cdot \gamma^2x_{t-2} + \gamma^3y_{t-3}\\ &\ldots \end{aligned}

$\lim_{n \rightarrow \infty} \left(1-\frac{1}{n}\right)^n = \exp(-1) \approx 0.3679$

#### 缺点

AdaGrad 算法会使用一个小批量随机梯度 $\boldsymbol{g}_t$ 按元素平方的累加变量 $\boldsymbol{s}_t$ 。在时间步0，AdaGrad 将 $\boldsymbol{s}_0$ 中每个元素初始化为0。在时间步 $t$ ，首先将小批量随机梯度 $\boldsymbol{g}_t$ 按元素平方后累加到变量 $\boldsymbol{s}_t$ ，其中 $\odot$ 是按元素相乘。接着，我们将目标函数自变量中每个元素的学习率通过按元素运算重新调整一下：

\begin{aligned} \boldsymbol{s_t}&=\boldsymbol{s}_{t-1}+\boldsymbol{g}_t \odot \boldsymbol{g}_t,\\ \Theta_t&=\Theta_{t-1}-\frac{\alpha}{\sqrt{\boldsymbol{s}_t + \epsilon}} \odot \boldsymbol{g}_t \end{aligned} ### RMSProp

\begin{aligned} \boldsymbol{s_t}&=\gamma\boldsymbol{s}_{t-1}+(1-\gamma)\boldsymbol{g}_t \odot \boldsymbol{g}_t,\\ \Theta_t&=\Theta_{t-1}-\frac{\alpha}{\sqrt{\boldsymbol{s}_t + \epsilon}} \odot \boldsymbol{g}_t \end{aligned} Adam 算法使用了动量变量 $\boldsymbol{v}_t$ 和 RMSProp 算法中小批量随机梯度按元素平方的指数加权移动平均变量 $\boldsymbol{s}_t$，并在时间步 0 将它们中每个元素初始化为0。给定超参数 $0 \leq \beta_1 < 1$（算法作者建议设为0.9），时间步 $t$ 的动量变量 $\boldsymbol{v}_t$ 即小批量随机梯度 $\boldsymbol{g}_t$ 的指数加权移动平均：

$\boldsymbol{v}_t \leftarrow \beta_1 \boldsymbol{v}_{t-1} + (1 - \beta_1) \boldsymbol{g}_t.$

$\boldsymbol{s}_t \leftarrow \beta_2 \boldsymbol{s}_{t-1} + (1 - \beta_2) \boldsymbol{g}_t \odot \boldsymbol{g}_t.$

$\hat{\boldsymbol{v}}_t \leftarrow \frac{\boldsymbol{v}_t}{1 - \beta_1^t}, \hat{\boldsymbol{s}}_t \leftarrow \frac{\boldsymbol{s}_t}{1 - \beta_2^t}.$

$\boldsymbol{g}_t' \leftarrow \frac{\eta \hat{\boldsymbol{v}}_t}{\sqrt{\hat{\boldsymbol{s}}_t} + \epsilon},$

$\boldsymbol{x}_t \leftarrow \boldsymbol{x}_{t-1} - \boldsymbol{g}_t'.$

## 9. L-BFGS

$min_\mathbf{x}f(\mathbf x),$

### 牛顿法

$x_k$ 为当前的极小点估计值，则

$\varphi(x)=f(x_k)+f'(x_k)(x-x_k)+\frac{1}{2}f''(x_k)(x-x_k)^2$

$\varphi'(x)=0,$

$f'(x_k)+f''(x_k)(x-x_k)=0,$

$x=x_k-\frac{f'(x_k)}{f''(x_k)},$

$x_{k+1}=x_k-\frac{f'(x_k)}{f''(x_k)},k=0,1,\dots$

$\varphi(\mathbf x)=f(\mathbf{x}_k)+\nabla f(\mathbf{x}_k)(\mathbf{x}-\mathbf{x}_k)+\frac{1}{2}(\mathbf{x}-\mathbf{x}_k)^T\nabla^2 f(\mathbf{x}_k)(\mathbf{x}-\mathbf{x}_k)$

\begin{aligned} \nabla f=\left[\begin{array}{c} \frac{\partial f}{\partial x_{1}} \\ \frac{\partial f}{\partial x_{2}} \\ \vdots \\ \frac{\partial f}{\partial x_{N}} \end{array}\right], \quad \nabla^{2} f=\left[\begin{array}{cccc} \frac{\partial^{2} f}{\partial x_{1}^{2}} & \frac{\partial^{2} f}{\partial x_{1} \partial x_{2}} & \cdots & \frac{\partial^{2} f}{\partial x_{1} \partial x_{N}} \\ \frac{\partial^{2} f}{\partial x_{2} \partial x_{1}} & \frac{\partial^{2} f}{\partial x_{2}^{2}} & \cdots & \frac{\partial^{2} f}{\partial x_{2} \partial x_{N}} \\ & & \ddots & \\ \frac{\partial^{2} f}{\partial x_{N} \partial x_{1}} & \frac{\partial^{2} f}{\partial x_{N} \partial x_{2}} & \cdots & \frac{\partial^{2} f}{\partial x_{N}^{2}} \end{array}\right]_{N \times N} \end{aligned}

$\mathbf{g}$$\nabla f$$H$$\nabla^2f$ ，若给定初始值 $\mathbf{x}_0$ ，则同样可以构造出迭代公式

$\mathbf{x_{k+1}}=\mathbf{x}_k-H_k^{-1}\mathbf{g}_k,k=0,1,\dots$

• 对目标函数有严格的要求，函数必须是具有连续的一阶、二阶偏导数，海森矩阵必须正定，
• 计算复杂，除计算梯度外，还需要计算二阶偏导数矩阵和逆矩阵。

### 拟牛顿法

$B \approx H, D\approx H^{-1}$

$f(\mathbf{x}) \approx f\left(\mathbf{x}_{k+1}\right)+\nabla f\left(\mathbf{x}_{k+1}\right) \cdot\left(\mathbf{x}-\mathbf{x}_{k+1}\right)+\frac{1}{2} \cdot\left(\mathbf{x}-\mathbf{x}_{k+1}\right)^{T} \cdot \nabla^{2} f\left(\mathbf{x}_{k+1}\right) \cdot\left(\mathbf{x}-\mathbf{x}_{k+1}\right)$

$\nabla f(\mathbf{x}) \approx \nabla f\left(\mathbf{x}_{k+1}\right)+H_{k+1} \cdot\left(\mathbf{x}-\mathbf{x}_{k+1}\right)$

$\mathbf{x}=\mathbf{x}_k$，得

$\mathrm{g}_{k+1}-\mathrm{g}_{k} \approx H_{k+1} \cdot\left(\mathrm{x}_{k+1}-\mathrm{x}_{k}\right)$

$\mathbf{s}_{k}=\mathbf{x}_{k+1}-\mathbf{x}_{k}, \mathbf{y}_{k}=\mathbf{g}_{k+1}-\mathbf{g}_{k}$

$\mathbf{y}_{k} \approx H_{k+1} \cdot \mathbf{s}_{k}$

$\mathbf{s}_{k} \approx H_{k+1}^{-1} \cdot \mathbf{y}_{k}$

$\mathbf{y}_{k}=B_{k+1} \cdot \mathbf{s}_{k}$

$\mathbf{s}_{k}=D_{k+1} \cdot \mathbf{y}_{k}$

### L-BFGS

\begin{aligned} min_xf(x)\\ s.t.Ax=b \end{aligned}

$L(x, \lambda)=f(x)+\lambda^{T}(A x-b)$

$\begin{array}{ll} \text {step1:} & x^{k+1}=\arg \min _{x} L\left(x, \lambda^{k}\right) \\ \text {step2:} & \lambda^{k+1}=\lambda^{k}+\rho\left(A x^{k+1}-b\right) \end{array}$

$L(x, \lambda)=f(x)+\lambda^{T}(A x-b)+\frac{\rho}{2}\|A x-b\|^{2}$

$L(x, z, \lambda)=f(x)+g(z)+\lambda^{T}(A x+B z-c)+\frac{\rho}{2}\|A x+B z-c\|^{2}$

\begin{aligned} &\text {step1:} & x^{k+1}&=\arg \min _{x} L(x, z^{k}, \lambda^{k}) \\ &\text {step2:} & z^{k+1}&=\arg \min _{z} L(x^{k+1}, z, \lambda^{k}) \\ &\text {step3:}& \lambda^{k+1}&=\lambda^{k}+\rho(A x^{k+1}+B z^{k+1}-c) \end{aligned}

step1~3是大循环，求解里面的 $\arg\min L$ 是小循环，梯度下降法，牛顿法等等都可以。重复直到不怎么变化了，也就是收敛了。

# 参考文献

1. 凸集_百度百科[EB/OL]. https://baike.baidu.com/item/凸集. ↩︎

2. lilong117194. 二次规划_lilong117194的博客-CSDN博客_二次规划[EB/OL]. https://blog.csdn.net/lilong117194/article/details/78204994. ↩︎ ↩︎

3. 小鹅鹅. 拉格朗日对偶性(Lagrance duality) 推导与简单理解_小鹅鹅的博客-CSDN博客_duality gap[EB/OL]. https://blog.csdn.net/asd136912/article/details/79149881. ↩︎ ↩︎ ↩︎

4. 强对偶性_百度百科[EB/OL]. https://baike.baidu.com/item/强对偶性. ↩︎

5. 群星纪元. 为什么 Non-Convex Optimization （非凸优化）受到了越来越大的关注？ - 群星纪元的个人空间 - OSCHINA[EB/OL]. https://my.oschina.net/u/2935389/blog/2967416. ↩︎

6. bitcarmanlee. NP-Hard问题浅谈_bitcarmanlee的博客-CSDN博客_np-hardEB/OL[2020–07–02]. https://blog.csdn.net/bitcarmanlee/article/details/51935400. ↩︎ ↩︎

7. NP困难[Z/OL] (2020–05–24)[2020–07–02]. https://zh.wikipedia.org/w/index.php?title=NP困难&oldid=59790051. ↩︎

8. 线性规划的松弛[Z/OL] (2014–02–26)[2020–07–02]. https://zh.wikipedia.org/w/index.php?title=线性规划的松弛&oldid=30387429. ↩︎

9. 滴水,Richard Wei,Rapier.如何理解拉格朗日松弛技术？ - 知乎[EB/OL].[2020–07–02]. https://www.zhihu.com/question/21345731. ↩︎

10. 六尺帐篷. 深入浅出–梯度下降法及其实现EB/OL[2020–07–16]. https://www.jianshu.com/p/c7e642877b0e. ↩︎

11. Jackpop. 如何理解随机梯度下降（stochastic gradient descent，SGD）？ - 知乎EB/OL[2020–07–16]. https://www.zhihu.com/question/264189719. ↩︎

13. 阿斯顿·张等. 7.4. 动量法 — 《动手学深度学习》 文档EB/OL[2020–07–16]. https://zh.d2l.ai/chapter_optimization/momentum.html. ↩︎

15. 阿斯顿·张等. 7.6. RMSProp算法 — 《动手学深度学习》 文档EB/OL[2020–07–17]. https://zh.d2l.ai/chapter_optimization/rmsprop.html. ↩︎

17. 皮果提. 牛顿法与拟牛顿法学习笔记（一）牛顿法_peghoty-CSDN博客_牛顿法EB/OL[2020–07–18]. https://blog.csdn.net/itplus/article/details/21896453. ↩︎

18. 大大大的v. 交替方向乘子法（ADMM）算法的流程和原理是怎样的？ - 知乎EB/OL[2020–07–19]. https://www.zhihu.com/question/36566112. ↩︎

转载规则

《凸优化基础，本科生能看得懂的极限水平》 Harbor Zeng 采用 知识共享署名 4.0 国际许可协议 进行许可。
上一篇 线性代数第一章：导学

2020-09-01

目录
{"ft_lang_label":"__label__zh","ft_lang_prob":0.96595925,"math_prob":0.99994004,"size":14472,"snap":"2023-40-2023-50","text_gpt3_token_len":13922,"char_repetition_ratio":0.04935029,"word_repetition_ratio":0.0,"special_character_ratio":0.23424543,"punctuation_ratio":0.085528985,"nsfw_num_words":0,"has_unicode_error":false,"math_prob_llama3":0.9999851,"pos_list":[0,1,2,3,4,5,6,7,8,9,10,11,12,13,14,15,16,17,18,19,20,21,22,23,24],"im_url_duplicate_count":[null,null,null,null,null,null,null,null,null,null,null,null,null,null,null,null,null,null,null,null,null,null,null,null,null],"WARC_HEADER":"{\"WARC-Type\":\"response\",\"WARC-Date\":\"2023-10-01T09:51:12Z\",\"WARC-Record-ID\":\"<urn:uuid:a630f57e-09c1-4ed0-9bb8-0805aafb1788>\",\"Content-Length\":\"802363\",\"Content-Type\":\"application/http; msgtype=response\",\"WARC-Warcinfo-ID\":\"<urn:uuid:180457a7-4611-4ee3-ad1c-df199fc5b2d4>\",\"WARC-Concurrent-To\":\"<urn:uuid:2a6097f6-f24f-4ea6-a133-a251dae27b26>\",\"WARC-IP-Address\":\"18.213.222.111\",\"WARC-Target-URI\":\"https://tellyouwhat.cn/p/convex-optimzation-basis/\",\"WARC-Payload-Digest\":\"sha1:4S75TRDUNKDCAW5PI5ZBLERYQXJR3AVJ\",\"WARC-Block-Digest\":\"sha1:NII37YHZOEJDB7LXOP6UFOLW44GBDYGR\",\"WARC-Identified-Payload-Type\":\"text/html\",\"warc_filename\":\"/cc_download/warc_2023/CC-MAIN-2023-40/CC-MAIN-2023-40_segments_1695233510810.46_warc_CC-MAIN-20231001073649-20231001103649-00119.warc.gz\"}"}