The evaluation of the systematic uncertainties for the finite MC samples in the presence of negative weights
Petr Mandrik








Presented at The XXIII International Workshop 
“High Energy Physics and Quantum Field Theory”



NRC «Kurchatov Institute» – IHEP, Protvino
          


  The analysis of results from HEP experiments often involves the estimates of the composition of the binned data samples, based on Monte Carlo simulations of various sources. Due to a finite statistic of MC samples they have statistical fluctuation. This work proposes the method of incorporating the systematic uncertainties due to finite statistics of MC samples with negative weights. The possible approximations are discussed and the comparison of different methods are presented.


The evaluation of the systematic uncertainties for the finite MC samples in the presence of negative weights
    Petr Mandrik1Petr.Mandrik@ihep.ru
        

    
============================================================================================================






§ INTRODUCTION
 

Результат измерения в физике высоких энергий часто представляет собой дискретное распределение (гистограмму) числа событий по какому-либо параметру:
      
    X = (X_1, X_2, ... )

      где X_i - значение в i-том интервале гистограммы.


Experimental results in high energy physics are often represented as a binned distribution (histogram) of observed events X = (X_1, X_2, ... ), where X_i is a number of events in bin i.
Рассмотрим теоретическую модель, описывающая результат эксперимента и зависящая от набора параметров π = (π_1, π_2, ...) (для краткости мы не вводим отдельных обозначений для информационных и неинформационных параметров).
      Пусть также предсказываемое моделью число событий зависит распределений различных сигнальных и фоновых процессов
      t = (t^a_1, t^a_2, ... t^b_1, t^b_2, ... t^c_1, t^c_2, ... ), где t^k_i - полученное методом моделирования Монте-Карло значение в i-том интервале гистограммы для процесса k.
      Тогда в общем случае:
      
    m_i = m_i(π, t_i) = m_i(π, t^a_i, t^b_i, t^c_i, ...)

      где m_i - предсказываемое число событий для i-того интервала гистограммы.
The usual method to estimate physical parameters such as particle masses or cross sections from this distribution is to 
perform some of Bayesian or frequentist analyses based on likelihood function. Likelihood function ℒ(X|m) connect the data with a theoretical model and represente how well the observatios are described by the prediction m = (m_1, m_2, ... ) . This prediction may depend on several different parameters π = (π_1, π_2, ...): nuisance parameters and parameters of interests. In addition if some signals or background processes are known from Monte-Carlo simulations then the likelihood function depends on template distributions t = (t^a_1, t^a_2, ... t^b_1, t^b_2, ... t^c_1, t^c_2, ... ), where t^k_i is a number of events for process k in bin i:

    ℒ(X|m) = ℒ(X|π, t) = ∏_i P(X_i|π, t_i) = ∏_i P(X_i|π_1, π_2, ..., t^a_i, t^b_i, ...)


This is important task to define an adequate likelihood function and take into account all existed statistical and systematic uncertainties present in the analysis.

Связь между предсказанием теоретической модели и измеренными в эксперименте данными устанавливаются посредством функции правдоподобия:
      
    ℒ(X|π, t) = ∏_i P(X_i|π, t_i) = ∏_i P(X_i|π, t^a_i, t^b_i, ...)


      Одним из этапов статистического анализа является построение адекватно опиcывающей экпериментальные данные функции правдоподобия, включающей в себя имеющиеся систематические и статистические ошибки измерений и моделирования.


Template distributions from Monte-Carlo generators are subject to statistical fluctuations due to finite number of events in samples.
The influence of these fluctuations can be expected to be significant in regions of low amounts of Monte-Carlo events.
For incorporating such uncertainties into likelihood function Barlow and Beeston proposed a method <cit.> wherein one for every bin i and every process k introduces a new parameter T_i^k corresponding to unknown expected number of events in infinite statistics limit:

    ∏_i P(X_i|π, t_i) →∏_i [ P(X_i|π, T_i) ·∏_k P(t^k_i|T^k_i) ]

where for constrain P(t^k_i|T^k_i) Barlow and Beeston assumed a Poisson distribution.

On the other hand several of the modern Monte-Carlo generators <cit.> produce a weighted events with both negative and positive weights. In this case the transformation (<ref>) is not applicable.
In this paper we provide a method of incorporating uncertainties due to the finite statistics of Monte-Carlo samples in the presence of negative weights.


Для учёта систематической ошибки, связанной с конечностью статистики данных Монте-Карло, Барлоу и Бистон предложили метод <cit.>, вводящий в функцию правдоподобия  параметр T_i^k для каждого интервала гистограмы i и каждого процесса k, отвечающий неизвестному ожидаемому числу событий из Монте-Карло моделирования:
      
    ∏_i P(X_i|π, t_i) →∏_i [ P(X_i|π, T_i) ·∏_k P(t^k_i|T^k_i) ]

      где для функции плотности вероятности P(t^k_i|T^k_i) полученного из Монте-Карло генератора числа событий t^k_i в оригинальной работе использовалось распределение Пуассона, T_i = (T^a_i, T^b_i, T^c_i, ...).

      С другой стороны ряд Монте-Карло генераторов <cit.> производят 
      взвешенные события с отрицательными и положительными весами, так, что 
      вследствие конечности сгенерированной статистики в ряде кинематических регионах возможно наличие отрицательного суммарного числа событий и 
      применение фомулы (<ref>) оказывается невозможным.

      Далее в данной работе предложен метод учёта систематической ошибки, связанной с конечностью статистики данных Монте-Карло, в случае,
      когда вес событий, полученный из генератора, включает в себя отрицательные значения.







§ LIKELIHOOD FUNCTIONS FOR MONTE-CARLO SAMPLES WITH NEGATIVE WEIGHTS
 


    В сильно упрощённом виде алгоритм генерации событий в MadGraph5_aMC@NLO можно описать следующим образом <cit.>.
    Сечение некоторого процесса σ_NLO находится интегрированием двух функций F_H(x) и F_S(x):
    
    σ_NLO = ∫ F_H(x) dx + ∫ F_S(x) dx

    Согласно построению, F_H(x) и F_S(x) конечны и F_H(x)+F_S(x)>0, однако для некоторых x значение F_S(x) < 0.
    По функциям плотности вероятности, пропорциональным |F_H(x)| и |F_S(x)|, создаются два набора событий - {x}_H и {x}_S соответственно. 
    Событиям приписывается вес w_i^H,S, равный +1, если значение соответствующей функции положительно, и -1, если отрицательно, так, что:
    
    σ_NLO = ∫|F_H(x)| dx/N_H·∑_i^N_H w_i^H + ∫|F_S(x)| dx/N_S·∑_i^N_S w_i^S

    где N_H, N_S - число событий в наборах.
    

In simplified form the algorithm of event production in most important example of Monte-Carlo generator with negative weights MadGraph5_aMC@NLO can be described as follow <cit.>. A cross section of some process σ_NLO is calculated by computing the integrals of two functions F_H(x) and F_S(x):

    σ_NLO = ∫ F_H(x) dx + ∫ F_S(x) dx


By definition, the functions F_H(x) and F_S(x) are finite and F_H(x)+F_S(x)>0, but for some values of x the function F_S(x) is negative.
Using the absolute values of the integrands |F_H(x)| and |F_S(x)| two set of events are produced - {x}_H and {x}_S respectly with weights w_i^H,S equal to +1 for positive values of functions and weight -1 if function is negative, so:

    σ_NLO = ∫|F_H(x)| dx/N_H·∑_i^N_H w_i^H + ∫|F_S(x)| dx/N_S·∑_i^N_S w_i^S

where N_H, N_S are thw number of events in corresponding sets.

    Таким образом, в пределе бесконечной статистики предсказание числа событий в произвольном интервале [x_i, x_i + Δ x] полученной из MadGraph5_aMC@NLO гистограммы может быть только положительным,
    а доля событий с отрицательными весами пропорциональна ∫_x_i^x_i + Δ x|F_S(x)| ℋ(-F_S(x)), где ℋ - функция Хевисайда.

    При заданном конечном числе сгенерированных событий вероятность получить определённую гистограмму в случае только отрицательных весов описывается мультиномиальным распределенем, которое
    обычно апроксимируют произведением независимых распределений Пуассона (см. например, <cit.>), пренебрегая имеющейся связью меду общим числом событий и суммой событий в интервалах. 
    Аналогично для гистограммы событий только с положительными весами.
    

In this way in the infinite statistics limit the prediction of any observable in any intervals [x_i, x_i + Δ x] of histograms from MadGraph5_aMC@NLO can be only positive, but in the case of finite statistics the prediction could get negative values in some bins.
On the other hand the events with negative and positive weights should be treated in the same way during analyses and pass the same cuts to keep the correct cross section value (<ref>). Further we assume that the last condition is satisfied, so for the finite number of generated Monte-Carlo events the probability of obtaining a given one in the case of only positive or negative weights is described by multinomial distribution, which is usually approximated by multiplication of independent Poisson distributions (see for example, <cit.>).

    Рассмотрим далее для простоты случай одного интервала гистограммы и единственного процесса t, полученного из Монте-Карло.
    Пусть t^+ сумма всех событий из Монте-Карло генератора с положительными весами, а t^- - с отрицательными, прошедшими все предыдущие этапы физического анализа.
    Тогда величина t есть разница между двумя распределёнными по Пуассону величинами t^+ и t^- и описывается распределением Скеллама:
    
    P(t) = 𝒮(t | T^+, T^-) = ∑_s = max(0,t)^∞𝒫(s|T^+) ·𝒫(s - t|T^-) = 
     
          = e^-(T^+ + T^-)( T^+/T^-)^t/2ℐ_t(2√(T^+ T^-))

    где ℐ_t - модифицированная функция Бесселя первого рода, 𝒫 - функция Пуассона, T^+ и T^- - параметры распределения Скеллама,
    отвечающие неизвестныму “истинному” предсказываемому Монте-Карло генератором числу отрицательных и положительных событий. 
    Как уже было указано ранее, здесь и далее мы пренебрегаем имеющейся связью между общим числом событий и суммой положительных и отрицательных событий в интервалах.

    Подставляя выражение (<ref>) в преобразование (<ref>) получим следующее преобразование для учёта систематической ошибки, связанной с конечностью статистики данных Монте-Карло:
    
    ∏_i P(X_i|π, t_i) →∏_i [ P(X_i|π, T_i) ·∏_k 𝒮(t^k_i|T^k+_i, T^k-_i) ]

    где новые неизвестные параметры связаные соотношением T^k_i = T^k+_i - T^k-_i.
    

Let us consider a simple case of single bin and only one generated process with total number of event t.
If t^+ is a sum of all positively weighted events from Monte-Carlo samples and t^- is a sum of all negative,
then t is a difference of two Poissonian quantities t^+ and t^- and described by Skelleman distribution:

    P(t) = 𝒮(t | T^+, T^-) = ∑_s = max(0,t)^∞𝒫(s|T^+) ·𝒫(s - t|T^-)
      = e^-(T^+ + T^-)( T^+/T^-)^t/2ℐ_t(2√(T^+ T^-))

where ℐ_t is a modified Bessel functions of the first kind, 𝒫 is Poisson distribution, T^+ and T^- are the parameters of Skellenam distribution, corresponding to unknown “true” prediction of negative and positive events from MC generator.

Using the equations (<ref>) in (<ref>) we obtain the following transformation rule for taking into account uncertainties due to the finite statistics of Monte-Carlo samples in the presence of negative weights in likelihood function:

    ∏_i P(X_i|π, t_i) →∏_i [ P(X_i|π, T_i) ·∏_k 𝒮(t^k_i|T^k+_i, T^k-_i) ]

where the new parameters are related by the equation T^k_i = T^k+_i - T^k-_i.



    Однако на практике применение выражения (<ref>) затруднительно, так как фактически используемая функция Скеллама не ограничивает значение эффективного параметра 𝐭^k_i, а только устанавливает связь между 𝐭^k+_i и 𝐭^k-_i. 
    В уравнении (<ref>) не учитывается часть информации, а именно величины t^+ и t^-,
    по которым производится суммирование. Если эти величины известны, то вместо распределения Скеллама можно записать:
    
    P(t) = 𝒫(t^+|T^+) ·𝒫(t^-|T^-)


    Подставляя (<ref>) в (<ref>) получим:
    
    ∏_i P(X_i|π, t_i) →∏_i [ P(X_i|π, T_i) 
            ·∏_k 𝒫(t^k+_i|T^k+_i) ·𝒫(t^k-_i|T^k-_i) ]

    

The constrain on parameters T^k_i, T^k+_i, T^k-_i in formula (<ref>) may be improved by an independent treatment of 
values t^+ and t^- in analyses. In this case we get:

    P(t) = 𝒫(t^+|T^+) ·𝒫(t^-|T^-)

and from (<ref>) with (<ref>):

    ∏_i P(X_i|π, t_i) →∏_i [ P(X_i|π, T_i) 
        ·∏_k 𝒫(t^k+_i|T^k+_i) ·𝒫(t^k-_i|T^k-_i) ]


    Число дополнительных параметров при использовании перобразования (<ref>) равно N_p = 2× число процессов × число интервалов в гистограмме.

    Для уменьшения числа параметров и упрощения вычислений может быть использован метод максимума функции правдоподобия.
    Пусть ℒ - функция правдоподобия, использующая преобразование (<ref>), тогда воспользовавшись тем, что:
    
    ln𝒫(x|μ) = lnμ^x e^-μ/x! = -μ + x ·lnμ - lnx!

    получим для i-того интервала гистограммы данных:
    
    -lnℒ_i  = -lnP(X_i|π, T_i)
          - ∑_k ( -T^k+_i + t^k+_i ·lnT^k+_i - ln(t^k+_i!)) - 
    
          - ∑_k ( -T^k-_i + t^k-_i ·lnT^k-_i - ln(t^k-_i!))



    The number of extra parameters in the transformation rule (<ref>) is equal to 2× number of processes × number of bins.
We can decrease the number of parameters by using the method of maximum likelihood function

Indeed, if ℒ is a likelihood function with transformation (<ref>) then for bin i one gets:

    -lnℒ_i  = -lnP(X_i|π, T_i)
      - ∑_k ( -T^k+_i + t^k+_i ·lnT^k+_i - ln(t^k+_i!)) - 
    
      - ∑_k ( -T^k-_i + t^k-_i ·lnT^k-_i - ln(t^k-_i!))

  
    Требование экстремума даёт следующую систему уравнений:
    [left = ]align 
    
      - ∂lnℒ / ∂T^k+_i  
          = 1 - ∂lnP(X_i|π, T_i) / ∂T^k+_i  
        - t^k+_i/T^k+_i = 0
 
      - ∂lnℒ / ∂T^k-_i  
          = 1 - ∂lnP(X_i|π, T_i) / ∂T^k-_i  
        - t^k-_i/T^k-_i = 0
    
    
    Далее в зависимости от вида функции P(X_i|π, T_i), система уравнений (<ref>) может быть решена
    аналитически относительно параметров T^k-_i, T^k+_i, либо значения параметров, при которых функции
    правдоподобия достигает максимума, могут быть найдены численно.
    The requirement of an extremum gives the following system of equations:
[left = ]align 
  
  - ∂lnℒ / ∂T^k+_i  
        = 1 - ∂lnP(X_i|π, T_i) / ∂T^k+_i  
    - t^k+_i/T^k+_i = 0
 
   - ∂lnℒ / ∂T^k-_i  
        = 1 - ∂lnP(X_i|π, T_i) / ∂T^k-_i  
    - t^k-_i/T^k-_i = 0


This system (<ref>) in some cases may be solved analytically for the parameters T^k-_i, T^k+_i, 
or numerically with some fixed values of the remaining parameters.


    Рассмотрим также другой метод уменьшения числа параметров модели, связанных с конечностью статистики Монте-Карло <cit.>.
    Действительно, так как статистические ошибки полученных из моделирования гистограмм независимы для каждого процесса в каждом интервале, то они
    могут быть скобинированы и учтены единственным эффективным параметром M_i:
    
    ∏_i P(X_i|m_i) →∏_i P(X_i|M_i) · P(m_i|M_i)

    В данном приближении для функции плотности вероятности P(m_i|M_i) как правило используется функция Гаусса 𝒢(m_i|M_i, σ_i), 
    где ошибка σ_i получена путём распространения статистических ошибок Монте-Карло гистограмм в данном интервале при фиксированных значениях параметров.
    The another way to decrease the number of parameters related to finite statistics of Monte-Carlo is known as Barlow-Beeston “light” transformation <cit.>. As the statistical uncertainties for each source in each bin are independent they may be combined and be represented approximately by single effective parameter per bin M_i:

    ∏_i P(X_i|m_i) →∏_i P(X_i|M_i) · P(m_i|M_i)

Usually, in this approximation for P(m_i|M_i) usually a Gaussian constrain  𝒢(m_i|M_i, σ_i) is used, where
the value of σ_i are calculated by propagation of the Monte-Carlo statistical uncertainties in bin i with fixed values of the remaining parameters. 


    Для гистограмм с отрицательными весами преобразование (<ref>) примет вид:
    
    ∏_i P(X_i|m_i^+ - m_i^-) →∏_i P(X_i|M_i^+ - M_i^-) · P(m_i^+|M_i^+) · P(m_i^-|M_i^-)

    Число дополнительно вводимых параметров равно 2 · число интервалов в гистограмме.
    

For histograms with negative weights the transformation (<ref>) has the form:

    ∏_i P(X_i|m_i^+ - m_i^-) →∏_i P(X_i|M_i^+ - M_i^-) · P(m_i^+|M_i^+) · P(m_i^-|M_i^-)

The number of extra parameters is equal to 2 × number of bins in histogram.

    Для функции правдоподобия, полученной из модели с использованием преобразования (<ref>), так же можно составить систему уравнений относительно новых параметров, аналогичную (<ref>). В предположении статистики Пуассона и используя функцию Гаусса для связи 
    вводимых параметров получим:
    
    ℒ_i = 𝒫(X_i|M_i^+ - M_i^-) ·𝒢(m_i^+|M_i^+, σ_i^+) ·𝒢(m_i^-|M_i^-, σ_i^-)

    
    -lnℒ_i  = -[-(M_i^+ - M_i^-) + X_i ·ln(M_i^+ - M_i^-) - lnX_i!] - 
    
                                  -[ (M_i^+ - m_i^+)^2/2(σ_i^+)^2 - lnσ_i^+ √(2 π)]
                                  -[ (M_i^- - m_i^-)^2/2(σ_i^-)^2 - lnσ_i^- √(2 π)]

    [left = ]align 
    
      - ∂lnℒ / ∂M_i^+  
          = 1 - X_i/M_i^+ - M_i^- - M_i^+ - m_i^+/(σ_i^+)^2 = 0 

      - ∂lnℒ / ∂M_i^-  
          = 1 + X_i/M_i^+ - M_i^- - M_i^- - m_i^-/(σ_i^-)^2 = 0
    
    
    

For the likelihood function with transformation (<ref>) a system of equations similar to (<ref>) can be obtained. Using the Gaussian constrain one gets:

    ℒ_i = 𝒫(X_i|M_i^+ - M_i^-) ·𝒢(m_i^+|M_i^+, σ_i^+) ·𝒢(m_i^-|M_i^-, σ_i^-)


    -lnℒ_i  = -[-(M_i^+ - M_i^-) + X_i ·ln(M_i^+ - M_i^-) - lnX_i!] - 
    
                            -[ (M_i^+ - m_i^+)^2/2(σ_i^+)^2 - lnσ_i^+ √(2 π)]
                            -[ (M_i^- - m_i^-)^2/2(σ_i^-)^2 - lnσ_i^- √(2 π)]

[left = ]align 
 
  - ∂lnℒ / ∂M_i^+  
      = 1 - X_i/M_i^+ - M_i^- - M_i^+ - m_i^+/(σ_i^+)^2 = 0 

  - ∂lnℒ / ∂M_i^-  
      = 1 + X_i/M_i^+ - M_i^- - M_i^- - m_i^-/(σ_i^-)^2 = 0








§ THE PERFORMANCE OF METHODS

    Рассмотрим результаты применения описанных методов учета систематической ошибки, связанной с конечностью статистики Монте-Карло, в случае наличия событий с отрицательными весами,
    применительно к задаче нахождения доверительных интервалов для параметров модели на примере байесовского анализа.
    

In this section few results of study the proposed transformations for taking into account uncertainties due to the finite statistics of Monte-Carlo samples are given.
The source code was implemented with statistical package SHTA <cit.>.

    Произведём сравнение на примере модели, генерирующей набор значений (X, t^+, t^-)  при заданных величинах π, T^+, T^-:
    
    ℒ_0 = 𝒫(X|π· (C + T^+ - T^-)) ·𝒫(t^+|T^+) ·𝒫(t^-|T^+)

    Для оценки параметра π были использованы: функция правдоподобия, не учитывающая статистическую ошибку, связанную с конечностью статистики Монте-Карло:
    
    ℒ_n = 𝒫(X|π· (C + t^+ - t^-))

    функция правдоподобия, при построении которой использовалось преобразование (<ref>):
    
    ℒ_g = 𝒫(X|π· (C + T)) ·𝒢(t^+-t^-, T, √(t^+ + t^-)) ·ℋ(T)

    и аналогичная предыдущей, но апроксимирующая произведение Пуассонов функцией Гаусса:
    
    ℒ_p = 𝒫(X|π· (C + T^+ - T^-)) ·𝒫(t^+|T^+) ·𝒫(t^-|T^-) ·ℋ(T^+-T^-)

    где величина C считается известной и введена для того, чтобы исключить длинный хвост апостеорного распределения параметра π, возникающего
    при T^+ - T^- ∼ 0.
    

From the simple single-bin single-channel model:

    ℒ_0 = 𝒫(X|π· (C + T^+ - T^-)) ·𝒫(t^+|T^+) ·𝒫(t^-|T^+)

a set of events (X, t^+, t^-) may be generated for the fixed values of parameters π, T^+, T^-.
Here the constant C is introduced in order to avoid a long tail in posterior distribution of π from T^+ - T^- ∼ 0.

To estimate the parameter of interest π we use three different likelihood functions.
First of all a naive approach without incorporating uncertainties due to the finite statistics of Monte-Carlo samples:

    ℒ_n = 𝒫(X|π· (C + t^+ - t^-))

a likelihood function with transformation (<ref>):

    ℒ_p = 𝒫(X|π· (C + T^+ - T^-)) ·𝒫(t^+|T^+) ·𝒫(t^-|T^-) ·ℋ(T^+-T^-)

and similar one but with Gaussian approximation for multiplication of two Poissons:

    ℒ_g = 𝒫(X|π· (C + T)) ·𝒢(t^+-t^-, T, √(t^+ + t^-)) ·ℋ(T)

where ℋ is a Heaviside function.

    В рамках байесовского формализма (с использованием неинформативных априорных вероятностей для всех параметров) были найдены апостеорные функции плотности вероятности параметров моделей (<ref>), (<ref>), (<ref>) и вычислены доверительные интервалы.
    Результат вычислений  для двух различных наборов величин π, T^+, T^- приведены в таблице <ref>.
    

    
    

    

The generated set of toy data from (<ref>) is used to perform a Bayesian inference (see for example <cit.>) with non-informative flat priors for all parameters.
The posterior probability density functions for parameters were obtained from likelihood functions (<ref>), (<ref>), (<ref>) and the confidence intervals were found.
The results for two different set of initial values of π, T^+, T^- are presented in the table <ref>.



    Из таблицы <ref> видно, что без учёта систематической ошибки, связанной с конечностью статистики Монте-Карло, при использовании
    функции правдоподобия (<ref>) точность измерений значительно падает, к примеру, только в двух из трёх экспериментов будут получены
    доверительные интервалы, содержащие истинное значение информационного параметра, при CL = 2σ и первом наборе параметров модели.

    С другой стороны, гауссовская апроксимация произведения двух пуассонов в ℒ_g даёт схожие результаты в сравнении с точным решением ℒ_p - 
    наибольшее наблюдаемое различие порядка одного процента.
    

From the table <ref> we can see that the difference between solution with multiplication of two Poisson and its Gaussian approximation do not exceed one percent.
On the other hand without taking into account the uncertainties due to the finite statistics of Monte-Carlo samples in likelihood function (<ref>)
the accuracy of measurements falls significantly.
For example, only in two out of three experiments the correct interval will be obtained for CL = 2σ and first set of parameters.






§ CONCLUSION

In this work a method of incorporating the systematic uncertainties due to finite statistics of MC samples with negative weights is presented.
The influence of this statistical uncertainty can be expected to be high in regions of low amounts of Monte Carlo events and they must be included into the fit.
The proposed transformation (<ref>) and its simplified version (<ref>) can be used to construct the correct likelihood function.
While using the Gaussian approximation of multiplication of two Poisson distribution in (<ref>) or (<ref>) leads to the known expressions used in different 
statistical packages <cit.><cit.> in different forms, the choice of specific form of likelihood function depends on the analysis and in some cases the more accurate proposed methods can improve the results.

    

    В статье был представлен метод учёта систематической ошибки, связанной с конечностью статистики Монте-Карло,
    являющийся расширением метода Барлоу и Бистон на случай наличия отрицательных весов. 
    Предложенное преобразование (<ref>) и его упрощённая версия (<ref>)
    подходят могут быть использованы при построении функции правдоподобия.
    С другой стороны было показано, что результаты, получаемые данным методом в случае одного интервала гистограмы и одной
    шаблонной гистограммы из Монте-Карло схожи с результатами, получаемыми при использовании гауссовская апроксимация произведения двух пуассонов.
    Таким образом, если программное обеспечение для статистического анализа использовало функцию гаусса для преобразования Барлоу и Бистон или
    для его упрощённой версии, то оно может быть использовано при построении функции правдоподобия без изменений.
    Тем не менее при большем числе интералов данных и большем числе процессов ожидается увеличение в расхождении между 
    приближением и (<ref>), что может привести к недооценке доверительных интервалов.

    В заключении хотелось бы выразить благодарность Слабоспицкому С.Р. за плодотворные обсуждения, а также Дудко Л.В. и Воротникову Г.А.
    



§ ACKNOWLEDGMENTS

I wish to thank L. Dudko S. Slabospitskii and G. Vorotnikov for useful discussions. 

    

§ SECTION TITLE

    
    For bibliography use
    

 §.§ Subsection title

    
    Don't forget to give each section, subsection, subsubsection, and
    paragraph a unique label (see Sect. <ref>).

    For one-column wide figures use syntax of figure <ref>
    

    For two-column wide figures use syntax of figure <ref>
    

    For figure with sidecaption legend use syntax of figure
    

    For tables use syntax in table <ref>.
    
    




















