app.py

import gradio as gr
import pandas as pd
import plotly.express as px
from prophet import Prophet

# Ссылки на CSV-файлы
URL_DASHA = "https://raw.githubusercontent.com/fruitpicker01/Storage_Dasha_2025/main/messages.csv"
URL_LERA = "https://raw.githubusercontent.com/fruitpicker01/Storage_Lera_2025/main/messages.csv"
URL_SVETA = "https://raw.githubusercontent.com/fruitpicker01/Storage_Sveta_2025/main/messages.csv"

def read_and_process_data(url, user_name):
    """
    Возвращает:
    1) unique_count: количество уникальных SMS (по gender, generation, industry, opf)
    2) df_daily: дата, пользователь, дневное кол-во уникальных SMS (НЕ накопленное),
                 уже после удаления дубликатов по 4 столбцам.
    """
    df = pd.read_csv(url, na_values=["Не выбрано"])
    cols = ["gender", "generation", "industry", "opf", "timestamp"]
    df = df[[c for c in cols if c in df.columns]].copy()
    
    # Убираем дубликаты по 4 ключевым столбцам
    df_unique = df.drop_duplicates(subset=["gender", "generation", "industry", "opf"])
    
    # Количество уникальных SMS
    unique_count = len(df_unique)
    
    # Переводим timestamp -> date
    if "timestamp" in df_unique.columns:
        df_unique["timestamp"] = pd.to_numeric(df_unique["timestamp"], errors='coerce')
        df_unique["date"] = pd.to_datetime(df_unique["timestamp"], unit="s", origin="unix", errors='coerce').dt.date
    else:
        df_unique["date"] = pd.NaT
    
    # Сгруппируем по дате, чтобы получить количество за каждый день
    df_daily = df_unique.groupby("date").size().reset_index(name="count")
    df_daily["user"] = user_name
    
    return unique_count, df_daily

def make_naive_forecast(total_by_date, end_date_str="2025-02-28"):
    """
    Строит «наивный» прогноз до указанной даты (end_date_str),
    считая среднее дневное приращение только по будням (Mon-Fri).
    В выходные (Sat/Sun) прирост = 0.
    
    Возвращает DataFrame с колонками ["ds", "yhat"], начиная с (last_date+1) по end_date_str.
    """
    if total_by_date.empty:
        return pd.DataFrame(columns=["ds", "yhat"])
    
    # Превращаем date -> datetime, чтобы работать с днем недели
    df_tmp = total_by_date.copy()
    df_tmp["date"] = pd.to_datetime(df_tmp["date"])
    
    # Средний дневной прирост по будням
    # Прирост за день хранится в столбце "count"
    # Фильтруем по будням (понедельник=0 ... пятница=4)
    df_weekdays = df_tmp[df_tmp["date"].dt.weekday < 5]
    if len(df_weekdays) == 0:
        avg_inc = 0
    else:
        avg_inc = df_weekdays["count"].mean()
    
    last_date = df_tmp["date"].max()
    last_cumulative = df_tmp["cumulative"].iloc[-1]  # последнее накопленное значение
    
    end_date = pd.to_datetime(end_date_str)
    
    # Составляем прогноз, двигаясь по календарю день за днём
    current_date = last_date
    naive_data = []
    running_total = last_cumulative
    
    while current_date < end_date:
        current_date = current_date + pd.Timedelta(days=1)
        if current_date > end_date:
            break
        # Проверяем, будний ли это день (0..4)
        if current_date.weekday() < 5:
            running_total += avg_inc  # добавляем среднее приращение
        # Записываем точку прогноза
        naive_data.append({"ds": current_date, "yhat": running_total})
    
    # Превращаем в DataFrame
    df_naive = pd.DataFrame(naive_data)
    return df_naive

def process_data():
    # Считываем и обрабатываем все репозитории
    dasha_count, dasha_daily = read_and_process_data(URL_DASHA, "Даша")
    lera_count, lera_daily = read_and_process_data(URL_LERA, "Лера")
    sveta_count, sveta_daily = read_and_process_data(URL_SVETA, "Света")
    
    # Суммарное количество
    total_count = dasha_count + lera_count + sveta_count
    
    # Проценты (округляем до целого)
    dasha_percent = round((dasha_count / 234) * 100) if 234 else 0
    lera_percent = round((lera_count / 234) * 100) if 234 else 0
    sveta_percent = round((sveta_count / 234) * 100) if 234 else 0
    total_percent = round((total_count / 702) * 100) if 702 else 0
    
    # Генерируем HTML-прогресс-бары
    def get_progress_bar(label, abs_val, pct):
        if label in ["Даша", "Лера", "Света"]:
            capacity = 234
        else:
            capacity = 702
        return f"""
        <div style='margin-bottom: 1em;'>
            <div><strong>{label}</strong></div>
            <div style='width: 100%; background-color: #ddd; text-align: left;'>
                <div style='width: {pct}%; background-color: #4CAF50; padding: 5px 0;'>
                    &nbsp;{abs_val} SMS ({pct}% из {capacity})
                </div>
            </div>
        </div>
        """
    
    bars_html = (
        get_progress_bar("Даша", dasha_count, dasha_percent) +
        get_progress_bar("Лера", lera_count, lera_percent) +
        get_progress_bar("Света", sveta_count, sveta_percent) +
        get_progress_bar("Всего", total_count, total_percent)
    )
    
    # Собираем единый DataFrame по дням
    daily_all = pd.concat([dasha_daily, lera_daily, sveta_daily], ignore_index=True)
    daily_all = daily_all.dropna(subset=["date"])  # убираем NaT
    
    # Считаем кумулятивное количество SMS отдельно для каждого пользователя
    daily_all = daily_all.sort_values(by=["user", "date"])
    daily_all["cumulative"] = daily_all.groupby("user")["count"].cumsum()
    
    # Складываем в "Всего" по датам
    total_by_date = daily_all.groupby("date")["count"].sum().reset_index(name="count")
    total_by_date = total_by_date.sort_values(by="date")
    total_by_date["cumulative"] = total_by_date["count"].cumsum()
    total_by_date["user"] = "Всего"
    
    # Объединим с daily_all
    daily_all_final = pd.concat([daily_all, total_by_date], ignore_index=True)
    
    # Определим порядок легенды по последнему кумулятивному значению (убывание)
    last_values = daily_all_final.groupby("user")["cumulative"].last().sort_values(ascending=False)
    sorted_users = last_values.index.tolist()
    
    # Явно зададим цвета
    color_map = {
        "Даша": "#1f77b4",   # синий
        "Лера": "#2ca02c",   # зелёный
        "Света": "#d62728",  # красный
        "Всего": "#9467bd"   # фиолетовый
    }
    
    # Строим накопительный (кумулятивный) график (линии) по факту
    fig = px.line(
        daily_all_final,
        x="date",
        y="cumulative",
        color="user",
        title="Накопительное количество SMS",
        labels={"date": "Дата", "cumulative": "Накопленное количество SMS", "user": "Редактор"},
        category_orders={"user": sorted_users},
        color_discrete_map=color_map
    )
    
    # -----------------------
    # Прогнозы (Prophet + Наивный)
    # -----------------------
    
    forecast_fig = None
    
    # Сформируем DF для Prophet из "Всего"
    # (Если данных мало, проверим, чтобы не было пусто)
    if not total_by_date.empty:
        df_prophet = total_by_date[["date", "cumulative"]].copy()
        df_prophet.columns = ["ds", "y"]
        df_prophet["ds"] = pd.to_datetime(df_prophet["ds"])
        
        # 1) Prophet
        model = Prophet()
        model.fit(df_prophet)
        
        end_date = pd.to_datetime("2025-02-28")
        last_date = df_prophet["ds"].max()
        additional_days = (end_date - last_date).days
        
        future = model.make_future_dataframe(periods=0)
        if additional_days > 0:
            future = model.make_future_dataframe(periods=additional_days)
        
        forecast = model.predict(future)
        
        # Сопоставим исторические точки (y) и прогноз (yhat)
        df_plot = pd.merge(
            forecast[["ds", "yhat"]],
            df_prophet[["ds", "y"]],
            on="ds",
            how="left"
        )
        df_history = df_plot.dropna(subset=["y"])  # исторические данные
        df_future = df_plot[df_plot["y"].isna()]   # будущее (прогноз prophet)
        
        # 2) Наивный прогноз (будни)
        # Используем total_by_date (уже есть date, count, cumulative)
        # Функция вернёт df_naive: ds, yhat
        df_naive = make_naive_forecast(total_by_date, "2025-02-28")
        
        # Формируем общий график для сравнения
        forecast_fig = px.line(
            df_history,
            x="ds",
            y="y",
            title="Два прогноза до конца февраля 2025 (всего)",
            labels={"ds": "Дата", "y": "Накопленное число SMS"}
        )
        forecast_fig.add_scatter(
            x=df_future["ds"],
            y=df_future["yhat"],
            mode="lines",
            name="Прогноз (Prophet)",
            line=dict(dash="dash", color="red")
        )
        
        # Добавим наивный прогноз
        if not df_naive.empty:
            forecast_fig.add_scatter(
                x=df_naive["ds"],
                y=df_naive["yhat"],
                mode="lines",
                name="Прогноз (Наивн., будни)",
                line=dict(dash="dash", color="green")
            )
        
        forecast_fig.update_layout(showlegend=True)

    return (bars_html, fig, forecast_fig)

with gr.Blocks() as demo:
    gr.Markdown("<h2>Количество сохраненных SMS (Даша, Лера, Света)</h2>")
    btn = gr.Button("Обновить данные и показать результат")
    html_output = gr.HTML(label="Прогресс-бары: количество SMS и %")
    plot_output = gr.Plot(label="Накопительный график по датам (Даша, Лера, Света, Всего)")
    forecast_output = gr.Plot(label="Сравнение прогнозов до конца февраля 2025 (всего)")
    
    btn.click(fn=process_data, outputs=[html_output, plot_output, forecast_output])

if __name__ == "__main__":
    demo.launch()