Hugging Face's logo

Spaces:
yourbench
/
demo
Running on CPU Upgrade

App Files Community
1
demo
File size: 2,940 Bytes 
970eef1
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
 
from fastapi import APIRouter, HTTPException
from fastapi.responses import StreamingResponse
from huggingface_hub import hf_hub_download, snapshot_download
import os
import tempfile
import shutil
import zipfile
import io
import logging

router = APIRouter(tags=["download"])

@router.get("/download-dataset/{session_id}")
async def download_dataset(session_id: str):
    """
    Télécharge le dataset HuggingFace associé à une session et le renvoie au client
    
    Args:
        session_id: Identifiant de la session
        
    Returns:
        Fichier ZIP contenant le dataset
    """
    try:
        # Créer un répertoire temporaire pour stocker les fichiers du dataset
        with tempfile.TemporaryDirectory() as temp_dir:
            # Identifiant du repo HuggingFace
            repo_id = f"yourbench/yourbench_{session_id}"
            
            try:
                # Télécharger le snapshot du dataset depuis HuggingFace
                logging.info(f"Téléchargement du dataset {repo_id}")
                snapshot_path = snapshot_download(
                    repo_id=repo_id,
                    repo_type="dataset",
                    local_dir=temp_dir,
                    token=os.environ.get("HF_TOKEN")
                )
                
                logging.info(f"Dataset téléchargé dans {snapshot_path}")
                
                # Créer un fichier ZIP en mémoire
                zip_io = io.BytesIO()
                with zipfile.ZipFile(zip_io, 'w', zipfile.ZIP_DEFLATED) as zip_file:
                    # Parcourir tous les fichiers du dataset et les ajouter au ZIP
                    for root, _, files in os.walk(snapshot_path):
                        for file in files:
                            file_path = os.path.join(root, file)
                            arc_name = os.path.relpath(file_path, snapshot_path)
                            zip_file.write(file_path, arcname=arc_name)
                
                # Remettre le curseur au début du stream
                zip_io.seek(0)
                
                # Renvoyer le ZIP au client
                filename = f"yourbench_{session_id}_dataset.zip"
                return StreamingResponse(
                    zip_io,
                    media_type="application/zip",
                    headers={"Content-Disposition": f"attachment; filename={filename}"}
                )
                
            except Exception as e:
                logging.error(f"Erreur lors du téléchargement du dataset: {str(e)}")
                raise HTTPException(
                    status_code=500,
                    detail=f"Erreur lors du téléchargement du dataset: {str(e)}"
                )
    except Exception as e:
        logging.error(f"Erreur générale: {str(e)}")
        raise HTTPException(
            status_code=500, 
            detail=f"Erreur lors du téléchargement: {str(e)}"
        )