app.py

python server.py --share --chat --wbits 4 --groupsize 128 --model_type llama