Use fp8 model

app.py

@@ -453,6 +453,7 @@ if __name__ == "__main__":
     parser.add_argument("--pretrained_model", type=str, help='for development')
     args = parser.parse_args()
 
+    args.fp8 = True
     if args.aggressive_offload:
         args.offload = True