diff --git a/.gitattributes b/.gitattributes index a6344aac8c09253b3b630fb776ae94478aa0275b..f0872d40a7f504470d53c24ac91b234b19b9f19e 100644 --- a/.gitattributes +++ b/.gitattributes @@ -33,3 +33,4 @@ saved_model/**/* filter=lfs diff=lfs merge=lfs -text *.zip filter=lfs diff=lfs merge=lfs -text *.zst filter=lfs diff=lfs merge=lfs -text *tfevents* filter=lfs diff=lfs merge=lfs -text +wandb/run-20250311_210755-0twfntm6/run-0twfntm6.wandb filter=lfs diff=lfs merge=lfs -text diff --git a/.hydra/config.yaml b/.hydra/config.yaml new file mode 100644 index 0000000000000000000000000000000000000000..3dee08878adeb9748142b229b4a0934b25826a66 --- /dev/null +++ b/.hydra/config.yaml @@ -0,0 +1,134 @@ +resume: false +device: cuda +use_amp: false +seed: 1000 +dataset_repo_id: zijian2022/llmtest107 +video_backend: pyav +training: + offline_steps: 80000 + num_workers: 4 + batch_size: 8 + eval_freq: -1 + log_freq: 100 + save_checkpoint: true + save_freq: 10000 + online_steps: 0 + online_rollout_n_episodes: 1 + online_rollout_batch_size: 1 + online_steps_between_rollouts: 1 + online_sampling_ratio: 0.5 + online_env_seed: null + online_buffer_capacity: null + online_buffer_seed_size: 0 + do_online_rollout_async: false + image_transforms: + enable: false + max_num_transforms: 3 + random_order: false + brightness: + weight: 1 + min_max: + - 0.8 + - 1.2 + contrast: + weight: 1 + min_max: + - 0.8 + - 1.2 + saturation: + weight: 1 + min_max: + - 0.5 + - 1.5 + hue: + weight: 1 + min_max: + - -0.05 + - 0.05 + sharpness: + weight: 1 + min_max: + - 0.8 + - 1.2 + lr: 1.0e-05 + lr_backbone: 1.0e-05 + weight_decay: 0.0001 + grad_clip_norm: 10 + delta_timestamps: + action: '[i / ${fps} for i in range(${policy.chunk_size})]' +eval: + n_episodes: 50 + batch_size: 50 + use_async_envs: false +wandb: + enable: true + disable_artifact: false + project: lerobot + notes: '' +fps: 30 +env: + name: real_world + task: null + state_dim: 6 + action_dim: 6 + fps: ${fps} +override_dataset_stats: + observation.images.laptop: + mean: + - - - 0.485 + - - - 0.456 + - - - 0.406 + std: + - - - 0.229 + - - - 0.224 + - - - 0.225 + observation.images.phone: + mean: + - - - 0.485 + - - - 0.456 + - - - 0.406 + std: + - - - 0.229 + - - - 0.224 + - - - 0.225 +policy: + name: act + n_obs_steps: 1 + chunk_size: 100 + n_action_steps: 100 + input_shapes: + observation.images.laptop: + - 3 + - 480 + - 640 + observation.images.phone: + - 3 + - 480 + - 640 + observation.state: + - ${env.state_dim} + output_shapes: + action: + - ${env.action_dim} + input_normalization_modes: + observation.images.laptop: mean_std + observation.images.phone: mean_std + observation.state: mean_std + output_normalization_modes: + action: mean_std + vision_backbone: resnet18 + pretrained_backbone_weights: ResNet18_Weights.IMAGENET1K_V1 + replace_final_stride_with_dilation: false + pre_norm: false + dim_model: 512 + n_heads: 8 + dim_feedforward: 3200 + feedforward_activation: relu + n_encoder_layers: 4 + n_decoder_layers: 1 + use_vae: true + latent_dim: 32 + n_vae_encoder_layers: 4 + temporal_ensemble_coeff: null + dropout: 0.1 + kl_weight: 10.0 diff --git a/.hydra/hydra.yaml b/.hydra/hydra.yaml new file mode 100644 index 0000000000000000000000000000000000000000..7bb7ac7aecee305136d561a14497d0485e55fbfc --- /dev/null +++ b/.hydra/hydra.yaml @@ -0,0 +1,163 @@ +hydra: + run: + dir: outputs/train/act_llmtest107 + sweep: + dir: multirun/${now:%Y-%m-%d}/${now:%H-%M-%S} + subdir: ${hydra.job.num} + launcher: + _target_: hydra._internal.core_plugins.basic_launcher.BasicLauncher + sweeper: + _target_: hydra._internal.core_plugins.basic_sweeper.BasicSweeper + max_batch_size: null + params: null + help: + app_name: ${hydra.job.name} + header: '${hydra.help.app_name} is powered by Hydra. + + ' + footer: 'Powered by Hydra (https://hydra.cc) + + Use --hydra-help to view Hydra specific help + + ' + template: '${hydra.help.header} + + == Configuration groups == + + Compose your configuration from those groups (group=option) + + + $APP_CONFIG_GROUPS + + + == Config == + + Override anything in the config (foo.bar=value) + + + $CONFIG + + + ${hydra.help.footer} + + ' + hydra_help: + template: 'Hydra (${hydra.runtime.version}) + + See https://hydra.cc for more info. + + + == Flags == + + $FLAGS_HELP + + + == Configuration groups == + + Compose your configuration from those groups (For example, append hydra/job_logging=disabled + to command line) + + + $HYDRA_CONFIG_GROUPS + + + Use ''--cfg hydra'' to Show the Hydra config. + + ' + hydra_help: ??? + hydra_logging: + version: 1 + formatters: + simple: + format: '[%(asctime)s][HYDRA] %(message)s' + handlers: + console: + class: logging.StreamHandler + formatter: simple + stream: ext://sys.stdout + root: + level: INFO + handlers: + - console + loggers: + logging_example: + level: DEBUG + disable_existing_loggers: false + job_logging: + version: 1 + formatters: + simple: + format: '[%(asctime)s][%(name)s][%(levelname)s] - %(message)s' + handlers: + console: + class: logging.StreamHandler + formatter: simple + stream: ext://sys.stdout + file: + class: logging.FileHandler + formatter: simple + filename: ${hydra.runtime.output_dir}/${hydra.job.name}.log + root: + level: INFO + handlers: + - console + - file + disable_existing_loggers: false + env: {} + mode: RUN + searchpath: [] + callbacks: {} + output_subdir: .hydra + overrides: + hydra: + - hydra.run.dir=outputs/train/act_llmtest107 + - hydra.job.name=act_so100_test + - hydra.mode=RUN + task: + - dataset_repo_id=zijian2022/llmtest107 + - policy=act_so100_real + - env=so100_real + - device=cuda + - wandb.enable=true + job: + name: act_so100_test + chdir: null + override_dirname: dataset_repo_id=zijian2022/llmtest107,device=cuda,env=so100_real,policy=act_so100_real,wandb.enable=true + id: ??? + num: ??? + config_name: default + env_set: {} + env_copy: [] + config: + override_dirname: + kv_sep: '=' + item_sep: ',' + exclude_keys: [] + runtime: + version: 1.3.2 + version_base: '1.2' + cwd: C:\Users\pedri\~\lerobot + config_sources: + - path: hydra.conf + schema: pkg + provider: hydra + - path: C:\Users\pedri\~\lerobot\lerobot\configs + schema: file + provider: main + - path: '' + schema: structured + provider: schema + output_dir: C:\Users\pedri\~\lerobot\outputs\train\act_llmtest107 + choices: + policy: act_so100_real + env: so100_real + hydra/env: default + hydra/callbacks: null + hydra/job_logging: default + hydra/hydra_logging: default + hydra/hydra_help: default + hydra/help: default + hydra/sweeper: basic + hydra/launcher: basic + hydra/output: default + verbose: false diff --git a/.hydra/overrides.yaml b/.hydra/overrides.yaml new file mode 100644 index 0000000000000000000000000000000000000000..def5202ff21454937617e8a74061f05923dadc69 --- /dev/null +++ b/.hydra/overrides.yaml @@ -0,0 +1,5 @@ +- dataset_repo_id=zijian2022/llmtest107 +- policy=act_so100_real +- env=so100_real +- device=cuda +- wandb.enable=true diff --git a/act_so100_test.log b/act_so100_test.log new file mode 100644 index 0000000000000000000000000000000000000000..e69de29bb2d1d6434b8b29ae775ad8c2e48c5391 diff --git a/checkpoints/010000/pretrained_model/README.md b/checkpoints/010000/pretrained_model/README.md new file mode 100644 index 0000000000000000000000000000000000000000..7237e8fd20e05ac81c927bfebcf96098b62cc63a --- /dev/null +++ b/checkpoints/010000/pretrained_model/README.md @@ -0,0 +1,12 @@ +--- +library_name: lerobot +tags: +- act +- model_hub_mixin +- pytorch_model_hub_mixin +- robotics +--- + +This model has been pushed to the Hub using the [PytorchModelHubMixin](https://huggingface.co/docs/huggingface_hub/package_reference/mixins#huggingface_hub.PyTorchModelHubMixin) integration: +- Library: https://github.com/huggingface/lerobot +- Docs: [More Information Needed] \ No newline at end of file diff --git a/checkpoints/010000/pretrained_model/config.json b/checkpoints/010000/pretrained_model/config.json new file mode 100644 index 0000000000000000000000000000000000000000..17f329301e46b277677c55fc30a30ae177e59984 --- /dev/null +++ b/checkpoints/010000/pretrained_model/config.json @@ -0,0 +1,49 @@ +{ + "chunk_size": 100, + "dim_feedforward": 3200, + "dim_model": 512, + "dropout": 0.1, + "feedforward_activation": "relu", + "input_normalization_modes": { + "observation.images.laptop": "mean_std", + "observation.images.phone": "mean_std", + "observation.state": "mean_std" + }, + "input_shapes": { + "observation.images.laptop": [ + 3, + 480, + 640 + ], + "observation.images.phone": [ + 3, + 480, + 640 + ], + "observation.state": [ + 6 + ] + }, + "kl_weight": 10.0, + "latent_dim": 32, + "n_action_steps": 100, + "n_decoder_layers": 1, + "n_encoder_layers": 4, + "n_heads": 8, + "n_obs_steps": 1, + "n_vae_encoder_layers": 4, + "output_normalization_modes": { + "action": "mean_std" + }, + "output_shapes": { + "action": [ + 6 + ] + }, + "pre_norm": false, + "pretrained_backbone_weights": "ResNet18_Weights.IMAGENET1K_V1", + "replace_final_stride_with_dilation": false, + "temporal_ensemble_coeff": null, + "use_vae": true, + "vision_backbone": "resnet18" +} \ No newline at end of file diff --git a/checkpoints/010000/pretrained_model/config.yaml b/checkpoints/010000/pretrained_model/config.yaml new file mode 100644 index 0000000000000000000000000000000000000000..563a3b43d03b173786f18cb7c01cfe6837efb60f --- /dev/null +++ b/checkpoints/010000/pretrained_model/config.yaml @@ -0,0 +1,234 @@ +resume: false +device: cuda +use_amp: false +seed: 1000 +dataset_repo_id: zijian2022/llmtest107 +video_backend: pyav +training: + offline_steps: 80000 + num_workers: 4 + batch_size: 8 + eval_freq: -1 + log_freq: 100 + save_checkpoint: true + save_freq: 10000 + online_steps: 0 + online_rollout_n_episodes: 1 + online_rollout_batch_size: 1 + online_steps_between_rollouts: 1 + online_sampling_ratio: 0.5 + online_env_seed: null + online_buffer_capacity: null + online_buffer_seed_size: 0 + do_online_rollout_async: false + image_transforms: + enable: false + max_num_transforms: 3 + random_order: false + brightness: + weight: 1 + min_max: + - 0.8 + - 1.2 + contrast: + weight: 1 + min_max: + - 0.8 + - 1.2 + saturation: + weight: 1 + min_max: + - 0.5 + - 1.5 + hue: + weight: 1 + min_max: + - -0.05 + - 0.05 + sharpness: + weight: 1 + min_max: + - 0.8 + - 1.2 + lr: 1.0e-05 + lr_backbone: 1.0e-05 + weight_decay: 0.0001 + grad_clip_norm: 10 + delta_timestamps: + action: + - 0.0 + - 0.03333333333333333 + - 0.06666666666666667 + - 0.1 + - 0.13333333333333333 + - 0.16666666666666666 + - 0.2 + - 0.23333333333333334 + - 0.26666666666666666 + - 0.3 + - 0.3333333333333333 + - 0.36666666666666664 + - 0.4 + - 0.43333333333333335 + - 0.4666666666666667 + - 0.5 + - 0.5333333333333333 + - 0.5666666666666667 + - 0.6 + - 0.6333333333333333 + - 0.6666666666666666 + - 0.7 + - 0.7333333333333333 + - 0.7666666666666667 + - 0.8 + - 0.8333333333333334 + - 0.8666666666666667 + - 0.9 + - 0.9333333333333333 + - 0.9666666666666667 + - 1.0 + - 1.0333333333333334 + - 1.0666666666666667 + - 1.1 + - 1.1333333333333333 + - 1.1666666666666667 + - 1.2 + - 1.2333333333333334 + - 1.2666666666666666 + - 1.3 + - 1.3333333333333333 + - 1.3666666666666667 + - 1.4 + - 1.4333333333333333 + - 1.4666666666666666 + - 1.5 + - 1.5333333333333334 + - 1.5666666666666667 + - 1.6 + - 1.6333333333333333 + - 1.6666666666666667 + - 1.7 + - 1.7333333333333334 + - 1.7666666666666666 + - 1.8 + - 1.8333333333333333 + - 1.8666666666666667 + - 1.9 + - 1.9333333333333333 + - 1.9666666666666666 + - 2.0 + - 2.033333333333333 + - 2.066666666666667 + - 2.1 + - 2.1333333333333333 + - 2.1666666666666665 + - 2.2 + - 2.2333333333333334 + - 2.2666666666666666 + - 2.3 + - 2.3333333333333335 + - 2.3666666666666667 + - 2.4 + - 2.433333333333333 + - 2.466666666666667 + - 2.5 + - 2.533333333333333 + - 2.566666666666667 + - 2.6 + - 2.6333333333333333 + - 2.6666666666666665 + - 2.7 + - 2.7333333333333334 + - 2.7666666666666666 + - 2.8 + - 2.8333333333333335 + - 2.8666666666666667 + - 2.9 + - 2.933333333333333 + - 2.966666666666667 + - 3.0 + - 3.033333333333333 + - 3.066666666666667 + - 3.1 + - 3.1333333333333333 + - 3.1666666666666665 + - 3.2 + - 3.2333333333333334 + - 3.2666666666666666 + - 3.3 +eval: + n_episodes: 50 + batch_size: 50 + use_async_envs: false +wandb: + enable: true + disable_artifact: false + project: lerobot + notes: '' +fps: 30 +env: + name: real_world + task: null + state_dim: 6 + action_dim: 6 + fps: ${fps} +override_dataset_stats: + observation.images.laptop: + mean: + - - - 0.485 + - - - 0.456 + - - - 0.406 + std: + - - - 0.229 + - - - 0.224 + - - - 0.225 + observation.images.phone: + mean: + - - - 0.485 + - - - 0.456 + - - - 0.406 + std: + - - - 0.229 + - - - 0.224 + - - - 0.225 +policy: + name: act + n_obs_steps: 1 + chunk_size: 100 + n_action_steps: 100 + input_shapes: + observation.images.laptop: + - 3 + - 480 + - 640 + observation.images.phone: + - 3 + - 480 + - 640 + observation.state: + - ${env.state_dim} + output_shapes: + action: + - ${env.action_dim} + input_normalization_modes: + observation.images.laptop: mean_std + observation.images.phone: mean_std + observation.state: mean_std + output_normalization_modes: + action: mean_std + vision_backbone: resnet18 + pretrained_backbone_weights: ResNet18_Weights.IMAGENET1K_V1 + replace_final_stride_with_dilation: false + pre_norm: false + dim_model: 512 + n_heads: 8 + dim_feedforward: 3200 + feedforward_activation: relu + n_encoder_layers: 4 + n_decoder_layers: 1 + use_vae: true + latent_dim: 32 + n_vae_encoder_layers: 4 + temporal_ensemble_coeff: null + dropout: 0.1 + kl_weight: 10.0 diff --git a/checkpoints/010000/pretrained_model/model.safetensors b/checkpoints/010000/pretrained_model/model.safetensors new file mode 100644 index 0000000000000000000000000000000000000000..53a2b2523df159da800fb533e68f45a86e29dffb --- /dev/null +++ b/checkpoints/010000/pretrained_model/model.safetensors @@ -0,0 +1,3 @@ +version https://git-lfs.github.com/spec/v1 +oid sha256:885ef2b426b93340f35e32edb85e6167449bc63a32f51ef59e2cb1852a46da27 +size 206701072 diff --git a/checkpoints/010000/training_state.pth b/checkpoints/010000/training_state.pth new file mode 100644 index 0000000000000000000000000000000000000000..c3ade19b29e825142782f980e90eff74d9804e07 --- /dev/null +++ b/checkpoints/010000/training_state.pth @@ -0,0 +1,3 @@ +version https://git-lfs.github.com/spec/v1 +oid sha256:853bb38780f0d853659c083f3d45f0511f372bc6246c7c4fced0f5f477438ec5 +size 412921871 diff --git a/checkpoints/020000/pretrained_model/README.md b/checkpoints/020000/pretrained_model/README.md new file mode 100644 index 0000000000000000000000000000000000000000..7237e8fd20e05ac81c927bfebcf96098b62cc63a --- /dev/null +++ b/checkpoints/020000/pretrained_model/README.md @@ -0,0 +1,12 @@ +--- +library_name: lerobot +tags: +- act +- model_hub_mixin +- pytorch_model_hub_mixin +- robotics +--- + +This model has been pushed to the Hub using the [PytorchModelHubMixin](https://huggingface.co/docs/huggingface_hub/package_reference/mixins#huggingface_hub.PyTorchModelHubMixin) integration: +- Library: https://github.com/huggingface/lerobot +- Docs: [More Information Needed] \ No newline at end of file diff --git a/checkpoints/020000/pretrained_model/config.json b/checkpoints/020000/pretrained_model/config.json new file mode 100644 index 0000000000000000000000000000000000000000..17f329301e46b277677c55fc30a30ae177e59984 --- /dev/null +++ b/checkpoints/020000/pretrained_model/config.json @@ -0,0 +1,49 @@ +{ + "chunk_size": 100, + "dim_feedforward": 3200, + "dim_model": 512, + "dropout": 0.1, + "feedforward_activation": "relu", + "input_normalization_modes": { + "observation.images.laptop": "mean_std", + "observation.images.phone": "mean_std", + "observation.state": "mean_std" + }, + "input_shapes": { + "observation.images.laptop": [ + 3, + 480, + 640 + ], + "observation.images.phone": [ + 3, + 480, + 640 + ], + "observation.state": [ + 6 + ] + }, + "kl_weight": 10.0, + "latent_dim": 32, + "n_action_steps": 100, + "n_decoder_layers": 1, + "n_encoder_layers": 4, + "n_heads": 8, + "n_obs_steps": 1, + "n_vae_encoder_layers": 4, + "output_normalization_modes": { + "action": "mean_std" + }, + "output_shapes": { + "action": [ + 6 + ] + }, + "pre_norm": false, + "pretrained_backbone_weights": "ResNet18_Weights.IMAGENET1K_V1", + "replace_final_stride_with_dilation": false, + "temporal_ensemble_coeff": null, + "use_vae": true, + "vision_backbone": "resnet18" +} \ No newline at end of file diff --git a/checkpoints/020000/pretrained_model/config.yaml b/checkpoints/020000/pretrained_model/config.yaml new file mode 100644 index 0000000000000000000000000000000000000000..563a3b43d03b173786f18cb7c01cfe6837efb60f --- /dev/null +++ b/checkpoints/020000/pretrained_model/config.yaml @@ -0,0 +1,234 @@ +resume: false +device: cuda +use_amp: false +seed: 1000 +dataset_repo_id: zijian2022/llmtest107 +video_backend: pyav +training: + offline_steps: 80000 + num_workers: 4 + batch_size: 8 + eval_freq: -1 + log_freq: 100 + save_checkpoint: true + save_freq: 10000 + online_steps: 0 + online_rollout_n_episodes: 1 + online_rollout_batch_size: 1 + online_steps_between_rollouts: 1 + online_sampling_ratio: 0.5 + online_env_seed: null + online_buffer_capacity: null + online_buffer_seed_size: 0 + do_online_rollout_async: false + image_transforms: + enable: false + max_num_transforms: 3 + random_order: false + brightness: + weight: 1 + min_max: + - 0.8 + - 1.2 + contrast: + weight: 1 + min_max: + - 0.8 + - 1.2 + saturation: + weight: 1 + min_max: + - 0.5 + - 1.5 + hue: + weight: 1 + min_max: + - -0.05 + - 0.05 + sharpness: + weight: 1 + min_max: + - 0.8 + - 1.2 + lr: 1.0e-05 + lr_backbone: 1.0e-05 + weight_decay: 0.0001 + grad_clip_norm: 10 + delta_timestamps: + action: + - 0.0 + - 0.03333333333333333 + - 0.06666666666666667 + - 0.1 + - 0.13333333333333333 + - 0.16666666666666666 + - 0.2 + - 0.23333333333333334 + - 0.26666666666666666 + - 0.3 + - 0.3333333333333333 + - 0.36666666666666664 + - 0.4 + - 0.43333333333333335 + - 0.4666666666666667 + - 0.5 + - 0.5333333333333333 + - 0.5666666666666667 + - 0.6 + - 0.6333333333333333 + - 0.6666666666666666 + - 0.7 + - 0.7333333333333333 + - 0.7666666666666667 + - 0.8 + - 0.8333333333333334 + - 0.8666666666666667 + - 0.9 + - 0.9333333333333333 + - 0.9666666666666667 + - 1.0 + - 1.0333333333333334 + - 1.0666666666666667 + - 1.1 + - 1.1333333333333333 + - 1.1666666666666667 + - 1.2 + - 1.2333333333333334 + - 1.2666666666666666 + - 1.3 + - 1.3333333333333333 + - 1.3666666666666667 + - 1.4 + - 1.4333333333333333 + - 1.4666666666666666 + - 1.5 + - 1.5333333333333334 + - 1.5666666666666667 + - 1.6 + - 1.6333333333333333 + - 1.6666666666666667 + - 1.7 + - 1.7333333333333334 + - 1.7666666666666666 + - 1.8 + - 1.8333333333333333 + - 1.8666666666666667 + - 1.9 + - 1.9333333333333333 + - 1.9666666666666666 + - 2.0 + - 2.033333333333333 + - 2.066666666666667 + - 2.1 + - 2.1333333333333333 + - 2.1666666666666665 + - 2.2 + - 2.2333333333333334 + - 2.2666666666666666 + - 2.3 + - 2.3333333333333335 + - 2.3666666666666667 + - 2.4 + - 2.433333333333333 + - 2.466666666666667 + - 2.5 + - 2.533333333333333 + - 2.566666666666667 + - 2.6 + - 2.6333333333333333 + - 2.6666666666666665 + - 2.7 + - 2.7333333333333334 + - 2.7666666666666666 + - 2.8 + - 2.8333333333333335 + - 2.8666666666666667 + - 2.9 + - 2.933333333333333 + - 2.966666666666667 + - 3.0 + - 3.033333333333333 + - 3.066666666666667 + - 3.1 + - 3.1333333333333333 + - 3.1666666666666665 + - 3.2 + - 3.2333333333333334 + - 3.2666666666666666 + - 3.3 +eval: + n_episodes: 50 + batch_size: 50 + use_async_envs: false +wandb: + enable: true + disable_artifact: false + project: lerobot + notes: '' +fps: 30 +env: + name: real_world + task: null + state_dim: 6 + action_dim: 6 + fps: ${fps} +override_dataset_stats: + observation.images.laptop: + mean: + - - - 0.485 + - - - 0.456 + - - - 0.406 + std: + - - - 0.229 + - - - 0.224 + - - - 0.225 + observation.images.phone: + mean: + - - - 0.485 + - - - 0.456 + - - - 0.406 + std: + - - - 0.229 + - - - 0.224 + - - - 0.225 +policy: + name: act + n_obs_steps: 1 + chunk_size: 100 + n_action_steps: 100 + input_shapes: + observation.images.laptop: + - 3 + - 480 + - 640 + observation.images.phone: + - 3 + - 480 + - 640 + observation.state: + - ${env.state_dim} + output_shapes: + action: + - ${env.action_dim} + input_normalization_modes: + observation.images.laptop: mean_std + observation.images.phone: mean_std + observation.state: mean_std + output_normalization_modes: + action: mean_std + vision_backbone: resnet18 + pretrained_backbone_weights: ResNet18_Weights.IMAGENET1K_V1 + replace_final_stride_with_dilation: false + pre_norm: false + dim_model: 512 + n_heads: 8 + dim_feedforward: 3200 + feedforward_activation: relu + n_encoder_layers: 4 + n_decoder_layers: 1 + use_vae: true + latent_dim: 32 + n_vae_encoder_layers: 4 + temporal_ensemble_coeff: null + dropout: 0.1 + kl_weight: 10.0 diff --git a/checkpoints/020000/pretrained_model/model.safetensors b/checkpoints/020000/pretrained_model/model.safetensors new file mode 100644 index 0000000000000000000000000000000000000000..724f13ecfe94ddc45bfafe29d0b4a50284ccad87 --- /dev/null +++ b/checkpoints/020000/pretrained_model/model.safetensors @@ -0,0 +1,3 @@ +version https://git-lfs.github.com/spec/v1 +oid sha256:b948b9bd339525c6fcebac5c69f53f2e0111f264ae256ae157d03571834b6aef +size 206701072 diff --git a/checkpoints/020000/training_state.pth b/checkpoints/020000/training_state.pth new file mode 100644 index 0000000000000000000000000000000000000000..655c09f7e0a85b46ccaa6f014db7c93c6946a4b3 --- /dev/null +++ b/checkpoints/020000/training_state.pth @@ -0,0 +1,3 @@ +version https://git-lfs.github.com/spec/v1 +oid sha256:2fc33f0117fb6c8ea8907e6dfea4600fe4a172e6b1ad26010397a59f291954a4 +size 412921871 diff --git a/checkpoints/030000/pretrained_model/README.md b/checkpoints/030000/pretrained_model/README.md new file mode 100644 index 0000000000000000000000000000000000000000..7237e8fd20e05ac81c927bfebcf96098b62cc63a --- /dev/null +++ b/checkpoints/030000/pretrained_model/README.md @@ -0,0 +1,12 @@ +--- +library_name: lerobot +tags: +- act +- model_hub_mixin +- pytorch_model_hub_mixin +- robotics +--- + +This model has been pushed to the Hub using the [PytorchModelHubMixin](https://huggingface.co/docs/huggingface_hub/package_reference/mixins#huggingface_hub.PyTorchModelHubMixin) integration: +- Library: https://github.com/huggingface/lerobot +- Docs: [More Information Needed] \ No newline at end of file diff --git a/checkpoints/030000/pretrained_model/config.json b/checkpoints/030000/pretrained_model/config.json new file mode 100644 index 0000000000000000000000000000000000000000..17f329301e46b277677c55fc30a30ae177e59984 --- /dev/null +++ b/checkpoints/030000/pretrained_model/config.json @@ -0,0 +1,49 @@ +{ + "chunk_size": 100, + "dim_feedforward": 3200, + "dim_model": 512, + "dropout": 0.1, + "feedforward_activation": "relu", + "input_normalization_modes": { + "observation.images.laptop": "mean_std", + "observation.images.phone": "mean_std", + "observation.state": "mean_std" + }, + "input_shapes": { + "observation.images.laptop": [ + 3, + 480, + 640 + ], + "observation.images.phone": [ + 3, + 480, + 640 + ], + "observation.state": [ + 6 + ] + }, + "kl_weight": 10.0, + "latent_dim": 32, + "n_action_steps": 100, + "n_decoder_layers": 1, + "n_encoder_layers": 4, + "n_heads": 8, + "n_obs_steps": 1, + "n_vae_encoder_layers": 4, + "output_normalization_modes": { + "action": "mean_std" + }, + "output_shapes": { + "action": [ + 6 + ] + }, + "pre_norm": false, + "pretrained_backbone_weights": "ResNet18_Weights.IMAGENET1K_V1", + "replace_final_stride_with_dilation": false, + "temporal_ensemble_coeff": null, + "use_vae": true, + "vision_backbone": "resnet18" +} \ No newline at end of file diff --git a/checkpoints/030000/pretrained_model/config.yaml b/checkpoints/030000/pretrained_model/config.yaml new file mode 100644 index 0000000000000000000000000000000000000000..563a3b43d03b173786f18cb7c01cfe6837efb60f --- /dev/null +++ b/checkpoints/030000/pretrained_model/config.yaml @@ -0,0 +1,234 @@ +resume: false +device: cuda +use_amp: false +seed: 1000 +dataset_repo_id: zijian2022/llmtest107 +video_backend: pyav +training: + offline_steps: 80000 + num_workers: 4 + batch_size: 8 + eval_freq: -1 + log_freq: 100 + save_checkpoint: true + save_freq: 10000 + online_steps: 0 + online_rollout_n_episodes: 1 + online_rollout_batch_size: 1 + online_steps_between_rollouts: 1 + online_sampling_ratio: 0.5 + online_env_seed: null + online_buffer_capacity: null + online_buffer_seed_size: 0 + do_online_rollout_async: false + image_transforms: + enable: false + max_num_transforms: 3 + random_order: false + brightness: + weight: 1 + min_max: + - 0.8 + - 1.2 + contrast: + weight: 1 + min_max: + - 0.8 + - 1.2 + saturation: + weight: 1 + min_max: + - 0.5 + - 1.5 + hue: + weight: 1 + min_max: + - -0.05 + - 0.05 + sharpness: + weight: 1 + min_max: + - 0.8 + - 1.2 + lr: 1.0e-05 + lr_backbone: 1.0e-05 + weight_decay: 0.0001 + grad_clip_norm: 10 + delta_timestamps: + action: + - 0.0 + - 0.03333333333333333 + - 0.06666666666666667 + - 0.1 + - 0.13333333333333333 + - 0.16666666666666666 + - 0.2 + - 0.23333333333333334 + - 0.26666666666666666 + - 0.3 + - 0.3333333333333333 + - 0.36666666666666664 + - 0.4 + - 0.43333333333333335 + - 0.4666666666666667 + - 0.5 + - 0.5333333333333333 + - 0.5666666666666667 + - 0.6 + - 0.6333333333333333 + - 0.6666666666666666 + - 0.7 + - 0.7333333333333333 + - 0.7666666666666667 + - 0.8 + - 0.8333333333333334 + - 0.8666666666666667 + - 0.9 + - 0.9333333333333333 + - 0.9666666666666667 + - 1.0 + - 1.0333333333333334 + - 1.0666666666666667 + - 1.1 + - 1.1333333333333333 + - 1.1666666666666667 + - 1.2 + - 1.2333333333333334 + - 1.2666666666666666 + - 1.3 + - 1.3333333333333333 + - 1.3666666666666667 + - 1.4 + - 1.4333333333333333 + - 1.4666666666666666 + - 1.5 + - 1.5333333333333334 + - 1.5666666666666667 + - 1.6 + - 1.6333333333333333 + - 1.6666666666666667 + - 1.7 + - 1.7333333333333334 + - 1.7666666666666666 + - 1.8 + - 1.8333333333333333 + - 1.8666666666666667 + - 1.9 + - 1.9333333333333333 + - 1.9666666666666666 + - 2.0 + - 2.033333333333333 + - 2.066666666666667 + - 2.1 + - 2.1333333333333333 + - 2.1666666666666665 + - 2.2 + - 2.2333333333333334 + - 2.2666666666666666 + - 2.3 + - 2.3333333333333335 + - 2.3666666666666667 + - 2.4 + - 2.433333333333333 + - 2.466666666666667 + - 2.5 + - 2.533333333333333 + - 2.566666666666667 + - 2.6 + - 2.6333333333333333 + - 2.6666666666666665 + - 2.7 + - 2.7333333333333334 + - 2.7666666666666666 + - 2.8 + - 2.8333333333333335 + - 2.8666666666666667 + - 2.9 + - 2.933333333333333 + - 2.966666666666667 + - 3.0 + - 3.033333333333333 + - 3.066666666666667 + - 3.1 + - 3.1333333333333333 + - 3.1666666666666665 + - 3.2 + - 3.2333333333333334 + - 3.2666666666666666 + - 3.3 +eval: + n_episodes: 50 + batch_size: 50 + use_async_envs: false +wandb: + enable: true + disable_artifact: false + project: lerobot + notes: '' +fps: 30 +env: + name: real_world + task: null + state_dim: 6 + action_dim: 6 + fps: ${fps} +override_dataset_stats: + observation.images.laptop: + mean: + - - - 0.485 + - - - 0.456 + - - - 0.406 + std: + - - - 0.229 + - - - 0.224 + - - - 0.225 + observation.images.phone: + mean: + - - - 0.485 + - - - 0.456 + - - - 0.406 + std: + - - - 0.229 + - - - 0.224 + - - - 0.225 +policy: + name: act + n_obs_steps: 1 + chunk_size: 100 + n_action_steps: 100 + input_shapes: + observation.images.laptop: + - 3 + - 480 + - 640 + observation.images.phone: + - 3 + - 480 + - 640 + observation.state: + - ${env.state_dim} + output_shapes: + action: + - ${env.action_dim} + input_normalization_modes: + observation.images.laptop: mean_std + observation.images.phone: mean_std + observation.state: mean_std + output_normalization_modes: + action: mean_std + vision_backbone: resnet18 + pretrained_backbone_weights: ResNet18_Weights.IMAGENET1K_V1 + replace_final_stride_with_dilation: false + pre_norm: false + dim_model: 512 + n_heads: 8 + dim_feedforward: 3200 + feedforward_activation: relu + n_encoder_layers: 4 + n_decoder_layers: 1 + use_vae: true + latent_dim: 32 + n_vae_encoder_layers: 4 + temporal_ensemble_coeff: null + dropout: 0.1 + kl_weight: 10.0 diff --git a/checkpoints/030000/pretrained_model/model.safetensors b/checkpoints/030000/pretrained_model/model.safetensors new file mode 100644 index 0000000000000000000000000000000000000000..f5d14072d226104fbf99709b12ed1e3fe53e90b4 --- /dev/null +++ b/checkpoints/030000/pretrained_model/model.safetensors @@ -0,0 +1,3 @@ +version https://git-lfs.github.com/spec/v1 +oid sha256:57ef204268bf2c01669995a2ab24d2e01e17f31d00048d751c86d91e5a6728d6 +size 206701072 diff --git a/checkpoints/030000/training_state.pth b/checkpoints/030000/training_state.pth new file mode 100644 index 0000000000000000000000000000000000000000..2047169756fa00455fe1e9f267c6fb1fd52155e9 --- /dev/null +++ b/checkpoints/030000/training_state.pth @@ -0,0 +1,3 @@ +version https://git-lfs.github.com/spec/v1 +oid sha256:6995ced07e9b409326437d73f175d8a863a71689e32bd91a72a5ef7a623cff87 +size 412921871 diff --git a/checkpoints/040000/pretrained_model/README.md b/checkpoints/040000/pretrained_model/README.md new file mode 100644 index 0000000000000000000000000000000000000000..7237e8fd20e05ac81c927bfebcf96098b62cc63a --- /dev/null +++ b/checkpoints/040000/pretrained_model/README.md @@ -0,0 +1,12 @@ +--- +library_name: lerobot +tags: +- act +- model_hub_mixin +- pytorch_model_hub_mixin +- robotics +--- + +This model has been pushed to the Hub using the [PytorchModelHubMixin](https://huggingface.co/docs/huggingface_hub/package_reference/mixins#huggingface_hub.PyTorchModelHubMixin) integration: +- Library: https://github.com/huggingface/lerobot +- Docs: [More Information Needed] \ No newline at end of file diff --git a/checkpoints/040000/pretrained_model/config.json b/checkpoints/040000/pretrained_model/config.json new file mode 100644 index 0000000000000000000000000000000000000000..17f329301e46b277677c55fc30a30ae177e59984 --- /dev/null +++ b/checkpoints/040000/pretrained_model/config.json @@ -0,0 +1,49 @@ +{ + "chunk_size": 100, + "dim_feedforward": 3200, + "dim_model": 512, + "dropout": 0.1, + "feedforward_activation": "relu", + "input_normalization_modes": { + "observation.images.laptop": "mean_std", + "observation.images.phone": "mean_std", + "observation.state": "mean_std" + }, + "input_shapes": { + "observation.images.laptop": [ + 3, + 480, + 640 + ], + "observation.images.phone": [ + 3, + 480, + 640 + ], + "observation.state": [ + 6 + ] + }, + "kl_weight": 10.0, + "latent_dim": 32, + "n_action_steps": 100, + "n_decoder_layers": 1, + "n_encoder_layers": 4, + "n_heads": 8, + "n_obs_steps": 1, + "n_vae_encoder_layers": 4, + "output_normalization_modes": { + "action": "mean_std" + }, + "output_shapes": { + "action": [ + 6 + ] + }, + "pre_norm": false, + "pretrained_backbone_weights": "ResNet18_Weights.IMAGENET1K_V1", + "replace_final_stride_with_dilation": false, + "temporal_ensemble_coeff": null, + "use_vae": true, + "vision_backbone": "resnet18" +} \ No newline at end of file diff --git a/checkpoints/040000/pretrained_model/config.yaml b/checkpoints/040000/pretrained_model/config.yaml new file mode 100644 index 0000000000000000000000000000000000000000..563a3b43d03b173786f18cb7c01cfe6837efb60f --- /dev/null +++ b/checkpoints/040000/pretrained_model/config.yaml @@ -0,0 +1,234 @@ +resume: false +device: cuda +use_amp: false +seed: 1000 +dataset_repo_id: zijian2022/llmtest107 +video_backend: pyav +training: + offline_steps: 80000 + num_workers: 4 + batch_size: 8 + eval_freq: -1 + log_freq: 100 + save_checkpoint: true + save_freq: 10000 + online_steps: 0 + online_rollout_n_episodes: 1 + online_rollout_batch_size: 1 + online_steps_between_rollouts: 1 + online_sampling_ratio: 0.5 + online_env_seed: null + online_buffer_capacity: null + online_buffer_seed_size: 0 + do_online_rollout_async: false + image_transforms: + enable: false + max_num_transforms: 3 + random_order: false + brightness: + weight: 1 + min_max: + - 0.8 + - 1.2 + contrast: + weight: 1 + min_max: + - 0.8 + - 1.2 + saturation: + weight: 1 + min_max: + - 0.5 + - 1.5 + hue: + weight: 1 + min_max: + - -0.05 + - 0.05 + sharpness: + weight: 1 + min_max: + - 0.8 + - 1.2 + lr: 1.0e-05 + lr_backbone: 1.0e-05 + weight_decay: 0.0001 + grad_clip_norm: 10 + delta_timestamps: + action: + - 0.0 + - 0.03333333333333333 + - 0.06666666666666667 + - 0.1 + - 0.13333333333333333 + - 0.16666666666666666 + - 0.2 + - 0.23333333333333334 + - 0.26666666666666666 + - 0.3 + - 0.3333333333333333 + - 0.36666666666666664 + - 0.4 + - 0.43333333333333335 + - 0.4666666666666667 + - 0.5 + - 0.5333333333333333 + - 0.5666666666666667 + - 0.6 + - 0.6333333333333333 + - 0.6666666666666666 + - 0.7 + - 0.7333333333333333 + - 0.7666666666666667 + - 0.8 + - 0.8333333333333334 + - 0.8666666666666667 + - 0.9 + - 0.9333333333333333 + - 0.9666666666666667 + - 1.0 + - 1.0333333333333334 + - 1.0666666666666667 + - 1.1 + - 1.1333333333333333 + - 1.1666666666666667 + - 1.2 + - 1.2333333333333334 + - 1.2666666666666666 + - 1.3 + - 1.3333333333333333 + - 1.3666666666666667 + - 1.4 + - 1.4333333333333333 + - 1.4666666666666666 + - 1.5 + - 1.5333333333333334 + - 1.5666666666666667 + - 1.6 + - 1.6333333333333333 + - 1.6666666666666667 + - 1.7 + - 1.7333333333333334 + - 1.7666666666666666 + - 1.8 + - 1.8333333333333333 + - 1.8666666666666667 + - 1.9 + - 1.9333333333333333 + - 1.9666666666666666 + - 2.0 + - 2.033333333333333 + - 2.066666666666667 + - 2.1 + - 2.1333333333333333 + - 2.1666666666666665 + - 2.2 + - 2.2333333333333334 + - 2.2666666666666666 + - 2.3 + - 2.3333333333333335 + - 2.3666666666666667 + - 2.4 + - 2.433333333333333 + - 2.466666666666667 + - 2.5 + - 2.533333333333333 + - 2.566666666666667 + - 2.6 + - 2.6333333333333333 + - 2.6666666666666665 + - 2.7 + - 2.7333333333333334 + - 2.7666666666666666 + - 2.8 + - 2.8333333333333335 + - 2.8666666666666667 + - 2.9 + - 2.933333333333333 + - 2.966666666666667 + - 3.0 + - 3.033333333333333 + - 3.066666666666667 + - 3.1 + - 3.1333333333333333 + - 3.1666666666666665 + - 3.2 + - 3.2333333333333334 + - 3.2666666666666666 + - 3.3 +eval: + n_episodes: 50 + batch_size: 50 + use_async_envs: false +wandb: + enable: true + disable_artifact: false + project: lerobot + notes: '' +fps: 30 +env: + name: real_world + task: null + state_dim: 6 + action_dim: 6 + fps: ${fps} +override_dataset_stats: + observation.images.laptop: + mean: + - - - 0.485 + - - - 0.456 + - - - 0.406 + std: + - - - 0.229 + - - - 0.224 + - - - 0.225 + observation.images.phone: + mean: + - - - 0.485 + - - - 0.456 + - - - 0.406 + std: + - - - 0.229 + - - - 0.224 + - - - 0.225 +policy: + name: act + n_obs_steps: 1 + chunk_size: 100 + n_action_steps: 100 + input_shapes: + observation.images.laptop: + - 3 + - 480 + - 640 + observation.images.phone: + - 3 + - 480 + - 640 + observation.state: + - ${env.state_dim} + output_shapes: + action: + - ${env.action_dim} + input_normalization_modes: + observation.images.laptop: mean_std + observation.images.phone: mean_std + observation.state: mean_std + output_normalization_modes: + action: mean_std + vision_backbone: resnet18 + pretrained_backbone_weights: ResNet18_Weights.IMAGENET1K_V1 + replace_final_stride_with_dilation: false + pre_norm: false + dim_model: 512 + n_heads: 8 + dim_feedforward: 3200 + feedforward_activation: relu + n_encoder_layers: 4 + n_decoder_layers: 1 + use_vae: true + latent_dim: 32 + n_vae_encoder_layers: 4 + temporal_ensemble_coeff: null + dropout: 0.1 + kl_weight: 10.0 diff --git a/checkpoints/040000/pretrained_model/model.safetensors b/checkpoints/040000/pretrained_model/model.safetensors new file mode 100644 index 0000000000000000000000000000000000000000..f3a92474857274f799b2ee776a0bdcbb41a7a167 --- /dev/null +++ b/checkpoints/040000/pretrained_model/model.safetensors @@ -0,0 +1,3 @@ +version https://git-lfs.github.com/spec/v1 +oid sha256:6ab6a04d9a32bacdf6ef2015a07f0d98e93235389100e25e4549b7b1f8e2da70 +size 206701072 diff --git a/checkpoints/040000/training_state.pth b/checkpoints/040000/training_state.pth new file mode 100644 index 0000000000000000000000000000000000000000..b2ba8e38cb894db2ef9d4ba073e6144f135c5e0f --- /dev/null +++ b/checkpoints/040000/training_state.pth @@ -0,0 +1,3 @@ +version https://git-lfs.github.com/spec/v1 +oid sha256:66a557074bca8dce771b76a26b177e3aaa3537a6de89a0b1b91be44d8314ae1d +size 412921871 diff --git a/checkpoints/050000/pretrained_model/README.md b/checkpoints/050000/pretrained_model/README.md new file mode 100644 index 0000000000000000000000000000000000000000..7237e8fd20e05ac81c927bfebcf96098b62cc63a --- /dev/null +++ b/checkpoints/050000/pretrained_model/README.md @@ -0,0 +1,12 @@ +--- +library_name: lerobot +tags: +- act +- model_hub_mixin +- pytorch_model_hub_mixin +- robotics +--- + +This model has been pushed to the Hub using the [PytorchModelHubMixin](https://huggingface.co/docs/huggingface_hub/package_reference/mixins#huggingface_hub.PyTorchModelHubMixin) integration: +- Library: https://github.com/huggingface/lerobot +- Docs: [More Information Needed] \ No newline at end of file diff --git a/checkpoints/050000/pretrained_model/config.json b/checkpoints/050000/pretrained_model/config.json new file mode 100644 index 0000000000000000000000000000000000000000..17f329301e46b277677c55fc30a30ae177e59984 --- /dev/null +++ b/checkpoints/050000/pretrained_model/config.json @@ -0,0 +1,49 @@ +{ + "chunk_size": 100, + "dim_feedforward": 3200, + "dim_model": 512, + "dropout": 0.1, + "feedforward_activation": "relu", + "input_normalization_modes": { + "observation.images.laptop": "mean_std", + "observation.images.phone": "mean_std", + "observation.state": "mean_std" + }, + "input_shapes": { + "observation.images.laptop": [ + 3, + 480, + 640 + ], + "observation.images.phone": [ + 3, + 480, + 640 + ], + "observation.state": [ + 6 + ] + }, + "kl_weight": 10.0, + "latent_dim": 32, + "n_action_steps": 100, + "n_decoder_layers": 1, + "n_encoder_layers": 4, + "n_heads": 8, + "n_obs_steps": 1, + "n_vae_encoder_layers": 4, + "output_normalization_modes": { + "action": "mean_std" + }, + "output_shapes": { + "action": [ + 6 + ] + }, + "pre_norm": false, + "pretrained_backbone_weights": "ResNet18_Weights.IMAGENET1K_V1", + "replace_final_stride_with_dilation": false, + "temporal_ensemble_coeff": null, + "use_vae": true, + "vision_backbone": "resnet18" +} \ No newline at end of file diff --git a/checkpoints/050000/pretrained_model/config.yaml b/checkpoints/050000/pretrained_model/config.yaml new file mode 100644 index 0000000000000000000000000000000000000000..563a3b43d03b173786f18cb7c01cfe6837efb60f --- /dev/null +++ b/checkpoints/050000/pretrained_model/config.yaml @@ -0,0 +1,234 @@ +resume: false +device: cuda +use_amp: false +seed: 1000 +dataset_repo_id: zijian2022/llmtest107 +video_backend: pyav +training: + offline_steps: 80000 + num_workers: 4 + batch_size: 8 + eval_freq: -1 + log_freq: 100 + save_checkpoint: true + save_freq: 10000 + online_steps: 0 + online_rollout_n_episodes: 1 + online_rollout_batch_size: 1 + online_steps_between_rollouts: 1 + online_sampling_ratio: 0.5 + online_env_seed: null + online_buffer_capacity: null + online_buffer_seed_size: 0 + do_online_rollout_async: false + image_transforms: + enable: false + max_num_transforms: 3 + random_order: false + brightness: + weight: 1 + min_max: + - 0.8 + - 1.2 + contrast: + weight: 1 + min_max: + - 0.8 + - 1.2 + saturation: + weight: 1 + min_max: + - 0.5 + - 1.5 + hue: + weight: 1 + min_max: + - -0.05 + - 0.05 + sharpness: + weight: 1 + min_max: + - 0.8 + - 1.2 + lr: 1.0e-05 + lr_backbone: 1.0e-05 + weight_decay: 0.0001 + grad_clip_norm: 10 + delta_timestamps: + action: + - 0.0 + - 0.03333333333333333 + - 0.06666666666666667 + - 0.1 + - 0.13333333333333333 + - 0.16666666666666666 + - 0.2 + - 0.23333333333333334 + - 0.26666666666666666 + - 0.3 + - 0.3333333333333333 + - 0.36666666666666664 + - 0.4 + - 0.43333333333333335 + - 0.4666666666666667 + - 0.5 + - 0.5333333333333333 + - 0.5666666666666667 + - 0.6 + - 0.6333333333333333 + - 0.6666666666666666 + - 0.7 + - 0.7333333333333333 + - 0.7666666666666667 + - 0.8 + - 0.8333333333333334 + - 0.8666666666666667 + - 0.9 + - 0.9333333333333333 + - 0.9666666666666667 + - 1.0 + - 1.0333333333333334 + - 1.0666666666666667 + - 1.1 + - 1.1333333333333333 + - 1.1666666666666667 + - 1.2 + - 1.2333333333333334 + - 1.2666666666666666 + - 1.3 + - 1.3333333333333333 + - 1.3666666666666667 + - 1.4 + - 1.4333333333333333 + - 1.4666666666666666 + - 1.5 + - 1.5333333333333334 + - 1.5666666666666667 + - 1.6 + - 1.6333333333333333 + - 1.6666666666666667 + - 1.7 + - 1.7333333333333334 + - 1.7666666666666666 + - 1.8 + - 1.8333333333333333 + - 1.8666666666666667 + - 1.9 + - 1.9333333333333333 + - 1.9666666666666666 + - 2.0 + - 2.033333333333333 + - 2.066666666666667 + - 2.1 + - 2.1333333333333333 + - 2.1666666666666665 + - 2.2 + - 2.2333333333333334 + - 2.2666666666666666 + - 2.3 + - 2.3333333333333335 + - 2.3666666666666667 + - 2.4 + - 2.433333333333333 + - 2.466666666666667 + - 2.5 + - 2.533333333333333 + - 2.566666666666667 + - 2.6 + - 2.6333333333333333 + - 2.6666666666666665 + - 2.7 + - 2.7333333333333334 + - 2.7666666666666666 + - 2.8 + - 2.8333333333333335 + - 2.8666666666666667 + - 2.9 + - 2.933333333333333 + - 2.966666666666667 + - 3.0 + - 3.033333333333333 + - 3.066666666666667 + - 3.1 + - 3.1333333333333333 + - 3.1666666666666665 + - 3.2 + - 3.2333333333333334 + - 3.2666666666666666 + - 3.3 +eval: + n_episodes: 50 + batch_size: 50 + use_async_envs: false +wandb: + enable: true + disable_artifact: false + project: lerobot + notes: '' +fps: 30 +env: + name: real_world + task: null + state_dim: 6 + action_dim: 6 + fps: ${fps} +override_dataset_stats: + observation.images.laptop: + mean: + - - - 0.485 + - - - 0.456 + - - - 0.406 + std: + - - - 0.229 + - - - 0.224 + - - - 0.225 + observation.images.phone: + mean: + - - - 0.485 + - - - 0.456 + - - - 0.406 + std: + - - - 0.229 + - - - 0.224 + - - - 0.225 +policy: + name: act + n_obs_steps: 1 + chunk_size: 100 + n_action_steps: 100 + input_shapes: + observation.images.laptop: + - 3 + - 480 + - 640 + observation.images.phone: + - 3 + - 480 + - 640 + observation.state: + - ${env.state_dim} + output_shapes: + action: + - ${env.action_dim} + input_normalization_modes: + observation.images.laptop: mean_std + observation.images.phone: mean_std + observation.state: mean_std + output_normalization_modes: + action: mean_std + vision_backbone: resnet18 + pretrained_backbone_weights: ResNet18_Weights.IMAGENET1K_V1 + replace_final_stride_with_dilation: false + pre_norm: false + dim_model: 512 + n_heads: 8 + dim_feedforward: 3200 + feedforward_activation: relu + n_encoder_layers: 4 + n_decoder_layers: 1 + use_vae: true + latent_dim: 32 + n_vae_encoder_layers: 4 + temporal_ensemble_coeff: null + dropout: 0.1 + kl_weight: 10.0 diff --git a/checkpoints/050000/pretrained_model/model.safetensors b/checkpoints/050000/pretrained_model/model.safetensors new file mode 100644 index 0000000000000000000000000000000000000000..82ee51e9cf37c6d0eca1df4472fa22794867bf1d --- /dev/null +++ b/checkpoints/050000/pretrained_model/model.safetensors @@ -0,0 +1,3 @@ +version https://git-lfs.github.com/spec/v1 +oid sha256:9e3b6c4ecc3cb2593a57f4fdc3e777d9b27287855f5e36ada106a14ea30b0874 +size 206701072 diff --git a/checkpoints/050000/training_state.pth b/checkpoints/050000/training_state.pth new file mode 100644 index 0000000000000000000000000000000000000000..055c1e7dabdaaa54d5708a9b1b80372ba67c898b --- /dev/null +++ b/checkpoints/050000/training_state.pth @@ -0,0 +1,3 @@ +version https://git-lfs.github.com/spec/v1 +oid sha256:2e07538029891154b82e3b717302806e087f8b5ed2b82e9c029836e52c4920eb +size 412921871 diff --git a/checkpoints/060000/pretrained_model/README.md b/checkpoints/060000/pretrained_model/README.md new file mode 100644 index 0000000000000000000000000000000000000000..7237e8fd20e05ac81c927bfebcf96098b62cc63a --- /dev/null +++ b/checkpoints/060000/pretrained_model/README.md @@ -0,0 +1,12 @@ +--- +library_name: lerobot +tags: +- act +- model_hub_mixin +- pytorch_model_hub_mixin +- robotics +--- + +This model has been pushed to the Hub using the [PytorchModelHubMixin](https://huggingface.co/docs/huggingface_hub/package_reference/mixins#huggingface_hub.PyTorchModelHubMixin) integration: +- Library: https://github.com/huggingface/lerobot +- Docs: [More Information Needed] \ No newline at end of file diff --git a/checkpoints/060000/pretrained_model/config.json b/checkpoints/060000/pretrained_model/config.json new file mode 100644 index 0000000000000000000000000000000000000000..17f329301e46b277677c55fc30a30ae177e59984 --- /dev/null +++ b/checkpoints/060000/pretrained_model/config.json @@ -0,0 +1,49 @@ +{ + "chunk_size": 100, + "dim_feedforward": 3200, + "dim_model": 512, + "dropout": 0.1, + "feedforward_activation": "relu", + "input_normalization_modes": { + "observation.images.laptop": "mean_std", + "observation.images.phone": "mean_std", + "observation.state": "mean_std" + }, + "input_shapes": { + "observation.images.laptop": [ + 3, + 480, + 640 + ], + "observation.images.phone": [ + 3, + 480, + 640 + ], + "observation.state": [ + 6 + ] + }, + "kl_weight": 10.0, + "latent_dim": 32, + "n_action_steps": 100, + "n_decoder_layers": 1, + "n_encoder_layers": 4, + "n_heads": 8, + "n_obs_steps": 1, + "n_vae_encoder_layers": 4, + "output_normalization_modes": { + "action": "mean_std" + }, + "output_shapes": { + "action": [ + 6 + ] + }, + "pre_norm": false, + "pretrained_backbone_weights": "ResNet18_Weights.IMAGENET1K_V1", + "replace_final_stride_with_dilation": false, + "temporal_ensemble_coeff": null, + "use_vae": true, + "vision_backbone": "resnet18" +} \ No newline at end of file diff --git a/checkpoints/060000/pretrained_model/config.yaml b/checkpoints/060000/pretrained_model/config.yaml new file mode 100644 index 0000000000000000000000000000000000000000..563a3b43d03b173786f18cb7c01cfe6837efb60f --- /dev/null +++ b/checkpoints/060000/pretrained_model/config.yaml @@ -0,0 +1,234 @@ +resume: false +device: cuda +use_amp: false +seed: 1000 +dataset_repo_id: zijian2022/llmtest107 +video_backend: pyav +training: + offline_steps: 80000 + num_workers: 4 + batch_size: 8 + eval_freq: -1 + log_freq: 100 + save_checkpoint: true + save_freq: 10000 + online_steps: 0 + online_rollout_n_episodes: 1 + online_rollout_batch_size: 1 + online_steps_between_rollouts: 1 + online_sampling_ratio: 0.5 + online_env_seed: null + online_buffer_capacity: null + online_buffer_seed_size: 0 + do_online_rollout_async: false + image_transforms: + enable: false + max_num_transforms: 3 + random_order: false + brightness: + weight: 1 + min_max: + - 0.8 + - 1.2 + contrast: + weight: 1 + min_max: + - 0.8 + - 1.2 + saturation: + weight: 1 + min_max: + - 0.5 + - 1.5 + hue: + weight: 1 + min_max: + - -0.05 + - 0.05 + sharpness: + weight: 1 + min_max: + - 0.8 + - 1.2 + lr: 1.0e-05 + lr_backbone: 1.0e-05 + weight_decay: 0.0001 + grad_clip_norm: 10 + delta_timestamps: + action: + - 0.0 + - 0.03333333333333333 + - 0.06666666666666667 + - 0.1 + - 0.13333333333333333 + - 0.16666666666666666 + - 0.2 + - 0.23333333333333334 + - 0.26666666666666666 + - 0.3 + - 0.3333333333333333 + - 0.36666666666666664 + - 0.4 + - 0.43333333333333335 + - 0.4666666666666667 + - 0.5 + - 0.5333333333333333 + - 0.5666666666666667 + - 0.6 + - 0.6333333333333333 + - 0.6666666666666666 + - 0.7 + - 0.7333333333333333 + - 0.7666666666666667 + - 0.8 + - 0.8333333333333334 + - 0.8666666666666667 + - 0.9 + - 0.9333333333333333 + - 0.9666666666666667 + - 1.0 + - 1.0333333333333334 + - 1.0666666666666667 + - 1.1 + - 1.1333333333333333 + - 1.1666666666666667 + - 1.2 + - 1.2333333333333334 + - 1.2666666666666666 + - 1.3 + - 1.3333333333333333 + - 1.3666666666666667 + - 1.4 + - 1.4333333333333333 + - 1.4666666666666666 + - 1.5 + - 1.5333333333333334 + - 1.5666666666666667 + - 1.6 + - 1.6333333333333333 + - 1.6666666666666667 + - 1.7 + - 1.7333333333333334 + - 1.7666666666666666 + - 1.8 + - 1.8333333333333333 + - 1.8666666666666667 + - 1.9 + - 1.9333333333333333 + - 1.9666666666666666 + - 2.0 + - 2.033333333333333 + - 2.066666666666667 + - 2.1 + - 2.1333333333333333 + - 2.1666666666666665 + - 2.2 + - 2.2333333333333334 + - 2.2666666666666666 + - 2.3 + - 2.3333333333333335 + - 2.3666666666666667 + - 2.4 + - 2.433333333333333 + - 2.466666666666667 + - 2.5 + - 2.533333333333333 + - 2.566666666666667 + - 2.6 + - 2.6333333333333333 + - 2.6666666666666665 + - 2.7 + - 2.7333333333333334 + - 2.7666666666666666 + - 2.8 + - 2.8333333333333335 + - 2.8666666666666667 + - 2.9 + - 2.933333333333333 + - 2.966666666666667 + - 3.0 + - 3.033333333333333 + - 3.066666666666667 + - 3.1 + - 3.1333333333333333 + - 3.1666666666666665 + - 3.2 + - 3.2333333333333334 + - 3.2666666666666666 + - 3.3 +eval: + n_episodes: 50 + batch_size: 50 + use_async_envs: false +wandb: + enable: true + disable_artifact: false + project: lerobot + notes: '' +fps: 30 +env: + name: real_world + task: null + state_dim: 6 + action_dim: 6 + fps: ${fps} +override_dataset_stats: + observation.images.laptop: + mean: + - - - 0.485 + - - - 0.456 + - - - 0.406 + std: + - - - 0.229 + - - - 0.224 + - - - 0.225 + observation.images.phone: + mean: + - - - 0.485 + - - - 0.456 + - - - 0.406 + std: + - - - 0.229 + - - - 0.224 + - - - 0.225 +policy: + name: act + n_obs_steps: 1 + chunk_size: 100 + n_action_steps: 100 + input_shapes: + observation.images.laptop: + - 3 + - 480 + - 640 + observation.images.phone: + - 3 + - 480 + - 640 + observation.state: + - ${env.state_dim} + output_shapes: + action: + - ${env.action_dim} + input_normalization_modes: + observation.images.laptop: mean_std + observation.images.phone: mean_std + observation.state: mean_std + output_normalization_modes: + action: mean_std + vision_backbone: resnet18 + pretrained_backbone_weights: ResNet18_Weights.IMAGENET1K_V1 + replace_final_stride_with_dilation: false + pre_norm: false + dim_model: 512 + n_heads: 8 + dim_feedforward: 3200 + feedforward_activation: relu + n_encoder_layers: 4 + n_decoder_layers: 1 + use_vae: true + latent_dim: 32 + n_vae_encoder_layers: 4 + temporal_ensemble_coeff: null + dropout: 0.1 + kl_weight: 10.0 diff --git a/checkpoints/060000/pretrained_model/model.safetensors b/checkpoints/060000/pretrained_model/model.safetensors new file mode 100644 index 0000000000000000000000000000000000000000..c717ccbefb5e2c328b162f6531abd96c8a19e9ea --- /dev/null +++ b/checkpoints/060000/pretrained_model/model.safetensors @@ -0,0 +1,3 @@ +version https://git-lfs.github.com/spec/v1 +oid sha256:cb895c842e4836161625edde791795585d7399255dbb25b7b3fdbce5787c8675 +size 206701072 diff --git a/checkpoints/060000/training_state.pth b/checkpoints/060000/training_state.pth new file mode 100644 index 0000000000000000000000000000000000000000..6805e9c402a8c25240094a497585df3f48f38864 --- /dev/null +++ b/checkpoints/060000/training_state.pth @@ -0,0 +1,3 @@ +version https://git-lfs.github.com/spec/v1 +oid sha256:3ac0779da2f79ab56c0cfa5c70d3a991ade44ba258a137b25b12ec6fefba445b +size 412921871 diff --git a/checkpoints/070000/pretrained_model/README.md b/checkpoints/070000/pretrained_model/README.md new file mode 100644 index 0000000000000000000000000000000000000000..7237e8fd20e05ac81c927bfebcf96098b62cc63a --- /dev/null +++ b/checkpoints/070000/pretrained_model/README.md @@ -0,0 +1,12 @@ +--- +library_name: lerobot +tags: +- act +- model_hub_mixin +- pytorch_model_hub_mixin +- robotics +--- + +This model has been pushed to the Hub using the [PytorchModelHubMixin](https://huggingface.co/docs/huggingface_hub/package_reference/mixins#huggingface_hub.PyTorchModelHubMixin) integration: +- Library: https://github.com/huggingface/lerobot +- Docs: [More Information Needed] \ No newline at end of file diff --git a/checkpoints/070000/pretrained_model/config.json b/checkpoints/070000/pretrained_model/config.json new file mode 100644 index 0000000000000000000000000000000000000000..17f329301e46b277677c55fc30a30ae177e59984 --- /dev/null +++ b/checkpoints/070000/pretrained_model/config.json @@ -0,0 +1,49 @@ +{ + "chunk_size": 100, + "dim_feedforward": 3200, + "dim_model": 512, + "dropout": 0.1, + "feedforward_activation": "relu", + "input_normalization_modes": { + "observation.images.laptop": "mean_std", + "observation.images.phone": "mean_std", + "observation.state": "mean_std" + }, + "input_shapes": { + "observation.images.laptop": [ + 3, + 480, + 640 + ], + "observation.images.phone": [ + 3, + 480, + 640 + ], + "observation.state": [ + 6 + ] + }, + "kl_weight": 10.0, + "latent_dim": 32, + "n_action_steps": 100, + "n_decoder_layers": 1, + "n_encoder_layers": 4, + "n_heads": 8, + "n_obs_steps": 1, + "n_vae_encoder_layers": 4, + "output_normalization_modes": { + "action": "mean_std" + }, + "output_shapes": { + "action": [ + 6 + ] + }, + "pre_norm": false, + "pretrained_backbone_weights": "ResNet18_Weights.IMAGENET1K_V1", + "replace_final_stride_with_dilation": false, + "temporal_ensemble_coeff": null, + "use_vae": true, + "vision_backbone": "resnet18" +} \ No newline at end of file diff --git a/checkpoints/070000/pretrained_model/config.yaml b/checkpoints/070000/pretrained_model/config.yaml new file mode 100644 index 0000000000000000000000000000000000000000..563a3b43d03b173786f18cb7c01cfe6837efb60f --- /dev/null +++ b/checkpoints/070000/pretrained_model/config.yaml @@ -0,0 +1,234 @@ +resume: false +device: cuda +use_amp: false +seed: 1000 +dataset_repo_id: zijian2022/llmtest107 +video_backend: pyav +training: + offline_steps: 80000 + num_workers: 4 + batch_size: 8 + eval_freq: -1 + log_freq: 100 + save_checkpoint: true + save_freq: 10000 + online_steps: 0 + online_rollout_n_episodes: 1 + online_rollout_batch_size: 1 + online_steps_between_rollouts: 1 + online_sampling_ratio: 0.5 + online_env_seed: null + online_buffer_capacity: null + online_buffer_seed_size: 0 + do_online_rollout_async: false + image_transforms: + enable: false + max_num_transforms: 3 + random_order: false + brightness: + weight: 1 + min_max: + - 0.8 + - 1.2 + contrast: + weight: 1 + min_max: + - 0.8 + - 1.2 + saturation: + weight: 1 + min_max: + - 0.5 + - 1.5 + hue: + weight: 1 + min_max: + - -0.05 + - 0.05 + sharpness: + weight: 1 + min_max: + - 0.8 + - 1.2 + lr: 1.0e-05 + lr_backbone: 1.0e-05 + weight_decay: 0.0001 + grad_clip_norm: 10 + delta_timestamps: + action: + - 0.0 + - 0.03333333333333333 + - 0.06666666666666667 + - 0.1 + - 0.13333333333333333 + - 0.16666666666666666 + - 0.2 + - 0.23333333333333334 + - 0.26666666666666666 + - 0.3 + - 0.3333333333333333 + - 0.36666666666666664 + - 0.4 + - 0.43333333333333335 + - 0.4666666666666667 + - 0.5 + - 0.5333333333333333 + - 0.5666666666666667 + - 0.6 + - 0.6333333333333333 + - 0.6666666666666666 + - 0.7 + - 0.7333333333333333 + - 0.7666666666666667 + - 0.8 + - 0.8333333333333334 + - 0.8666666666666667 + - 0.9 + - 0.9333333333333333 + - 0.9666666666666667 + - 1.0 + - 1.0333333333333334 + - 1.0666666666666667 + - 1.1 + - 1.1333333333333333 + - 1.1666666666666667 + - 1.2 + - 1.2333333333333334 + - 1.2666666666666666 + - 1.3 + - 1.3333333333333333 + - 1.3666666666666667 + - 1.4 + - 1.4333333333333333 + - 1.4666666666666666 + - 1.5 + - 1.5333333333333334 + - 1.5666666666666667 + - 1.6 + - 1.6333333333333333 + - 1.6666666666666667 + - 1.7 + - 1.7333333333333334 + - 1.7666666666666666 + - 1.8 + - 1.8333333333333333 + - 1.8666666666666667 + - 1.9 + - 1.9333333333333333 + - 1.9666666666666666 + - 2.0 + - 2.033333333333333 + - 2.066666666666667 + - 2.1 + - 2.1333333333333333 + - 2.1666666666666665 + - 2.2 + - 2.2333333333333334 + - 2.2666666666666666 + - 2.3 + - 2.3333333333333335 + - 2.3666666666666667 + - 2.4 + - 2.433333333333333 + - 2.466666666666667 + - 2.5 + - 2.533333333333333 + - 2.566666666666667 + - 2.6 + - 2.6333333333333333 + - 2.6666666666666665 + - 2.7 + - 2.7333333333333334 + - 2.7666666666666666 + - 2.8 + - 2.8333333333333335 + - 2.8666666666666667 + - 2.9 + - 2.933333333333333 + - 2.966666666666667 + - 3.0 + - 3.033333333333333 + - 3.066666666666667 + - 3.1 + - 3.1333333333333333 + - 3.1666666666666665 + - 3.2 + - 3.2333333333333334 + - 3.2666666666666666 + - 3.3 +eval: + n_episodes: 50 + batch_size: 50 + use_async_envs: false +wandb: + enable: true + disable_artifact: false + project: lerobot + notes: '' +fps: 30 +env: + name: real_world + task: null + state_dim: 6 + action_dim: 6 + fps: ${fps} +override_dataset_stats: + observation.images.laptop: + mean: + - - - 0.485 + - - - 0.456 + - - - 0.406 + std: + - - - 0.229 + - - - 0.224 + - - - 0.225 + observation.images.phone: + mean: + - - - 0.485 + - - - 0.456 + - - - 0.406 + std: + - - - 0.229 + - - - 0.224 + - - - 0.225 +policy: + name: act + n_obs_steps: 1 + chunk_size: 100 + n_action_steps: 100 + input_shapes: + observation.images.laptop: + - 3 + - 480 + - 640 + observation.images.phone: + - 3 + - 480 + - 640 + observation.state: + - ${env.state_dim} + output_shapes: + action: + - ${env.action_dim} + input_normalization_modes: + observation.images.laptop: mean_std + observation.images.phone: mean_std + observation.state: mean_std + output_normalization_modes: + action: mean_std + vision_backbone: resnet18 + pretrained_backbone_weights: ResNet18_Weights.IMAGENET1K_V1 + replace_final_stride_with_dilation: false + pre_norm: false + dim_model: 512 + n_heads: 8 + dim_feedforward: 3200 + feedforward_activation: relu + n_encoder_layers: 4 + n_decoder_layers: 1 + use_vae: true + latent_dim: 32 + n_vae_encoder_layers: 4 + temporal_ensemble_coeff: null + dropout: 0.1 + kl_weight: 10.0 diff --git a/checkpoints/070000/pretrained_model/model.safetensors b/checkpoints/070000/pretrained_model/model.safetensors new file mode 100644 index 0000000000000000000000000000000000000000..04bca920b2c4d7cb3115e4dcb87dae56b6eac028 --- /dev/null +++ b/checkpoints/070000/pretrained_model/model.safetensors @@ -0,0 +1,3 @@ +version https://git-lfs.github.com/spec/v1 +oid sha256:3221ce4d94d234197644ef239e81f9ca71c4e30bb3ab287755ab7c49cdcdc77b +size 206701072 diff --git a/checkpoints/070000/training_state.pth b/checkpoints/070000/training_state.pth new file mode 100644 index 0000000000000000000000000000000000000000..76e29e0fa81aa927b77d2a131cc643b627ed81e7 --- /dev/null +++ b/checkpoints/070000/training_state.pth @@ -0,0 +1,3 @@ +version https://git-lfs.github.com/spec/v1 +oid sha256:2282ba2f76690e5ae78651c321df00a701c245e66fe4c6653a5c0774f488310f +size 412921871 diff --git a/checkpoints/080000/pretrained_model/README.md b/checkpoints/080000/pretrained_model/README.md new file mode 100644 index 0000000000000000000000000000000000000000..7237e8fd20e05ac81c927bfebcf96098b62cc63a --- /dev/null +++ b/checkpoints/080000/pretrained_model/README.md @@ -0,0 +1,12 @@ +--- +library_name: lerobot +tags: +- act +- model_hub_mixin +- pytorch_model_hub_mixin +- robotics +--- + +This model has been pushed to the Hub using the [PytorchModelHubMixin](https://huggingface.co/docs/huggingface_hub/package_reference/mixins#huggingface_hub.PyTorchModelHubMixin) integration: +- Library: https://github.com/huggingface/lerobot +- Docs: [More Information Needed] \ No newline at end of file diff --git a/checkpoints/080000/pretrained_model/config.json b/checkpoints/080000/pretrained_model/config.json new file mode 100644 index 0000000000000000000000000000000000000000..17f329301e46b277677c55fc30a30ae177e59984 --- /dev/null +++ b/checkpoints/080000/pretrained_model/config.json @@ -0,0 +1,49 @@ +{ + "chunk_size": 100, + "dim_feedforward": 3200, + "dim_model": 512, + "dropout": 0.1, + "feedforward_activation": "relu", + "input_normalization_modes": { + "observation.images.laptop": "mean_std", + "observation.images.phone": "mean_std", + "observation.state": "mean_std" + }, + "input_shapes": { + "observation.images.laptop": [ + 3, + 480, + 640 + ], + "observation.images.phone": [ + 3, + 480, + 640 + ], + "observation.state": [ + 6 + ] + }, + "kl_weight": 10.0, + "latent_dim": 32, + "n_action_steps": 100, + "n_decoder_layers": 1, + "n_encoder_layers": 4, + "n_heads": 8, + "n_obs_steps": 1, + "n_vae_encoder_layers": 4, + "output_normalization_modes": { + "action": "mean_std" + }, + "output_shapes": { + "action": [ + 6 + ] + }, + "pre_norm": false, + "pretrained_backbone_weights": "ResNet18_Weights.IMAGENET1K_V1", + "replace_final_stride_with_dilation": false, + "temporal_ensemble_coeff": null, + "use_vae": true, + "vision_backbone": "resnet18" +} \ No newline at end of file diff --git a/checkpoints/080000/pretrained_model/config.yaml b/checkpoints/080000/pretrained_model/config.yaml new file mode 100644 index 0000000000000000000000000000000000000000..563a3b43d03b173786f18cb7c01cfe6837efb60f --- /dev/null +++ b/checkpoints/080000/pretrained_model/config.yaml @@ -0,0 +1,234 @@ +resume: false +device: cuda +use_amp: false +seed: 1000 +dataset_repo_id: zijian2022/llmtest107 +video_backend: pyav +training: + offline_steps: 80000 + num_workers: 4 + batch_size: 8 + eval_freq: -1 + log_freq: 100 + save_checkpoint: true + save_freq: 10000 + online_steps: 0 + online_rollout_n_episodes: 1 + online_rollout_batch_size: 1 + online_steps_between_rollouts: 1 + online_sampling_ratio: 0.5 + online_env_seed: null + online_buffer_capacity: null + online_buffer_seed_size: 0 + do_online_rollout_async: false + image_transforms: + enable: false + max_num_transforms: 3 + random_order: false + brightness: + weight: 1 + min_max: + - 0.8 + - 1.2 + contrast: + weight: 1 + min_max: + - 0.8 + - 1.2 + saturation: + weight: 1 + min_max: + - 0.5 + - 1.5 + hue: + weight: 1 + min_max: + - -0.05 + - 0.05 + sharpness: + weight: 1 + min_max: + - 0.8 + - 1.2 + lr: 1.0e-05 + lr_backbone: 1.0e-05 + weight_decay: 0.0001 + grad_clip_norm: 10 + delta_timestamps: + action: + - 0.0 + - 0.03333333333333333 + - 0.06666666666666667 + - 0.1 + - 0.13333333333333333 + - 0.16666666666666666 + - 0.2 + - 0.23333333333333334 + - 0.26666666666666666 + - 0.3 + - 0.3333333333333333 + - 0.36666666666666664 + - 0.4 + - 0.43333333333333335 + - 0.4666666666666667 + - 0.5 + - 0.5333333333333333 + - 0.5666666666666667 + - 0.6 + - 0.6333333333333333 + - 0.6666666666666666 + - 0.7 + - 0.7333333333333333 + - 0.7666666666666667 + - 0.8 + - 0.8333333333333334 + - 0.8666666666666667 + - 0.9 + - 0.9333333333333333 + - 0.9666666666666667 + - 1.0 + - 1.0333333333333334 + - 1.0666666666666667 + - 1.1 + - 1.1333333333333333 + - 1.1666666666666667 + - 1.2 + - 1.2333333333333334 + - 1.2666666666666666 + - 1.3 + - 1.3333333333333333 + - 1.3666666666666667 + - 1.4 + - 1.4333333333333333 + - 1.4666666666666666 + - 1.5 + - 1.5333333333333334 + - 1.5666666666666667 + - 1.6 + - 1.6333333333333333 + - 1.6666666666666667 + - 1.7 + - 1.7333333333333334 + - 1.7666666666666666 + - 1.8 + - 1.8333333333333333 + - 1.8666666666666667 + - 1.9 + - 1.9333333333333333 + - 1.9666666666666666 + - 2.0 + - 2.033333333333333 + - 2.066666666666667 + - 2.1 + - 2.1333333333333333 + - 2.1666666666666665 + - 2.2 + - 2.2333333333333334 + - 2.2666666666666666 + - 2.3 + - 2.3333333333333335 + - 2.3666666666666667 + - 2.4 + - 2.433333333333333 + - 2.466666666666667 + - 2.5 + - 2.533333333333333 + - 2.566666666666667 + - 2.6 + - 2.6333333333333333 + - 2.6666666666666665 + - 2.7 + - 2.7333333333333334 + - 2.7666666666666666 + - 2.8 + - 2.8333333333333335 + - 2.8666666666666667 + - 2.9 + - 2.933333333333333 + - 2.966666666666667 + - 3.0 + - 3.033333333333333 + - 3.066666666666667 + - 3.1 + - 3.1333333333333333 + - 3.1666666666666665 + - 3.2 + - 3.2333333333333334 + - 3.2666666666666666 + - 3.3 +eval: + n_episodes: 50 + batch_size: 50 + use_async_envs: false +wandb: + enable: true + disable_artifact: false + project: lerobot + notes: '' +fps: 30 +env: + name: real_world + task: null + state_dim: 6 + action_dim: 6 + fps: ${fps} +override_dataset_stats: + observation.images.laptop: + mean: + - - - 0.485 + - - - 0.456 + - - - 0.406 + std: + - - - 0.229 + - - - 0.224 + - - - 0.225 + observation.images.phone: + mean: + - - - 0.485 + - - - 0.456 + - - - 0.406 + std: + - - - 0.229 + - - - 0.224 + - - - 0.225 +policy: + name: act + n_obs_steps: 1 + chunk_size: 100 + n_action_steps: 100 + input_shapes: + observation.images.laptop: + - 3 + - 480 + - 640 + observation.images.phone: + - 3 + - 480 + - 640 + observation.state: + - ${env.state_dim} + output_shapes: + action: + - ${env.action_dim} + input_normalization_modes: + observation.images.laptop: mean_std + observation.images.phone: mean_std + observation.state: mean_std + output_normalization_modes: + action: mean_std + vision_backbone: resnet18 + pretrained_backbone_weights: ResNet18_Weights.IMAGENET1K_V1 + replace_final_stride_with_dilation: false + pre_norm: false + dim_model: 512 + n_heads: 8 + dim_feedforward: 3200 + feedforward_activation: relu + n_encoder_layers: 4 + n_decoder_layers: 1 + use_vae: true + latent_dim: 32 + n_vae_encoder_layers: 4 + temporal_ensemble_coeff: null + dropout: 0.1 + kl_weight: 10.0 diff --git a/checkpoints/080000/pretrained_model/model.safetensors b/checkpoints/080000/pretrained_model/model.safetensors new file mode 100644 index 0000000000000000000000000000000000000000..5a97b55e21be29fe77d57b92f3e586d60ca0228a --- /dev/null +++ b/checkpoints/080000/pretrained_model/model.safetensors @@ -0,0 +1,3 @@ +version https://git-lfs.github.com/spec/v1 +oid sha256:0b47cd4a164cf1e0111b28a53f0a8a71f1052315f058a0a275cd6a71dab4d4f0 +size 206701072 diff --git a/checkpoints/080000/training_state.pth b/checkpoints/080000/training_state.pth new file mode 100644 index 0000000000000000000000000000000000000000..7e3c4fd518340b949a22cc6570189e6375081df0 --- /dev/null +++ b/checkpoints/080000/training_state.pth @@ -0,0 +1,3 @@ +version https://git-lfs.github.com/spec/v1 +oid sha256:992173d1260311a18a2fc414e147548117e5e9b53546c34a80478e3921ff1723 +size 412921871 diff --git a/wandb/run-20250311_210755-0twfntm6/files/config.yaml b/wandb/run-20250311_210755-0twfntm6/files/config.yaml new file mode 100644 index 0000000000000000000000000000000000000000..6423a936ec16b27e2ee5044a42ac4e095c8ccbb8 --- /dev/null +++ b/wandb/run-20250311_210755-0twfntm6/files/config.yaml @@ -0,0 +1,181 @@ +_wandb: + value: + cli_version: 0.19.1 + m: [] + python_version: 3.10.16 + t: + "1": + - 1 + - 41 + - 49 + - 50 + - 51 + - 55 + "2": + - 1 + - 41 + - 49 + - 50 + - 51 + - 55 + "3": + - 13 + - 15 + - 16 + - 23 + - 55 + - 61 + "4": 3.10.16 + "5": 0.19.1 + "8": + - 3 + - 5 + "12": 0.19.1 + "13": windows-amd64 +dataset_repo_id: + value: zijian2022/llmtest107 +device: + value: cuda +env: + value: + action_dim: 6 + fps: 30 + name: real_world + state_dim: 6 + task: null +eval: + value: + batch_size: 50 + n_episodes: 50 + use_async_envs: false +fps: + value: 30 +override_dataset_stats: + value: + observation.images.laptop: + mean: + - - - 0.485 + - - - 0.456 + - - - 0.406 + std: + - - - 0.229 + - - - 0.224 + - - - 0.225 + observation.images.phone: + mean: + - - - 0.485 + - - - 0.456 + - - - 0.406 + std: + - - - 0.229 + - - - 0.224 + - - - 0.225 +policy: + value: + chunk_size: 100 + dim_feedforward: 3200 + dim_model: 512 + dropout: 0.1 + feedforward_activation: relu + input_normalization_modes: + observation.images.laptop: mean_std + observation.images.phone: mean_std + observation.state: mean_std + input_shapes: + observation.images.laptop: + - 3 + - 480 + - 640 + observation.images.phone: + - 3 + - 480 + - 640 + observation.state: + - 6 + kl_weight: 10 + latent_dim: 32 + n_action_steps: 100 + n_decoder_layers: 1 + n_encoder_layers: 4 + n_heads: 8 + n_obs_steps: 1 + n_vae_encoder_layers: 4 + name: act + output_normalization_modes: + action: mean_std + output_shapes: + action: + - 6 + pre_norm: false + pretrained_backbone_weights: ResNet18_Weights.IMAGENET1K_V1 + replace_final_stride_with_dilation: false + temporal_ensemble_coeff: null + use_vae: true + vision_backbone: resnet18 +resume: + value: false +seed: + value: 1000 +training: + value: + batch_size: 8 + delta_timestamps: + action: '[i / 30 for i in range(100)]' + do_online_rollout_async: false + eval_freq: -1 + grad_clip_norm: 10 + image_transforms: + brightness: + min_max: + - 0.8 + - 1.2 + weight: 1 + contrast: + min_max: + - 0.8 + - 1.2 + weight: 1 + enable: false + hue: + min_max: + - -0.05 + - 0.05 + weight: 1 + max_num_transforms: 3 + random_order: false + saturation: + min_max: + - 0.5 + - 1.5 + weight: 1 + sharpness: + min_max: + - 0.8 + - 1.2 + weight: 1 + log_freq: 100 + lr: 1e-05 + lr_backbone: 1e-05 + num_workers: 4 + offline_steps: 80000 + online_buffer_capacity: null + online_buffer_seed_size: 0 + online_env_seed: null + online_rollout_batch_size: 1 + online_rollout_n_episodes: 1 + online_sampling_ratio: 0.5 + online_steps: 0 + online_steps_between_rollouts: 1 + save_checkpoint: true + save_freq: 10000 + weight_decay: 0.0001 +use_amp: + value: false +video_backend: + value: pyav +wandb: + value: + disable_artifact: false + enable: true + notes: "" + project: lerobot diff --git a/wandb/run-20250311_210755-0twfntm6/files/output.log b/wandb/run-20250311_210755-0twfntm6/files/output.log new file mode 100644 index 0000000000000000000000000000000000000000..9852511aaa4d87e6cb023105ad5db91b5fa46265 --- /dev/null +++ b/wandb/run-20250311_210755-0twfntm6/files/output.log @@ -0,0 +1,855 @@ +Logs will be synced with wandb. +INFO 2025-03-11 21:07:58 n\logger.py:132 Track this run --> https://wandb.ai/zhang474-business-insider/lerobot/runs/0twfntm6 +INFO 2025-03-11 21:07:58 ts\train.py:312 make_dataset +WARNING 2025-03-11 21:07:58 s\factory.py:68 There might be a mismatch between your training dataset (dataset_repo_id='zijian2022/llmtest107') and your environment (cfg.env.name='real_world'). +stats.json: 100%|████████████████████████████████████████████████████████████████████████████████████████| 5.46k/5.46k [00:00127.0.0.1:54630: use of closed network connection","id":"127.0.0.1:54630"} +{"time":"2025-03-12T06:22:09.0261782-05:00","level":"INFO","msg":"handleInformTeardown: server shutdown complete","id":"127.0.0.1:54630"} +{"time":"2025-03-12T06:22:09.0261782-05:00","level":"INFO","msg":"connection: ManageConnectionData: connection closed","id":"127.0.0.1:54630"} +{"time":"2025-03-12T06:22:09.0261782-05:00","level":"INFO","msg":"server is closed"} diff --git a/wandb/run-20250311_210755-0twfntm6/logs/debug-internal.log b/wandb/run-20250311_210755-0twfntm6/logs/debug-internal.log new file mode 100644 index 0000000000000000000000000000000000000000..39665e1348c283fab3646f74d4ab740c5c5b52d7 --- /dev/null +++ b/wandb/run-20250311_210755-0twfntm6/logs/debug-internal.log @@ -0,0 +1,17 @@ +{"time":"2025-03-11T21:07:55.8978877-05:00","level":"INFO","msg":"using version","core version":"0.19.1"} +{"time":"2025-03-11T21:07:55.8978877-05:00","level":"INFO","msg":"created symlink","path":"outputs\\train\\act_llmtest107\\wandb\\run-20250311_210755-0twfntm6\\logs\\debug-core.log"} +{"time":"2025-03-11T21:07:57.8348762-05:00","level":"INFO","msg":"created new stream","id":"0twfntm6"} +{"time":"2025-03-11T21:07:57.8354504-05:00","level":"INFO","msg":"stream: started","id":"0twfntm6"} +{"time":"2025-03-11T21:07:57.8354504-05:00","level":"INFO","msg":"handler: started","stream_id":"0twfntm6"} +{"time":"2025-03-11T21:07:57.8354504-05:00","level":"INFO","msg":"writer: Do: started","stream_id":"0twfntm6"} +{"time":"2025-03-11T21:07:57.8359548-05:00","level":"INFO","msg":"sender: started","stream_id":"0twfntm6"} +{"time":"2025-03-11T21:07:58.2739564-05:00","level":"INFO","msg":"Starting system monitor"} +{"time":"2025-03-12T04:57:58.8697787-05:00","level":"INFO","msg":"api: retrying error","error":"Post \"https://api.wandb.ai/graphql\": read tcp 10.22.202.228:64622->35.186.228.49:443: wsarecv: An existing connection was forcibly closed by the remote host."} +{"time":"2025-03-12T06:22:01.1078176-05:00","level":"INFO","msg":"stream: closing","id":"0twfntm6"} +{"time":"2025-03-12T06:22:01.1078176-05:00","level":"INFO","msg":"Stopping system monitor"} +{"time":"2025-03-12T06:22:01.1088727-05:00","level":"INFO","msg":"Stopped system monitor"} +{"time":"2025-03-12T06:22:08.909426-05:00","level":"INFO","msg":"fileTransfer: Close: file transfer manager closed"} +{"time":"2025-03-12T06:22:09.0102221-05:00","level":"INFO","msg":"handler: closed","stream_id":"0twfntm6"} +{"time":"2025-03-12T06:22:09.0102221-05:00","level":"INFO","msg":"sender: closed","stream_id":"0twfntm6"} +{"time":"2025-03-12T06:22:09.0102221-05:00","level":"INFO","msg":"writer: Close: closed","stream_id":"0twfntm6"} +{"time":"2025-03-12T06:22:09.0107365-05:00","level":"INFO","msg":"stream: closed","id":"0twfntm6"} diff --git a/wandb/run-20250311_210755-0twfntm6/logs/debug.log b/wandb/run-20250311_210755-0twfntm6/logs/debug.log new file mode 100644 index 0000000000000000000000000000000000000000..b14083af8cad8cdf8307e7229bfb5c3365817f38 --- /dev/null +++ b/wandb/run-20250311_210755-0twfntm6/logs/debug.log @@ -0,0 +1,24 @@ +2025-03-11 21:07:55,857 INFO MainThread:20200 [wandb_setup.py:_flush():68] Current SDK version is 0.19.1 +2025-03-11 21:07:55,857 INFO MainThread:20200 [wandb_setup.py:_flush():68] Configure stats pid to 20200 +2025-03-11 21:07:55,857 INFO MainThread:20200 [wandb_setup.py:_flush():68] Loading settings from C:\Users\pedri\.config\wandb\settings +2025-03-11 21:07:55,857 INFO MainThread:20200 [wandb_setup.py:_flush():68] Loading settings from C:\Users\pedri\~\lerobot\wandb\settings +2025-03-11 21:07:55,857 INFO MainThread:20200 [wandb_setup.py:_flush():68] Loading settings from environment variables +2025-03-11 21:07:55,857 INFO MainThread:20200 [wandb_setup.py:_flush():68] wandb: Using wandb-core as the SDK backend. Please refer to https://wandb.me/wandb-core for more information. +2025-03-11 21:07:55,858 INFO MainThread:20200 [wandb_init.py:_log_setup():528] Logging user logs to outputs/train/act_llmtest107\wandb\run-20250311_210755-0twfntm6\logs\debug.log +2025-03-11 21:07:55,858 INFO MainThread:20200 [wandb_init.py:_log_setup():529] Logging internal logs to outputs/train/act_llmtest107\wandb\run-20250311_210755-0twfntm6\logs\debug-internal.log +2025-03-11 21:07:55,858 INFO MainThread:20200 [wandb_init.py:init():644] calling init triggers +2025-03-11 21:07:55,858 INFO MainThread:20200 [wandb_init.py:init():650] wandb.init called with sweep_config: {} +config: {'resume': False, 'device': 'cuda', 'use_amp': False, 'seed': 1000, 'dataset_repo_id': 'zijian2022/llmtest107', 'video_backend': 'pyav', 'training': {'offline_steps': 80000, 'num_workers': 4, 'batch_size': 8, 'eval_freq': -1, 'log_freq': 100, 'save_checkpoint': True, 'save_freq': 10000, 'online_steps': 0, 'online_rollout_n_episodes': 1, 'online_rollout_batch_size': 1, 'online_steps_between_rollouts': 1, 'online_sampling_ratio': 0.5, 'online_env_seed': None, 'online_buffer_capacity': None, 'online_buffer_seed_size': 0, 'do_online_rollout_async': False, 'image_transforms': {'enable': False, 'max_num_transforms': 3, 'random_order': False, 'brightness': {'weight': 1, 'min_max': [0.8, 1.2]}, 'contrast': {'weight': 1, 'min_max': [0.8, 1.2]}, 'saturation': {'weight': 1, 'min_max': [0.5, 1.5]}, 'hue': {'weight': 1, 'min_max': [-0.05, 0.05]}, 'sharpness': {'weight': 1, 'min_max': [0.8, 1.2]}}, 'lr': 1e-05, 'lr_backbone': 1e-05, 'weight_decay': 0.0001, 'grad_clip_norm': 10, 'delta_timestamps': {'action': '[i / 30 for i in range(100)]'}}, 'eval': {'n_episodes': 50, 'batch_size': 50, 'use_async_envs': False}, 'wandb': {'enable': True, 'disable_artifact': False, 'project': 'lerobot', 'notes': ''}, 'fps': 30, 'env': {'name': 'real_world', 'task': None, 'state_dim': 6, 'action_dim': 6, 'fps': 30}, 'override_dataset_stats': {'observation.images.laptop': {'mean': [[[0.485]], [[0.456]], [[0.406]]], 'std': [[[0.229]], [[0.224]], [[0.225]]]}, 'observation.images.phone': {'mean': [[[0.485]], [[0.456]], [[0.406]]], 'std': [[[0.229]], [[0.224]], [[0.225]]]}}, 'policy': {'name': 'act', 'n_obs_steps': 1, 'chunk_size': 100, 'n_action_steps': 100, 'input_shapes': {'observation.images.laptop': [3, 480, 640], 'observation.images.phone': [3, 480, 640], 'observation.state': [6]}, 'output_shapes': {'action': [6]}, 'input_normalization_modes': {'observation.images.laptop': 'mean_std', 'observation.images.phone': 'mean_std', 'observation.state': 'mean_std'}, 'output_normalization_modes': {'action': 'mean_std'}, 'vision_backbone': 'resnet18', 'pretrained_backbone_weights': 'ResNet18_Weights.IMAGENET1K_V1', 'replace_final_stride_with_dilation': False, 'pre_norm': False, 'dim_model': 512, 'n_heads': 8, 'dim_feedforward': 3200, 'feedforward_activation': 'relu', 'n_encoder_layers': 4, 'n_decoder_layers': 1, 'use_vae': True, 'latent_dim': 32, 'n_vae_encoder_layers': 4, 'temporal_ensemble_coeff': None, 'dropout': 0.1, 'kl_weight': 10.0}} +2025-03-11 21:07:55,858 INFO MainThread:20200 [wandb_init.py:init():680] starting backend +2025-03-11 21:07:55,858 INFO MainThread:20200 [wandb_init.py:init():684] sending inform_init request +2025-03-11 21:07:55,875 INFO MainThread:20200 [backend.py:_multiprocessing_setup():104] multiprocessing start_methods=spawn, using: spawn +2025-03-11 21:07:55,876 INFO MainThread:20200 [wandb_init.py:init():697] backend started and connected +2025-03-11 21:07:55,877 INFO MainThread:20200 [wandb_init.py:init():790] updated telemetry +2025-03-11 21:07:55,935 INFO MainThread:20200 [wandb_init.py:init():822] communicating run to backend with 90.0 second timeout +2025-03-11 21:07:58,264 INFO MainThread:20200 [wandb_init.py:init():874] starting run threads in backend +2025-03-11 21:07:58,419 INFO MainThread:20200 [wandb_run.py:_console_start():2374] atexit reg +2025-03-11 21:07:58,419 INFO MainThread:20200 [wandb_run.py:_redirect():2224] redirect: wrap_raw +2025-03-11 21:07:58,419 INFO MainThread:20200 [wandb_run.py:_redirect():2289] Wrapping output streams. +2025-03-11 21:07:58,419 INFO MainThread:20200 [wandb_run.py:_redirect():2314] Redirects installed. +2025-03-11 21:07:58,421 INFO MainThread:20200 [wandb_init.py:init():916] run started, returning control to user process +2025-03-12 06:22:01,108 WARNING MsgRouterThr:20200 [router.py:message_loop():75] message_loop has been closed diff --git a/wandb/run-20250311_210755-0twfntm6/run-0twfntm6.wandb b/wandb/run-20250311_210755-0twfntm6/run-0twfntm6.wandb new file mode 100644 index 0000000000000000000000000000000000000000..a5904608d53f2c1204ab0fe0edd8e37c03541a84 --- /dev/null +++ b/wandb/run-20250311_210755-0twfntm6/run-0twfntm6.wandb @@ -0,0 +1,3 @@ +version https://git-lfs.github.com/spec/v1 +oid sha256:9bfcc1ad34e8f6eb48e320e99b26e691d659a259dc5c2a40a5a58b35f3538d73 +size 5296046