zijian2022 commited on
Commit
8eb06fd
·
verified ·
1 Parent(s): 3a38db6

Upload folder using huggingface_hub

Browse files
This view is limited to 50 files because it contains too many changes.   See raw diff
Files changed (50) hide show
  1. .gitattributes +1 -0
  2. .hydra/config.yaml +134 -0
  3. .hydra/hydra.yaml +163 -0
  4. .hydra/overrides.yaml +5 -0
  5. act_so100_test.log +0 -0
  6. checkpoints/010000/pretrained_model/README.md +12 -0
  7. checkpoints/010000/pretrained_model/config.json +49 -0
  8. checkpoints/010000/pretrained_model/config.yaml +234 -0
  9. checkpoints/010000/pretrained_model/model.safetensors +3 -0
  10. checkpoints/010000/training_state.pth +3 -0
  11. checkpoints/020000/pretrained_model/README.md +12 -0
  12. checkpoints/020000/pretrained_model/config.json +49 -0
  13. checkpoints/020000/pretrained_model/config.yaml +234 -0
  14. checkpoints/020000/pretrained_model/model.safetensors +3 -0
  15. checkpoints/020000/training_state.pth +3 -0
  16. checkpoints/030000/pretrained_model/README.md +12 -0
  17. checkpoints/030000/pretrained_model/config.json +49 -0
  18. checkpoints/030000/pretrained_model/config.yaml +234 -0
  19. checkpoints/030000/pretrained_model/model.safetensors +3 -0
  20. checkpoints/030000/training_state.pth +3 -0
  21. checkpoints/040000/pretrained_model/README.md +12 -0
  22. checkpoints/040000/pretrained_model/config.json +49 -0
  23. checkpoints/040000/pretrained_model/config.yaml +234 -0
  24. checkpoints/040000/pretrained_model/model.safetensors +3 -0
  25. checkpoints/040000/training_state.pth +3 -0
  26. checkpoints/050000/pretrained_model/README.md +12 -0
  27. checkpoints/050000/pretrained_model/config.json +49 -0
  28. checkpoints/050000/pretrained_model/config.yaml +234 -0
  29. checkpoints/050000/pretrained_model/model.safetensors +3 -0
  30. checkpoints/050000/training_state.pth +3 -0
  31. checkpoints/060000/pretrained_model/README.md +12 -0
  32. checkpoints/060000/pretrained_model/config.json +49 -0
  33. checkpoints/060000/pretrained_model/config.yaml +234 -0
  34. checkpoints/060000/pretrained_model/model.safetensors +3 -0
  35. checkpoints/060000/training_state.pth +3 -0
  36. checkpoints/070000/pretrained_model/README.md +12 -0
  37. checkpoints/070000/pretrained_model/config.json +49 -0
  38. checkpoints/070000/pretrained_model/config.yaml +234 -0
  39. checkpoints/070000/pretrained_model/model.safetensors +3 -0
  40. checkpoints/070000/training_state.pth +3 -0
  41. checkpoints/080000/pretrained_model/README.md +12 -0
  42. checkpoints/080000/pretrained_model/config.json +49 -0
  43. checkpoints/080000/pretrained_model/config.yaml +234 -0
  44. checkpoints/080000/pretrained_model/model.safetensors +3 -0
  45. checkpoints/080000/training_state.pth +3 -0
  46. wandb/run-20250311_210755-0twfntm6/files/config.yaml +181 -0
  47. wandb/run-20250311_210755-0twfntm6/files/output.log +0 -0
  48. wandb/run-20250311_210755-0twfntm6/files/requirements.txt +134 -0
  49. wandb/run-20250311_210755-0twfntm6/files/wandb-metadata.json +51 -0
  50. wandb/run-20250311_210755-0twfntm6/files/wandb-summary.json +1 -0
.gitattributes CHANGED
@@ -33,3 +33,4 @@ saved_model/**/* filter=lfs diff=lfs merge=lfs -text
33
  *.zip filter=lfs diff=lfs merge=lfs -text
34
  *.zst filter=lfs diff=lfs merge=lfs -text
35
  *tfevents* filter=lfs diff=lfs merge=lfs -text
 
 
33
  *.zip filter=lfs diff=lfs merge=lfs -text
34
  *.zst filter=lfs diff=lfs merge=lfs -text
35
  *tfevents* filter=lfs diff=lfs merge=lfs -text
36
+ wandb/run-20250311_210755-0twfntm6/run-0twfntm6.wandb filter=lfs diff=lfs merge=lfs -text
.hydra/config.yaml ADDED
@@ -0,0 +1,134 @@
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
+ resume: false
2
+ device: cuda
3
+ use_amp: false
4
+ seed: 1000
5
+ dataset_repo_id: zijian2022/llmtest107
6
+ video_backend: pyav
7
+ training:
8
+ offline_steps: 80000
9
+ num_workers: 4
10
+ batch_size: 8
11
+ eval_freq: -1
12
+ log_freq: 100
13
+ save_checkpoint: true
14
+ save_freq: 10000
15
+ online_steps: 0
16
+ online_rollout_n_episodes: 1
17
+ online_rollout_batch_size: 1
18
+ online_steps_between_rollouts: 1
19
+ online_sampling_ratio: 0.5
20
+ online_env_seed: null
21
+ online_buffer_capacity: null
22
+ online_buffer_seed_size: 0
23
+ do_online_rollout_async: false
24
+ image_transforms:
25
+ enable: false
26
+ max_num_transforms: 3
27
+ random_order: false
28
+ brightness:
29
+ weight: 1
30
+ min_max:
31
+ - 0.8
32
+ - 1.2
33
+ contrast:
34
+ weight: 1
35
+ min_max:
36
+ - 0.8
37
+ - 1.2
38
+ saturation:
39
+ weight: 1
40
+ min_max:
41
+ - 0.5
42
+ - 1.5
43
+ hue:
44
+ weight: 1
45
+ min_max:
46
+ - -0.05
47
+ - 0.05
48
+ sharpness:
49
+ weight: 1
50
+ min_max:
51
+ - 0.8
52
+ - 1.2
53
+ lr: 1.0e-05
54
+ lr_backbone: 1.0e-05
55
+ weight_decay: 0.0001
56
+ grad_clip_norm: 10
57
+ delta_timestamps:
58
+ action: '[i / ${fps} for i in range(${policy.chunk_size})]'
59
+ eval:
60
+ n_episodes: 50
61
+ batch_size: 50
62
+ use_async_envs: false
63
+ wandb:
64
+ enable: true
65
+ disable_artifact: false
66
+ project: lerobot
67
+ notes: ''
68
+ fps: 30
69
+ env:
70
+ name: real_world
71
+ task: null
72
+ state_dim: 6
73
+ action_dim: 6
74
+ fps: ${fps}
75
+ override_dataset_stats:
76
+ observation.images.laptop:
77
+ mean:
78
+ - - - 0.485
79
+ - - - 0.456
80
+ - - - 0.406
81
+ std:
82
+ - - - 0.229
83
+ - - - 0.224
84
+ - - - 0.225
85
+ observation.images.phone:
86
+ mean:
87
+ - - - 0.485
88
+ - - - 0.456
89
+ - - - 0.406
90
+ std:
91
+ - - - 0.229
92
+ - - - 0.224
93
+ - - - 0.225
94
+ policy:
95
+ name: act
96
+ n_obs_steps: 1
97
+ chunk_size: 100
98
+ n_action_steps: 100
99
+ input_shapes:
100
+ observation.images.laptop:
101
+ - 3
102
+ - 480
103
+ - 640
104
+ observation.images.phone:
105
+ - 3
106
+ - 480
107
+ - 640
108
+ observation.state:
109
+ - ${env.state_dim}
110
+ output_shapes:
111
+ action:
112
+ - ${env.action_dim}
113
+ input_normalization_modes:
114
+ observation.images.laptop: mean_std
115
+ observation.images.phone: mean_std
116
+ observation.state: mean_std
117
+ output_normalization_modes:
118
+ action: mean_std
119
+ vision_backbone: resnet18
120
+ pretrained_backbone_weights: ResNet18_Weights.IMAGENET1K_V1
121
+ replace_final_stride_with_dilation: false
122
+ pre_norm: false
123
+ dim_model: 512
124
+ n_heads: 8
125
+ dim_feedforward: 3200
126
+ feedforward_activation: relu
127
+ n_encoder_layers: 4
128
+ n_decoder_layers: 1
129
+ use_vae: true
130
+ latent_dim: 32
131
+ n_vae_encoder_layers: 4
132
+ temporal_ensemble_coeff: null
133
+ dropout: 0.1
134
+ kl_weight: 10.0
.hydra/hydra.yaml ADDED
@@ -0,0 +1,163 @@
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
+ hydra:
2
+ run:
3
+ dir: outputs/train/act_llmtest107
4
+ sweep:
5
+ dir: multirun/${now:%Y-%m-%d}/${now:%H-%M-%S}
6
+ subdir: ${hydra.job.num}
7
+ launcher:
8
+ _target_: hydra._internal.core_plugins.basic_launcher.BasicLauncher
9
+ sweeper:
10
+ _target_: hydra._internal.core_plugins.basic_sweeper.BasicSweeper
11
+ max_batch_size: null
12
+ params: null
13
+ help:
14
+ app_name: ${hydra.job.name}
15
+ header: '${hydra.help.app_name} is powered by Hydra.
16
+
17
+ '
18
+ footer: 'Powered by Hydra (https://hydra.cc)
19
+
20
+ Use --hydra-help to view Hydra specific help
21
+
22
+ '
23
+ template: '${hydra.help.header}
24
+
25
+ == Configuration groups ==
26
+
27
+ Compose your configuration from those groups (group=option)
28
+
29
+
30
+ $APP_CONFIG_GROUPS
31
+
32
+
33
+ == Config ==
34
+
35
+ Override anything in the config (foo.bar=value)
36
+
37
+
38
+ $CONFIG
39
+
40
+
41
+ ${hydra.help.footer}
42
+
43
+ '
44
+ hydra_help:
45
+ template: 'Hydra (${hydra.runtime.version})
46
+
47
+ See https://hydra.cc for more info.
48
+
49
+
50
+ == Flags ==
51
+
52
+ $FLAGS_HELP
53
+
54
+
55
+ == Configuration groups ==
56
+
57
+ Compose your configuration from those groups (For example, append hydra/job_logging=disabled
58
+ to command line)
59
+
60
+
61
+ $HYDRA_CONFIG_GROUPS
62
+
63
+
64
+ Use ''--cfg hydra'' to Show the Hydra config.
65
+
66
+ '
67
+ hydra_help: ???
68
+ hydra_logging:
69
+ version: 1
70
+ formatters:
71
+ simple:
72
+ format: '[%(asctime)s][HYDRA] %(message)s'
73
+ handlers:
74
+ console:
75
+ class: logging.StreamHandler
76
+ formatter: simple
77
+ stream: ext://sys.stdout
78
+ root:
79
+ level: INFO
80
+ handlers:
81
+ - console
82
+ loggers:
83
+ logging_example:
84
+ level: DEBUG
85
+ disable_existing_loggers: false
86
+ job_logging:
87
+ version: 1
88
+ formatters:
89
+ simple:
90
+ format: '[%(asctime)s][%(name)s][%(levelname)s] - %(message)s'
91
+ handlers:
92
+ console:
93
+ class: logging.StreamHandler
94
+ formatter: simple
95
+ stream: ext://sys.stdout
96
+ file:
97
+ class: logging.FileHandler
98
+ formatter: simple
99
+ filename: ${hydra.runtime.output_dir}/${hydra.job.name}.log
100
+ root:
101
+ level: INFO
102
+ handlers:
103
+ - console
104
+ - file
105
+ disable_existing_loggers: false
106
+ env: {}
107
+ mode: RUN
108
+ searchpath: []
109
+ callbacks: {}
110
+ output_subdir: .hydra
111
+ overrides:
112
+ hydra:
113
+ - hydra.run.dir=outputs/train/act_llmtest107
114
+ - hydra.job.name=act_so100_test
115
+ - hydra.mode=RUN
116
+ task:
117
+ - dataset_repo_id=zijian2022/llmtest107
118
+ - policy=act_so100_real
119
+ - env=so100_real
120
+ - device=cuda
121
+ - wandb.enable=true
122
+ job:
123
+ name: act_so100_test
124
+ chdir: null
125
+ override_dirname: dataset_repo_id=zijian2022/llmtest107,device=cuda,env=so100_real,policy=act_so100_real,wandb.enable=true
126
+ id: ???
127
+ num: ???
128
+ config_name: default
129
+ env_set: {}
130
+ env_copy: []
131
+ config:
132
+ override_dirname:
133
+ kv_sep: '='
134
+ item_sep: ','
135
+ exclude_keys: []
136
+ runtime:
137
+ version: 1.3.2
138
+ version_base: '1.2'
139
+ cwd: C:\Users\pedri\~\lerobot
140
+ config_sources:
141
+ - path: hydra.conf
142
+ schema: pkg
143
+ provider: hydra
144
+ - path: C:\Users\pedri\~\lerobot\lerobot\configs
145
+ schema: file
146
+ provider: main
147
+ - path: ''
148
+ schema: structured
149
+ provider: schema
150
+ output_dir: C:\Users\pedri\~\lerobot\outputs\train\act_llmtest107
151
+ choices:
152
+ policy: act_so100_real
153
+ env: so100_real
154
+ hydra/env: default
155
+ hydra/callbacks: null
156
+ hydra/job_logging: default
157
+ hydra/hydra_logging: default
158
+ hydra/hydra_help: default
159
+ hydra/help: default
160
+ hydra/sweeper: basic
161
+ hydra/launcher: basic
162
+ hydra/output: default
163
+ verbose: false
.hydra/overrides.yaml ADDED
@@ -0,0 +1,5 @@
 
 
 
 
 
 
1
+ - dataset_repo_id=zijian2022/llmtest107
2
+ - policy=act_so100_real
3
+ - env=so100_real
4
+ - device=cuda
5
+ - wandb.enable=true
act_so100_test.log ADDED
File without changes
checkpoints/010000/pretrained_model/README.md ADDED
@@ -0,0 +1,12 @@
 
 
 
 
 
 
 
 
 
 
 
 
 
1
+ ---
2
+ library_name: lerobot
3
+ tags:
4
+ - act
5
+ - model_hub_mixin
6
+ - pytorch_model_hub_mixin
7
+ - robotics
8
+ ---
9
+
10
+ This model has been pushed to the Hub using the [PytorchModelHubMixin](https://huggingface.co/docs/huggingface_hub/package_reference/mixins#huggingface_hub.PyTorchModelHubMixin) integration:
11
+ - Library: https://github.com/huggingface/lerobot
12
+ - Docs: [More Information Needed]
checkpoints/010000/pretrained_model/config.json ADDED
@@ -0,0 +1,49 @@
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
+ {
2
+ "chunk_size": 100,
3
+ "dim_feedforward": 3200,
4
+ "dim_model": 512,
5
+ "dropout": 0.1,
6
+ "feedforward_activation": "relu",
7
+ "input_normalization_modes": {
8
+ "observation.images.laptop": "mean_std",
9
+ "observation.images.phone": "mean_std",
10
+ "observation.state": "mean_std"
11
+ },
12
+ "input_shapes": {
13
+ "observation.images.laptop": [
14
+ 3,
15
+ 480,
16
+ 640
17
+ ],
18
+ "observation.images.phone": [
19
+ 3,
20
+ 480,
21
+ 640
22
+ ],
23
+ "observation.state": [
24
+ 6
25
+ ]
26
+ },
27
+ "kl_weight": 10.0,
28
+ "latent_dim": 32,
29
+ "n_action_steps": 100,
30
+ "n_decoder_layers": 1,
31
+ "n_encoder_layers": 4,
32
+ "n_heads": 8,
33
+ "n_obs_steps": 1,
34
+ "n_vae_encoder_layers": 4,
35
+ "output_normalization_modes": {
36
+ "action": "mean_std"
37
+ },
38
+ "output_shapes": {
39
+ "action": [
40
+ 6
41
+ ]
42
+ },
43
+ "pre_norm": false,
44
+ "pretrained_backbone_weights": "ResNet18_Weights.IMAGENET1K_V1",
45
+ "replace_final_stride_with_dilation": false,
46
+ "temporal_ensemble_coeff": null,
47
+ "use_vae": true,
48
+ "vision_backbone": "resnet18"
49
+ }
checkpoints/010000/pretrained_model/config.yaml ADDED
@@ -0,0 +1,234 @@
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
+ resume: false
2
+ device: cuda
3
+ use_amp: false
4
+ seed: 1000
5
+ dataset_repo_id: zijian2022/llmtest107
6
+ video_backend: pyav
7
+ training:
8
+ offline_steps: 80000
9
+ num_workers: 4
10
+ batch_size: 8
11
+ eval_freq: -1
12
+ log_freq: 100
13
+ save_checkpoint: true
14
+ save_freq: 10000
15
+ online_steps: 0
16
+ online_rollout_n_episodes: 1
17
+ online_rollout_batch_size: 1
18
+ online_steps_between_rollouts: 1
19
+ online_sampling_ratio: 0.5
20
+ online_env_seed: null
21
+ online_buffer_capacity: null
22
+ online_buffer_seed_size: 0
23
+ do_online_rollout_async: false
24
+ image_transforms:
25
+ enable: false
26
+ max_num_transforms: 3
27
+ random_order: false
28
+ brightness:
29
+ weight: 1
30
+ min_max:
31
+ - 0.8
32
+ - 1.2
33
+ contrast:
34
+ weight: 1
35
+ min_max:
36
+ - 0.8
37
+ - 1.2
38
+ saturation:
39
+ weight: 1
40
+ min_max:
41
+ - 0.5
42
+ - 1.5
43
+ hue:
44
+ weight: 1
45
+ min_max:
46
+ - -0.05
47
+ - 0.05
48
+ sharpness:
49
+ weight: 1
50
+ min_max:
51
+ - 0.8
52
+ - 1.2
53
+ lr: 1.0e-05
54
+ lr_backbone: 1.0e-05
55
+ weight_decay: 0.0001
56
+ grad_clip_norm: 10
57
+ delta_timestamps:
58
+ action:
59
+ - 0.0
60
+ - 0.03333333333333333
61
+ - 0.06666666666666667
62
+ - 0.1
63
+ - 0.13333333333333333
64
+ - 0.16666666666666666
65
+ - 0.2
66
+ - 0.23333333333333334
67
+ - 0.26666666666666666
68
+ - 0.3
69
+ - 0.3333333333333333
70
+ - 0.36666666666666664
71
+ - 0.4
72
+ - 0.43333333333333335
73
+ - 0.4666666666666667
74
+ - 0.5
75
+ - 0.5333333333333333
76
+ - 0.5666666666666667
77
+ - 0.6
78
+ - 0.6333333333333333
79
+ - 0.6666666666666666
80
+ - 0.7
81
+ - 0.7333333333333333
82
+ - 0.7666666666666667
83
+ - 0.8
84
+ - 0.8333333333333334
85
+ - 0.8666666666666667
86
+ - 0.9
87
+ - 0.9333333333333333
88
+ - 0.9666666666666667
89
+ - 1.0
90
+ - 1.0333333333333334
91
+ - 1.0666666666666667
92
+ - 1.1
93
+ - 1.1333333333333333
94
+ - 1.1666666666666667
95
+ - 1.2
96
+ - 1.2333333333333334
97
+ - 1.2666666666666666
98
+ - 1.3
99
+ - 1.3333333333333333
100
+ - 1.3666666666666667
101
+ - 1.4
102
+ - 1.4333333333333333
103
+ - 1.4666666666666666
104
+ - 1.5
105
+ - 1.5333333333333334
106
+ - 1.5666666666666667
107
+ - 1.6
108
+ - 1.6333333333333333
109
+ - 1.6666666666666667
110
+ - 1.7
111
+ - 1.7333333333333334
112
+ - 1.7666666666666666
113
+ - 1.8
114
+ - 1.8333333333333333
115
+ - 1.8666666666666667
116
+ - 1.9
117
+ - 1.9333333333333333
118
+ - 1.9666666666666666
119
+ - 2.0
120
+ - 2.033333333333333
121
+ - 2.066666666666667
122
+ - 2.1
123
+ - 2.1333333333333333
124
+ - 2.1666666666666665
125
+ - 2.2
126
+ - 2.2333333333333334
127
+ - 2.2666666666666666
128
+ - 2.3
129
+ - 2.3333333333333335
130
+ - 2.3666666666666667
131
+ - 2.4
132
+ - 2.433333333333333
133
+ - 2.466666666666667
134
+ - 2.5
135
+ - 2.533333333333333
136
+ - 2.566666666666667
137
+ - 2.6
138
+ - 2.6333333333333333
139
+ - 2.6666666666666665
140
+ - 2.7
141
+ - 2.7333333333333334
142
+ - 2.7666666666666666
143
+ - 2.8
144
+ - 2.8333333333333335
145
+ - 2.8666666666666667
146
+ - 2.9
147
+ - 2.933333333333333
148
+ - 2.966666666666667
149
+ - 3.0
150
+ - 3.033333333333333
151
+ - 3.066666666666667
152
+ - 3.1
153
+ - 3.1333333333333333
154
+ - 3.1666666666666665
155
+ - 3.2
156
+ - 3.2333333333333334
157
+ - 3.2666666666666666
158
+ - 3.3
159
+ eval:
160
+ n_episodes: 50
161
+ batch_size: 50
162
+ use_async_envs: false
163
+ wandb:
164
+ enable: true
165
+ disable_artifact: false
166
+ project: lerobot
167
+ notes: ''
168
+ fps: 30
169
+ env:
170
+ name: real_world
171
+ task: null
172
+ state_dim: 6
173
+ action_dim: 6
174
+ fps: ${fps}
175
+ override_dataset_stats:
176
+ observation.images.laptop:
177
+ mean:
178
+ - - - 0.485
179
+ - - - 0.456
180
+ - - - 0.406
181
+ std:
182
+ - - - 0.229
183
+ - - - 0.224
184
+ - - - 0.225
185
+ observation.images.phone:
186
+ mean:
187
+ - - - 0.485
188
+ - - - 0.456
189
+ - - - 0.406
190
+ std:
191
+ - - - 0.229
192
+ - - - 0.224
193
+ - - - 0.225
194
+ policy:
195
+ name: act
196
+ n_obs_steps: 1
197
+ chunk_size: 100
198
+ n_action_steps: 100
199
+ input_shapes:
200
+ observation.images.laptop:
201
+ - 3
202
+ - 480
203
+ - 640
204
+ observation.images.phone:
205
+ - 3
206
+ - 480
207
+ - 640
208
+ observation.state:
209
+ - ${env.state_dim}
210
+ output_shapes:
211
+ action:
212
+ - ${env.action_dim}
213
+ input_normalization_modes:
214
+ observation.images.laptop: mean_std
215
+ observation.images.phone: mean_std
216
+ observation.state: mean_std
217
+ output_normalization_modes:
218
+ action: mean_std
219
+ vision_backbone: resnet18
220
+ pretrained_backbone_weights: ResNet18_Weights.IMAGENET1K_V1
221
+ replace_final_stride_with_dilation: false
222
+ pre_norm: false
223
+ dim_model: 512
224
+ n_heads: 8
225
+ dim_feedforward: 3200
226
+ feedforward_activation: relu
227
+ n_encoder_layers: 4
228
+ n_decoder_layers: 1
229
+ use_vae: true
230
+ latent_dim: 32
231
+ n_vae_encoder_layers: 4
232
+ temporal_ensemble_coeff: null
233
+ dropout: 0.1
234
+ kl_weight: 10.0
checkpoints/010000/pretrained_model/model.safetensors ADDED
@@ -0,0 +1,3 @@
 
 
 
 
1
+ version https://git-lfs.github.com/spec/v1
2
+ oid sha256:885ef2b426b93340f35e32edb85e6167449bc63a32f51ef59e2cb1852a46da27
3
+ size 206701072
checkpoints/010000/training_state.pth ADDED
@@ -0,0 +1,3 @@
 
 
 
 
1
+ version https://git-lfs.github.com/spec/v1
2
+ oid sha256:853bb38780f0d853659c083f3d45f0511f372bc6246c7c4fced0f5f477438ec5
3
+ size 412921871
checkpoints/020000/pretrained_model/README.md ADDED
@@ -0,0 +1,12 @@
 
 
 
 
 
 
 
 
 
 
 
 
 
1
+ ---
2
+ library_name: lerobot
3
+ tags:
4
+ - act
5
+ - model_hub_mixin
6
+ - pytorch_model_hub_mixin
7
+ - robotics
8
+ ---
9
+
10
+ This model has been pushed to the Hub using the [PytorchModelHubMixin](https://huggingface.co/docs/huggingface_hub/package_reference/mixins#huggingface_hub.PyTorchModelHubMixin) integration:
11
+ - Library: https://github.com/huggingface/lerobot
12
+ - Docs: [More Information Needed]
checkpoints/020000/pretrained_model/config.json ADDED
@@ -0,0 +1,49 @@
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
+ {
2
+ "chunk_size": 100,
3
+ "dim_feedforward": 3200,
4
+ "dim_model": 512,
5
+ "dropout": 0.1,
6
+ "feedforward_activation": "relu",
7
+ "input_normalization_modes": {
8
+ "observation.images.laptop": "mean_std",
9
+ "observation.images.phone": "mean_std",
10
+ "observation.state": "mean_std"
11
+ },
12
+ "input_shapes": {
13
+ "observation.images.laptop": [
14
+ 3,
15
+ 480,
16
+ 640
17
+ ],
18
+ "observation.images.phone": [
19
+ 3,
20
+ 480,
21
+ 640
22
+ ],
23
+ "observation.state": [
24
+ 6
25
+ ]
26
+ },
27
+ "kl_weight": 10.0,
28
+ "latent_dim": 32,
29
+ "n_action_steps": 100,
30
+ "n_decoder_layers": 1,
31
+ "n_encoder_layers": 4,
32
+ "n_heads": 8,
33
+ "n_obs_steps": 1,
34
+ "n_vae_encoder_layers": 4,
35
+ "output_normalization_modes": {
36
+ "action": "mean_std"
37
+ },
38
+ "output_shapes": {
39
+ "action": [
40
+ 6
41
+ ]
42
+ },
43
+ "pre_norm": false,
44
+ "pretrained_backbone_weights": "ResNet18_Weights.IMAGENET1K_V1",
45
+ "replace_final_stride_with_dilation": false,
46
+ "temporal_ensemble_coeff": null,
47
+ "use_vae": true,
48
+ "vision_backbone": "resnet18"
49
+ }
checkpoints/020000/pretrained_model/config.yaml ADDED
@@ -0,0 +1,234 @@
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
+ resume: false
2
+ device: cuda
3
+ use_amp: false
4
+ seed: 1000
5
+ dataset_repo_id: zijian2022/llmtest107
6
+ video_backend: pyav
7
+ training:
8
+ offline_steps: 80000
9
+ num_workers: 4
10
+ batch_size: 8
11
+ eval_freq: -1
12
+ log_freq: 100
13
+ save_checkpoint: true
14
+ save_freq: 10000
15
+ online_steps: 0
16
+ online_rollout_n_episodes: 1
17
+ online_rollout_batch_size: 1
18
+ online_steps_between_rollouts: 1
19
+ online_sampling_ratio: 0.5
20
+ online_env_seed: null
21
+ online_buffer_capacity: null
22
+ online_buffer_seed_size: 0
23
+ do_online_rollout_async: false
24
+ image_transforms:
25
+ enable: false
26
+ max_num_transforms: 3
27
+ random_order: false
28
+ brightness:
29
+ weight: 1
30
+ min_max:
31
+ - 0.8
32
+ - 1.2
33
+ contrast:
34
+ weight: 1
35
+ min_max:
36
+ - 0.8
37
+ - 1.2
38
+ saturation:
39
+ weight: 1
40
+ min_max:
41
+ - 0.5
42
+ - 1.5
43
+ hue:
44
+ weight: 1
45
+ min_max:
46
+ - -0.05
47
+ - 0.05
48
+ sharpness:
49
+ weight: 1
50
+ min_max:
51
+ - 0.8
52
+ - 1.2
53
+ lr: 1.0e-05
54
+ lr_backbone: 1.0e-05
55
+ weight_decay: 0.0001
56
+ grad_clip_norm: 10
57
+ delta_timestamps:
58
+ action:
59
+ - 0.0
60
+ - 0.03333333333333333
61
+ - 0.06666666666666667
62
+ - 0.1
63
+ - 0.13333333333333333
64
+ - 0.16666666666666666
65
+ - 0.2
66
+ - 0.23333333333333334
67
+ - 0.26666666666666666
68
+ - 0.3
69
+ - 0.3333333333333333
70
+ - 0.36666666666666664
71
+ - 0.4
72
+ - 0.43333333333333335
73
+ - 0.4666666666666667
74
+ - 0.5
75
+ - 0.5333333333333333
76
+ - 0.5666666666666667
77
+ - 0.6
78
+ - 0.6333333333333333
79
+ - 0.6666666666666666
80
+ - 0.7
81
+ - 0.7333333333333333
82
+ - 0.7666666666666667
83
+ - 0.8
84
+ - 0.8333333333333334
85
+ - 0.8666666666666667
86
+ - 0.9
87
+ - 0.9333333333333333
88
+ - 0.9666666666666667
89
+ - 1.0
90
+ - 1.0333333333333334
91
+ - 1.0666666666666667
92
+ - 1.1
93
+ - 1.1333333333333333
94
+ - 1.1666666666666667
95
+ - 1.2
96
+ - 1.2333333333333334
97
+ - 1.2666666666666666
98
+ - 1.3
99
+ - 1.3333333333333333
100
+ - 1.3666666666666667
101
+ - 1.4
102
+ - 1.4333333333333333
103
+ - 1.4666666666666666
104
+ - 1.5
105
+ - 1.5333333333333334
106
+ - 1.5666666666666667
107
+ - 1.6
108
+ - 1.6333333333333333
109
+ - 1.6666666666666667
110
+ - 1.7
111
+ - 1.7333333333333334
112
+ - 1.7666666666666666
113
+ - 1.8
114
+ - 1.8333333333333333
115
+ - 1.8666666666666667
116
+ - 1.9
117
+ - 1.9333333333333333
118
+ - 1.9666666666666666
119
+ - 2.0
120
+ - 2.033333333333333
121
+ - 2.066666666666667
122
+ - 2.1
123
+ - 2.1333333333333333
124
+ - 2.1666666666666665
125
+ - 2.2
126
+ - 2.2333333333333334
127
+ - 2.2666666666666666
128
+ - 2.3
129
+ - 2.3333333333333335
130
+ - 2.3666666666666667
131
+ - 2.4
132
+ - 2.433333333333333
133
+ - 2.466666666666667
134
+ - 2.5
135
+ - 2.533333333333333
136
+ - 2.566666666666667
137
+ - 2.6
138
+ - 2.6333333333333333
139
+ - 2.6666666666666665
140
+ - 2.7
141
+ - 2.7333333333333334
142
+ - 2.7666666666666666
143
+ - 2.8
144
+ - 2.8333333333333335
145
+ - 2.8666666666666667
146
+ - 2.9
147
+ - 2.933333333333333
148
+ - 2.966666666666667
149
+ - 3.0
150
+ - 3.033333333333333
151
+ - 3.066666666666667
152
+ - 3.1
153
+ - 3.1333333333333333
154
+ - 3.1666666666666665
155
+ - 3.2
156
+ - 3.2333333333333334
157
+ - 3.2666666666666666
158
+ - 3.3
159
+ eval:
160
+ n_episodes: 50
161
+ batch_size: 50
162
+ use_async_envs: false
163
+ wandb:
164
+ enable: true
165
+ disable_artifact: false
166
+ project: lerobot
167
+ notes: ''
168
+ fps: 30
169
+ env:
170
+ name: real_world
171
+ task: null
172
+ state_dim: 6
173
+ action_dim: 6
174
+ fps: ${fps}
175
+ override_dataset_stats:
176
+ observation.images.laptop:
177
+ mean:
178
+ - - - 0.485
179
+ - - - 0.456
180
+ - - - 0.406
181
+ std:
182
+ - - - 0.229
183
+ - - - 0.224
184
+ - - - 0.225
185
+ observation.images.phone:
186
+ mean:
187
+ - - - 0.485
188
+ - - - 0.456
189
+ - - - 0.406
190
+ std:
191
+ - - - 0.229
192
+ - - - 0.224
193
+ - - - 0.225
194
+ policy:
195
+ name: act
196
+ n_obs_steps: 1
197
+ chunk_size: 100
198
+ n_action_steps: 100
199
+ input_shapes:
200
+ observation.images.laptop:
201
+ - 3
202
+ - 480
203
+ - 640
204
+ observation.images.phone:
205
+ - 3
206
+ - 480
207
+ - 640
208
+ observation.state:
209
+ - ${env.state_dim}
210
+ output_shapes:
211
+ action:
212
+ - ${env.action_dim}
213
+ input_normalization_modes:
214
+ observation.images.laptop: mean_std
215
+ observation.images.phone: mean_std
216
+ observation.state: mean_std
217
+ output_normalization_modes:
218
+ action: mean_std
219
+ vision_backbone: resnet18
220
+ pretrained_backbone_weights: ResNet18_Weights.IMAGENET1K_V1
221
+ replace_final_stride_with_dilation: false
222
+ pre_norm: false
223
+ dim_model: 512
224
+ n_heads: 8
225
+ dim_feedforward: 3200
226
+ feedforward_activation: relu
227
+ n_encoder_layers: 4
228
+ n_decoder_layers: 1
229
+ use_vae: true
230
+ latent_dim: 32
231
+ n_vae_encoder_layers: 4
232
+ temporal_ensemble_coeff: null
233
+ dropout: 0.1
234
+ kl_weight: 10.0
checkpoints/020000/pretrained_model/model.safetensors ADDED
@@ -0,0 +1,3 @@
 
 
 
 
1
+ version https://git-lfs.github.com/spec/v1
2
+ oid sha256:b948b9bd339525c6fcebac5c69f53f2e0111f264ae256ae157d03571834b6aef
3
+ size 206701072
checkpoints/020000/training_state.pth ADDED
@@ -0,0 +1,3 @@
 
 
 
 
1
+ version https://git-lfs.github.com/spec/v1
2
+ oid sha256:2fc33f0117fb6c8ea8907e6dfea4600fe4a172e6b1ad26010397a59f291954a4
3
+ size 412921871
checkpoints/030000/pretrained_model/README.md ADDED
@@ -0,0 +1,12 @@
 
 
 
 
 
 
 
 
 
 
 
 
 
1
+ ---
2
+ library_name: lerobot
3
+ tags:
4
+ - act
5
+ - model_hub_mixin
6
+ - pytorch_model_hub_mixin
7
+ - robotics
8
+ ---
9
+
10
+ This model has been pushed to the Hub using the [PytorchModelHubMixin](https://huggingface.co/docs/huggingface_hub/package_reference/mixins#huggingface_hub.PyTorchModelHubMixin) integration:
11
+ - Library: https://github.com/huggingface/lerobot
12
+ - Docs: [More Information Needed]
checkpoints/030000/pretrained_model/config.json ADDED
@@ -0,0 +1,49 @@
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
+ {
2
+ "chunk_size": 100,
3
+ "dim_feedforward": 3200,
4
+ "dim_model": 512,
5
+ "dropout": 0.1,
6
+ "feedforward_activation": "relu",
7
+ "input_normalization_modes": {
8
+ "observation.images.laptop": "mean_std",
9
+ "observation.images.phone": "mean_std",
10
+ "observation.state": "mean_std"
11
+ },
12
+ "input_shapes": {
13
+ "observation.images.laptop": [
14
+ 3,
15
+ 480,
16
+ 640
17
+ ],
18
+ "observation.images.phone": [
19
+ 3,
20
+ 480,
21
+ 640
22
+ ],
23
+ "observation.state": [
24
+ 6
25
+ ]
26
+ },
27
+ "kl_weight": 10.0,
28
+ "latent_dim": 32,
29
+ "n_action_steps": 100,
30
+ "n_decoder_layers": 1,
31
+ "n_encoder_layers": 4,
32
+ "n_heads": 8,
33
+ "n_obs_steps": 1,
34
+ "n_vae_encoder_layers": 4,
35
+ "output_normalization_modes": {
36
+ "action": "mean_std"
37
+ },
38
+ "output_shapes": {
39
+ "action": [
40
+ 6
41
+ ]
42
+ },
43
+ "pre_norm": false,
44
+ "pretrained_backbone_weights": "ResNet18_Weights.IMAGENET1K_V1",
45
+ "replace_final_stride_with_dilation": false,
46
+ "temporal_ensemble_coeff": null,
47
+ "use_vae": true,
48
+ "vision_backbone": "resnet18"
49
+ }
checkpoints/030000/pretrained_model/config.yaml ADDED
@@ -0,0 +1,234 @@
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
+ resume: false
2
+ device: cuda
3
+ use_amp: false
4
+ seed: 1000
5
+ dataset_repo_id: zijian2022/llmtest107
6
+ video_backend: pyav
7
+ training:
8
+ offline_steps: 80000
9
+ num_workers: 4
10
+ batch_size: 8
11
+ eval_freq: -1
12
+ log_freq: 100
13
+ save_checkpoint: true
14
+ save_freq: 10000
15
+ online_steps: 0
16
+ online_rollout_n_episodes: 1
17
+ online_rollout_batch_size: 1
18
+ online_steps_between_rollouts: 1
19
+ online_sampling_ratio: 0.5
20
+ online_env_seed: null
21
+ online_buffer_capacity: null
22
+ online_buffer_seed_size: 0
23
+ do_online_rollout_async: false
24
+ image_transforms:
25
+ enable: false
26
+ max_num_transforms: 3
27
+ random_order: false
28
+ brightness:
29
+ weight: 1
30
+ min_max:
31
+ - 0.8
32
+ - 1.2
33
+ contrast:
34
+ weight: 1
35
+ min_max:
36
+ - 0.8
37
+ - 1.2
38
+ saturation:
39
+ weight: 1
40
+ min_max:
41
+ - 0.5
42
+ - 1.5
43
+ hue:
44
+ weight: 1
45
+ min_max:
46
+ - -0.05
47
+ - 0.05
48
+ sharpness:
49
+ weight: 1
50
+ min_max:
51
+ - 0.8
52
+ - 1.2
53
+ lr: 1.0e-05
54
+ lr_backbone: 1.0e-05
55
+ weight_decay: 0.0001
56
+ grad_clip_norm: 10
57
+ delta_timestamps:
58
+ action:
59
+ - 0.0
60
+ - 0.03333333333333333
61
+ - 0.06666666666666667
62
+ - 0.1
63
+ - 0.13333333333333333
64
+ - 0.16666666666666666
65
+ - 0.2
66
+ - 0.23333333333333334
67
+ - 0.26666666666666666
68
+ - 0.3
69
+ - 0.3333333333333333
70
+ - 0.36666666666666664
71
+ - 0.4
72
+ - 0.43333333333333335
73
+ - 0.4666666666666667
74
+ - 0.5
75
+ - 0.5333333333333333
76
+ - 0.5666666666666667
77
+ - 0.6
78
+ - 0.6333333333333333
79
+ - 0.6666666666666666
80
+ - 0.7
81
+ - 0.7333333333333333
82
+ - 0.7666666666666667
83
+ - 0.8
84
+ - 0.8333333333333334
85
+ - 0.8666666666666667
86
+ - 0.9
87
+ - 0.9333333333333333
88
+ - 0.9666666666666667
89
+ - 1.0
90
+ - 1.0333333333333334
91
+ - 1.0666666666666667
92
+ - 1.1
93
+ - 1.1333333333333333
94
+ - 1.1666666666666667
95
+ - 1.2
96
+ - 1.2333333333333334
97
+ - 1.2666666666666666
98
+ - 1.3
99
+ - 1.3333333333333333
100
+ - 1.3666666666666667
101
+ - 1.4
102
+ - 1.4333333333333333
103
+ - 1.4666666666666666
104
+ - 1.5
105
+ - 1.5333333333333334
106
+ - 1.5666666666666667
107
+ - 1.6
108
+ - 1.6333333333333333
109
+ - 1.6666666666666667
110
+ - 1.7
111
+ - 1.7333333333333334
112
+ - 1.7666666666666666
113
+ - 1.8
114
+ - 1.8333333333333333
115
+ - 1.8666666666666667
116
+ - 1.9
117
+ - 1.9333333333333333
118
+ - 1.9666666666666666
119
+ - 2.0
120
+ - 2.033333333333333
121
+ - 2.066666666666667
122
+ - 2.1
123
+ - 2.1333333333333333
124
+ - 2.1666666666666665
125
+ - 2.2
126
+ - 2.2333333333333334
127
+ - 2.2666666666666666
128
+ - 2.3
129
+ - 2.3333333333333335
130
+ - 2.3666666666666667
131
+ - 2.4
132
+ - 2.433333333333333
133
+ - 2.466666666666667
134
+ - 2.5
135
+ - 2.533333333333333
136
+ - 2.566666666666667
137
+ - 2.6
138
+ - 2.6333333333333333
139
+ - 2.6666666666666665
140
+ - 2.7
141
+ - 2.7333333333333334
142
+ - 2.7666666666666666
143
+ - 2.8
144
+ - 2.8333333333333335
145
+ - 2.8666666666666667
146
+ - 2.9
147
+ - 2.933333333333333
148
+ - 2.966666666666667
149
+ - 3.0
150
+ - 3.033333333333333
151
+ - 3.066666666666667
152
+ - 3.1
153
+ - 3.1333333333333333
154
+ - 3.1666666666666665
155
+ - 3.2
156
+ - 3.2333333333333334
157
+ - 3.2666666666666666
158
+ - 3.3
159
+ eval:
160
+ n_episodes: 50
161
+ batch_size: 50
162
+ use_async_envs: false
163
+ wandb:
164
+ enable: true
165
+ disable_artifact: false
166
+ project: lerobot
167
+ notes: ''
168
+ fps: 30
169
+ env:
170
+ name: real_world
171
+ task: null
172
+ state_dim: 6
173
+ action_dim: 6
174
+ fps: ${fps}
175
+ override_dataset_stats:
176
+ observation.images.laptop:
177
+ mean:
178
+ - - - 0.485
179
+ - - - 0.456
180
+ - - - 0.406
181
+ std:
182
+ - - - 0.229
183
+ - - - 0.224
184
+ - - - 0.225
185
+ observation.images.phone:
186
+ mean:
187
+ - - - 0.485
188
+ - - - 0.456
189
+ - - - 0.406
190
+ std:
191
+ - - - 0.229
192
+ - - - 0.224
193
+ - - - 0.225
194
+ policy:
195
+ name: act
196
+ n_obs_steps: 1
197
+ chunk_size: 100
198
+ n_action_steps: 100
199
+ input_shapes:
200
+ observation.images.laptop:
201
+ - 3
202
+ - 480
203
+ - 640
204
+ observation.images.phone:
205
+ - 3
206
+ - 480
207
+ - 640
208
+ observation.state:
209
+ - ${env.state_dim}
210
+ output_shapes:
211
+ action:
212
+ - ${env.action_dim}
213
+ input_normalization_modes:
214
+ observation.images.laptop: mean_std
215
+ observation.images.phone: mean_std
216
+ observation.state: mean_std
217
+ output_normalization_modes:
218
+ action: mean_std
219
+ vision_backbone: resnet18
220
+ pretrained_backbone_weights: ResNet18_Weights.IMAGENET1K_V1
221
+ replace_final_stride_with_dilation: false
222
+ pre_norm: false
223
+ dim_model: 512
224
+ n_heads: 8
225
+ dim_feedforward: 3200
226
+ feedforward_activation: relu
227
+ n_encoder_layers: 4
228
+ n_decoder_layers: 1
229
+ use_vae: true
230
+ latent_dim: 32
231
+ n_vae_encoder_layers: 4
232
+ temporal_ensemble_coeff: null
233
+ dropout: 0.1
234
+ kl_weight: 10.0
checkpoints/030000/pretrained_model/model.safetensors ADDED
@@ -0,0 +1,3 @@
 
 
 
 
1
+ version https://git-lfs.github.com/spec/v1
2
+ oid sha256:57ef204268bf2c01669995a2ab24d2e01e17f31d00048d751c86d91e5a6728d6
3
+ size 206701072
checkpoints/030000/training_state.pth ADDED
@@ -0,0 +1,3 @@
 
 
 
 
1
+ version https://git-lfs.github.com/spec/v1
2
+ oid sha256:6995ced07e9b409326437d73f175d8a863a71689e32bd91a72a5ef7a623cff87
3
+ size 412921871
checkpoints/040000/pretrained_model/README.md ADDED
@@ -0,0 +1,12 @@
 
 
 
 
 
 
 
 
 
 
 
 
 
1
+ ---
2
+ library_name: lerobot
3
+ tags:
4
+ - act
5
+ - model_hub_mixin
6
+ - pytorch_model_hub_mixin
7
+ - robotics
8
+ ---
9
+
10
+ This model has been pushed to the Hub using the [PytorchModelHubMixin](https://huggingface.co/docs/huggingface_hub/package_reference/mixins#huggingface_hub.PyTorchModelHubMixin) integration:
11
+ - Library: https://github.com/huggingface/lerobot
12
+ - Docs: [More Information Needed]
checkpoints/040000/pretrained_model/config.json ADDED
@@ -0,0 +1,49 @@
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
+ {
2
+ "chunk_size": 100,
3
+ "dim_feedforward": 3200,
4
+ "dim_model": 512,
5
+ "dropout": 0.1,
6
+ "feedforward_activation": "relu",
7
+ "input_normalization_modes": {
8
+ "observation.images.laptop": "mean_std",
9
+ "observation.images.phone": "mean_std",
10
+ "observation.state": "mean_std"
11
+ },
12
+ "input_shapes": {
13
+ "observation.images.laptop": [
14
+ 3,
15
+ 480,
16
+ 640
17
+ ],
18
+ "observation.images.phone": [
19
+ 3,
20
+ 480,
21
+ 640
22
+ ],
23
+ "observation.state": [
24
+ 6
25
+ ]
26
+ },
27
+ "kl_weight": 10.0,
28
+ "latent_dim": 32,
29
+ "n_action_steps": 100,
30
+ "n_decoder_layers": 1,
31
+ "n_encoder_layers": 4,
32
+ "n_heads": 8,
33
+ "n_obs_steps": 1,
34
+ "n_vae_encoder_layers": 4,
35
+ "output_normalization_modes": {
36
+ "action": "mean_std"
37
+ },
38
+ "output_shapes": {
39
+ "action": [
40
+ 6
41
+ ]
42
+ },
43
+ "pre_norm": false,
44
+ "pretrained_backbone_weights": "ResNet18_Weights.IMAGENET1K_V1",
45
+ "replace_final_stride_with_dilation": false,
46
+ "temporal_ensemble_coeff": null,
47
+ "use_vae": true,
48
+ "vision_backbone": "resnet18"
49
+ }
checkpoints/040000/pretrained_model/config.yaml ADDED
@@ -0,0 +1,234 @@
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
+ resume: false
2
+ device: cuda
3
+ use_amp: false
4
+ seed: 1000
5
+ dataset_repo_id: zijian2022/llmtest107
6
+ video_backend: pyav
7
+ training:
8
+ offline_steps: 80000
9
+ num_workers: 4
10
+ batch_size: 8
11
+ eval_freq: -1
12
+ log_freq: 100
13
+ save_checkpoint: true
14
+ save_freq: 10000
15
+ online_steps: 0
16
+ online_rollout_n_episodes: 1
17
+ online_rollout_batch_size: 1
18
+ online_steps_between_rollouts: 1
19
+ online_sampling_ratio: 0.5
20
+ online_env_seed: null
21
+ online_buffer_capacity: null
22
+ online_buffer_seed_size: 0
23
+ do_online_rollout_async: false
24
+ image_transforms:
25
+ enable: false
26
+ max_num_transforms: 3
27
+ random_order: false
28
+ brightness:
29
+ weight: 1
30
+ min_max:
31
+ - 0.8
32
+ - 1.2
33
+ contrast:
34
+ weight: 1
35
+ min_max:
36
+ - 0.8
37
+ - 1.2
38
+ saturation:
39
+ weight: 1
40
+ min_max:
41
+ - 0.5
42
+ - 1.5
43
+ hue:
44
+ weight: 1
45
+ min_max:
46
+ - -0.05
47
+ - 0.05
48
+ sharpness:
49
+ weight: 1
50
+ min_max:
51
+ - 0.8
52
+ - 1.2
53
+ lr: 1.0e-05
54
+ lr_backbone: 1.0e-05
55
+ weight_decay: 0.0001
56
+ grad_clip_norm: 10
57
+ delta_timestamps:
58
+ action:
59
+ - 0.0
60
+ - 0.03333333333333333
61
+ - 0.06666666666666667
62
+ - 0.1
63
+ - 0.13333333333333333
64
+ - 0.16666666666666666
65
+ - 0.2
66
+ - 0.23333333333333334
67
+ - 0.26666666666666666
68
+ - 0.3
69
+ - 0.3333333333333333
70
+ - 0.36666666666666664
71
+ - 0.4
72
+ - 0.43333333333333335
73
+ - 0.4666666666666667
74
+ - 0.5
75
+ - 0.5333333333333333
76
+ - 0.5666666666666667
77
+ - 0.6
78
+ - 0.6333333333333333
79
+ - 0.6666666666666666
80
+ - 0.7
81
+ - 0.7333333333333333
82
+ - 0.7666666666666667
83
+ - 0.8
84
+ - 0.8333333333333334
85
+ - 0.8666666666666667
86
+ - 0.9
87
+ - 0.9333333333333333
88
+ - 0.9666666666666667
89
+ - 1.0
90
+ - 1.0333333333333334
91
+ - 1.0666666666666667
92
+ - 1.1
93
+ - 1.1333333333333333
94
+ - 1.1666666666666667
95
+ - 1.2
96
+ - 1.2333333333333334
97
+ - 1.2666666666666666
98
+ - 1.3
99
+ - 1.3333333333333333
100
+ - 1.3666666666666667
101
+ - 1.4
102
+ - 1.4333333333333333
103
+ - 1.4666666666666666
104
+ - 1.5
105
+ - 1.5333333333333334
106
+ - 1.5666666666666667
107
+ - 1.6
108
+ - 1.6333333333333333
109
+ - 1.6666666666666667
110
+ - 1.7
111
+ - 1.7333333333333334
112
+ - 1.7666666666666666
113
+ - 1.8
114
+ - 1.8333333333333333
115
+ - 1.8666666666666667
116
+ - 1.9
117
+ - 1.9333333333333333
118
+ - 1.9666666666666666
119
+ - 2.0
120
+ - 2.033333333333333
121
+ - 2.066666666666667
122
+ - 2.1
123
+ - 2.1333333333333333
124
+ - 2.1666666666666665
125
+ - 2.2
126
+ - 2.2333333333333334
127
+ - 2.2666666666666666
128
+ - 2.3
129
+ - 2.3333333333333335
130
+ - 2.3666666666666667
131
+ - 2.4
132
+ - 2.433333333333333
133
+ - 2.466666666666667
134
+ - 2.5
135
+ - 2.533333333333333
136
+ - 2.566666666666667
137
+ - 2.6
138
+ - 2.6333333333333333
139
+ - 2.6666666666666665
140
+ - 2.7
141
+ - 2.7333333333333334
142
+ - 2.7666666666666666
143
+ - 2.8
144
+ - 2.8333333333333335
145
+ - 2.8666666666666667
146
+ - 2.9
147
+ - 2.933333333333333
148
+ - 2.966666666666667
149
+ - 3.0
150
+ - 3.033333333333333
151
+ - 3.066666666666667
152
+ - 3.1
153
+ - 3.1333333333333333
154
+ - 3.1666666666666665
155
+ - 3.2
156
+ - 3.2333333333333334
157
+ - 3.2666666666666666
158
+ - 3.3
159
+ eval:
160
+ n_episodes: 50
161
+ batch_size: 50
162
+ use_async_envs: false
163
+ wandb:
164
+ enable: true
165
+ disable_artifact: false
166
+ project: lerobot
167
+ notes: ''
168
+ fps: 30
169
+ env:
170
+ name: real_world
171
+ task: null
172
+ state_dim: 6
173
+ action_dim: 6
174
+ fps: ${fps}
175
+ override_dataset_stats:
176
+ observation.images.laptop:
177
+ mean:
178
+ - - - 0.485
179
+ - - - 0.456
180
+ - - - 0.406
181
+ std:
182
+ - - - 0.229
183
+ - - - 0.224
184
+ - - - 0.225
185
+ observation.images.phone:
186
+ mean:
187
+ - - - 0.485
188
+ - - - 0.456
189
+ - - - 0.406
190
+ std:
191
+ - - - 0.229
192
+ - - - 0.224
193
+ - - - 0.225
194
+ policy:
195
+ name: act
196
+ n_obs_steps: 1
197
+ chunk_size: 100
198
+ n_action_steps: 100
199
+ input_shapes:
200
+ observation.images.laptop:
201
+ - 3
202
+ - 480
203
+ - 640
204
+ observation.images.phone:
205
+ - 3
206
+ - 480
207
+ - 640
208
+ observation.state:
209
+ - ${env.state_dim}
210
+ output_shapes:
211
+ action:
212
+ - ${env.action_dim}
213
+ input_normalization_modes:
214
+ observation.images.laptop: mean_std
215
+ observation.images.phone: mean_std
216
+ observation.state: mean_std
217
+ output_normalization_modes:
218
+ action: mean_std
219
+ vision_backbone: resnet18
220
+ pretrained_backbone_weights: ResNet18_Weights.IMAGENET1K_V1
221
+ replace_final_stride_with_dilation: false
222
+ pre_norm: false
223
+ dim_model: 512
224
+ n_heads: 8
225
+ dim_feedforward: 3200
226
+ feedforward_activation: relu
227
+ n_encoder_layers: 4
228
+ n_decoder_layers: 1
229
+ use_vae: true
230
+ latent_dim: 32
231
+ n_vae_encoder_layers: 4
232
+ temporal_ensemble_coeff: null
233
+ dropout: 0.1
234
+ kl_weight: 10.0
checkpoints/040000/pretrained_model/model.safetensors ADDED
@@ -0,0 +1,3 @@
 
 
 
 
1
+ version https://git-lfs.github.com/spec/v1
2
+ oid sha256:6ab6a04d9a32bacdf6ef2015a07f0d98e93235389100e25e4549b7b1f8e2da70
3
+ size 206701072
checkpoints/040000/training_state.pth ADDED
@@ -0,0 +1,3 @@
 
 
 
 
1
+ version https://git-lfs.github.com/spec/v1
2
+ oid sha256:66a557074bca8dce771b76a26b177e3aaa3537a6de89a0b1b91be44d8314ae1d
3
+ size 412921871
checkpoints/050000/pretrained_model/README.md ADDED
@@ -0,0 +1,12 @@
 
 
 
 
 
 
 
 
 
 
 
 
 
1
+ ---
2
+ library_name: lerobot
3
+ tags:
4
+ - act
5
+ - model_hub_mixin
6
+ - pytorch_model_hub_mixin
7
+ - robotics
8
+ ---
9
+
10
+ This model has been pushed to the Hub using the [PytorchModelHubMixin](https://huggingface.co/docs/huggingface_hub/package_reference/mixins#huggingface_hub.PyTorchModelHubMixin) integration:
11
+ - Library: https://github.com/huggingface/lerobot
12
+ - Docs: [More Information Needed]
checkpoints/050000/pretrained_model/config.json ADDED
@@ -0,0 +1,49 @@
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
+ {
2
+ "chunk_size": 100,
3
+ "dim_feedforward": 3200,
4
+ "dim_model": 512,
5
+ "dropout": 0.1,
6
+ "feedforward_activation": "relu",
7
+ "input_normalization_modes": {
8
+ "observation.images.laptop": "mean_std",
9
+ "observation.images.phone": "mean_std",
10
+ "observation.state": "mean_std"
11
+ },
12
+ "input_shapes": {
13
+ "observation.images.laptop": [
14
+ 3,
15
+ 480,
16
+ 640
17
+ ],
18
+ "observation.images.phone": [
19
+ 3,
20
+ 480,
21
+ 640
22
+ ],
23
+ "observation.state": [
24
+ 6
25
+ ]
26
+ },
27
+ "kl_weight": 10.0,
28
+ "latent_dim": 32,
29
+ "n_action_steps": 100,
30
+ "n_decoder_layers": 1,
31
+ "n_encoder_layers": 4,
32
+ "n_heads": 8,
33
+ "n_obs_steps": 1,
34
+ "n_vae_encoder_layers": 4,
35
+ "output_normalization_modes": {
36
+ "action": "mean_std"
37
+ },
38
+ "output_shapes": {
39
+ "action": [
40
+ 6
41
+ ]
42
+ },
43
+ "pre_norm": false,
44
+ "pretrained_backbone_weights": "ResNet18_Weights.IMAGENET1K_V1",
45
+ "replace_final_stride_with_dilation": false,
46
+ "temporal_ensemble_coeff": null,
47
+ "use_vae": true,
48
+ "vision_backbone": "resnet18"
49
+ }
checkpoints/050000/pretrained_model/config.yaml ADDED
@@ -0,0 +1,234 @@
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
+ resume: false
2
+ device: cuda
3
+ use_amp: false
4
+ seed: 1000
5
+ dataset_repo_id: zijian2022/llmtest107
6
+ video_backend: pyav
7
+ training:
8
+ offline_steps: 80000
9
+ num_workers: 4
10
+ batch_size: 8
11
+ eval_freq: -1
12
+ log_freq: 100
13
+ save_checkpoint: true
14
+ save_freq: 10000
15
+ online_steps: 0
16
+ online_rollout_n_episodes: 1
17
+ online_rollout_batch_size: 1
18
+ online_steps_between_rollouts: 1
19
+ online_sampling_ratio: 0.5
20
+ online_env_seed: null
21
+ online_buffer_capacity: null
22
+ online_buffer_seed_size: 0
23
+ do_online_rollout_async: false
24
+ image_transforms:
25
+ enable: false
26
+ max_num_transforms: 3
27
+ random_order: false
28
+ brightness:
29
+ weight: 1
30
+ min_max:
31
+ - 0.8
32
+ - 1.2
33
+ contrast:
34
+ weight: 1
35
+ min_max:
36
+ - 0.8
37
+ - 1.2
38
+ saturation:
39
+ weight: 1
40
+ min_max:
41
+ - 0.5
42
+ - 1.5
43
+ hue:
44
+ weight: 1
45
+ min_max:
46
+ - -0.05
47
+ - 0.05
48
+ sharpness:
49
+ weight: 1
50
+ min_max:
51
+ - 0.8
52
+ - 1.2
53
+ lr: 1.0e-05
54
+ lr_backbone: 1.0e-05
55
+ weight_decay: 0.0001
56
+ grad_clip_norm: 10
57
+ delta_timestamps:
58
+ action:
59
+ - 0.0
60
+ - 0.03333333333333333
61
+ - 0.06666666666666667
62
+ - 0.1
63
+ - 0.13333333333333333
64
+ - 0.16666666666666666
65
+ - 0.2
66
+ - 0.23333333333333334
67
+ - 0.26666666666666666
68
+ - 0.3
69
+ - 0.3333333333333333
70
+ - 0.36666666666666664
71
+ - 0.4
72
+ - 0.43333333333333335
73
+ - 0.4666666666666667
74
+ - 0.5
75
+ - 0.5333333333333333
76
+ - 0.5666666666666667
77
+ - 0.6
78
+ - 0.6333333333333333
79
+ - 0.6666666666666666
80
+ - 0.7
81
+ - 0.7333333333333333
82
+ - 0.7666666666666667
83
+ - 0.8
84
+ - 0.8333333333333334
85
+ - 0.8666666666666667
86
+ - 0.9
87
+ - 0.9333333333333333
88
+ - 0.9666666666666667
89
+ - 1.0
90
+ - 1.0333333333333334
91
+ - 1.0666666666666667
92
+ - 1.1
93
+ - 1.1333333333333333
94
+ - 1.1666666666666667
95
+ - 1.2
96
+ - 1.2333333333333334
97
+ - 1.2666666666666666
98
+ - 1.3
99
+ - 1.3333333333333333
100
+ - 1.3666666666666667
101
+ - 1.4
102
+ - 1.4333333333333333
103
+ - 1.4666666666666666
104
+ - 1.5
105
+ - 1.5333333333333334
106
+ - 1.5666666666666667
107
+ - 1.6
108
+ - 1.6333333333333333
109
+ - 1.6666666666666667
110
+ - 1.7
111
+ - 1.7333333333333334
112
+ - 1.7666666666666666
113
+ - 1.8
114
+ - 1.8333333333333333
115
+ - 1.8666666666666667
116
+ - 1.9
117
+ - 1.9333333333333333
118
+ - 1.9666666666666666
119
+ - 2.0
120
+ - 2.033333333333333
121
+ - 2.066666666666667
122
+ - 2.1
123
+ - 2.1333333333333333
124
+ - 2.1666666666666665
125
+ - 2.2
126
+ - 2.2333333333333334
127
+ - 2.2666666666666666
128
+ - 2.3
129
+ - 2.3333333333333335
130
+ - 2.3666666666666667
131
+ - 2.4
132
+ - 2.433333333333333
133
+ - 2.466666666666667
134
+ - 2.5
135
+ - 2.533333333333333
136
+ - 2.566666666666667
137
+ - 2.6
138
+ - 2.6333333333333333
139
+ - 2.6666666666666665
140
+ - 2.7
141
+ - 2.7333333333333334
142
+ - 2.7666666666666666
143
+ - 2.8
144
+ - 2.8333333333333335
145
+ - 2.8666666666666667
146
+ - 2.9
147
+ - 2.933333333333333
148
+ - 2.966666666666667
149
+ - 3.0
150
+ - 3.033333333333333
151
+ - 3.066666666666667
152
+ - 3.1
153
+ - 3.1333333333333333
154
+ - 3.1666666666666665
155
+ - 3.2
156
+ - 3.2333333333333334
157
+ - 3.2666666666666666
158
+ - 3.3
159
+ eval:
160
+ n_episodes: 50
161
+ batch_size: 50
162
+ use_async_envs: false
163
+ wandb:
164
+ enable: true
165
+ disable_artifact: false
166
+ project: lerobot
167
+ notes: ''
168
+ fps: 30
169
+ env:
170
+ name: real_world
171
+ task: null
172
+ state_dim: 6
173
+ action_dim: 6
174
+ fps: ${fps}
175
+ override_dataset_stats:
176
+ observation.images.laptop:
177
+ mean:
178
+ - - - 0.485
179
+ - - - 0.456
180
+ - - - 0.406
181
+ std:
182
+ - - - 0.229
183
+ - - - 0.224
184
+ - - - 0.225
185
+ observation.images.phone:
186
+ mean:
187
+ - - - 0.485
188
+ - - - 0.456
189
+ - - - 0.406
190
+ std:
191
+ - - - 0.229
192
+ - - - 0.224
193
+ - - - 0.225
194
+ policy:
195
+ name: act
196
+ n_obs_steps: 1
197
+ chunk_size: 100
198
+ n_action_steps: 100
199
+ input_shapes:
200
+ observation.images.laptop:
201
+ - 3
202
+ - 480
203
+ - 640
204
+ observation.images.phone:
205
+ - 3
206
+ - 480
207
+ - 640
208
+ observation.state:
209
+ - ${env.state_dim}
210
+ output_shapes:
211
+ action:
212
+ - ${env.action_dim}
213
+ input_normalization_modes:
214
+ observation.images.laptop: mean_std
215
+ observation.images.phone: mean_std
216
+ observation.state: mean_std
217
+ output_normalization_modes:
218
+ action: mean_std
219
+ vision_backbone: resnet18
220
+ pretrained_backbone_weights: ResNet18_Weights.IMAGENET1K_V1
221
+ replace_final_stride_with_dilation: false
222
+ pre_norm: false
223
+ dim_model: 512
224
+ n_heads: 8
225
+ dim_feedforward: 3200
226
+ feedforward_activation: relu
227
+ n_encoder_layers: 4
228
+ n_decoder_layers: 1
229
+ use_vae: true
230
+ latent_dim: 32
231
+ n_vae_encoder_layers: 4
232
+ temporal_ensemble_coeff: null
233
+ dropout: 0.1
234
+ kl_weight: 10.0
checkpoints/050000/pretrained_model/model.safetensors ADDED
@@ -0,0 +1,3 @@
 
 
 
 
1
+ version https://git-lfs.github.com/spec/v1
2
+ oid sha256:9e3b6c4ecc3cb2593a57f4fdc3e777d9b27287855f5e36ada106a14ea30b0874
3
+ size 206701072
checkpoints/050000/training_state.pth ADDED
@@ -0,0 +1,3 @@
 
 
 
 
1
+ version https://git-lfs.github.com/spec/v1
2
+ oid sha256:2e07538029891154b82e3b717302806e087f8b5ed2b82e9c029836e52c4920eb
3
+ size 412921871
checkpoints/060000/pretrained_model/README.md ADDED
@@ -0,0 +1,12 @@
 
 
 
 
 
 
 
 
 
 
 
 
 
1
+ ---
2
+ library_name: lerobot
3
+ tags:
4
+ - act
5
+ - model_hub_mixin
6
+ - pytorch_model_hub_mixin
7
+ - robotics
8
+ ---
9
+
10
+ This model has been pushed to the Hub using the [PytorchModelHubMixin](https://huggingface.co/docs/huggingface_hub/package_reference/mixins#huggingface_hub.PyTorchModelHubMixin) integration:
11
+ - Library: https://github.com/huggingface/lerobot
12
+ - Docs: [More Information Needed]
checkpoints/060000/pretrained_model/config.json ADDED
@@ -0,0 +1,49 @@
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
+ {
2
+ "chunk_size": 100,
3
+ "dim_feedforward": 3200,
4
+ "dim_model": 512,
5
+ "dropout": 0.1,
6
+ "feedforward_activation": "relu",
7
+ "input_normalization_modes": {
8
+ "observation.images.laptop": "mean_std",
9
+ "observation.images.phone": "mean_std",
10
+ "observation.state": "mean_std"
11
+ },
12
+ "input_shapes": {
13
+ "observation.images.laptop": [
14
+ 3,
15
+ 480,
16
+ 640
17
+ ],
18
+ "observation.images.phone": [
19
+ 3,
20
+ 480,
21
+ 640
22
+ ],
23
+ "observation.state": [
24
+ 6
25
+ ]
26
+ },
27
+ "kl_weight": 10.0,
28
+ "latent_dim": 32,
29
+ "n_action_steps": 100,
30
+ "n_decoder_layers": 1,
31
+ "n_encoder_layers": 4,
32
+ "n_heads": 8,
33
+ "n_obs_steps": 1,
34
+ "n_vae_encoder_layers": 4,
35
+ "output_normalization_modes": {
36
+ "action": "mean_std"
37
+ },
38
+ "output_shapes": {
39
+ "action": [
40
+ 6
41
+ ]
42
+ },
43
+ "pre_norm": false,
44
+ "pretrained_backbone_weights": "ResNet18_Weights.IMAGENET1K_V1",
45
+ "replace_final_stride_with_dilation": false,
46
+ "temporal_ensemble_coeff": null,
47
+ "use_vae": true,
48
+ "vision_backbone": "resnet18"
49
+ }
checkpoints/060000/pretrained_model/config.yaml ADDED
@@ -0,0 +1,234 @@
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
+ resume: false
2
+ device: cuda
3
+ use_amp: false
4
+ seed: 1000
5
+ dataset_repo_id: zijian2022/llmtest107
6
+ video_backend: pyav
7
+ training:
8
+ offline_steps: 80000
9
+ num_workers: 4
10
+ batch_size: 8
11
+ eval_freq: -1
12
+ log_freq: 100
13
+ save_checkpoint: true
14
+ save_freq: 10000
15
+ online_steps: 0
16
+ online_rollout_n_episodes: 1
17
+ online_rollout_batch_size: 1
18
+ online_steps_between_rollouts: 1
19
+ online_sampling_ratio: 0.5
20
+ online_env_seed: null
21
+ online_buffer_capacity: null
22
+ online_buffer_seed_size: 0
23
+ do_online_rollout_async: false
24
+ image_transforms:
25
+ enable: false
26
+ max_num_transforms: 3
27
+ random_order: false
28
+ brightness:
29
+ weight: 1
30
+ min_max:
31
+ - 0.8
32
+ - 1.2
33
+ contrast:
34
+ weight: 1
35
+ min_max:
36
+ - 0.8
37
+ - 1.2
38
+ saturation:
39
+ weight: 1
40
+ min_max:
41
+ - 0.5
42
+ - 1.5
43
+ hue:
44
+ weight: 1
45
+ min_max:
46
+ - -0.05
47
+ - 0.05
48
+ sharpness:
49
+ weight: 1
50
+ min_max:
51
+ - 0.8
52
+ - 1.2
53
+ lr: 1.0e-05
54
+ lr_backbone: 1.0e-05
55
+ weight_decay: 0.0001
56
+ grad_clip_norm: 10
57
+ delta_timestamps:
58
+ action:
59
+ - 0.0
60
+ - 0.03333333333333333
61
+ - 0.06666666666666667
62
+ - 0.1
63
+ - 0.13333333333333333
64
+ - 0.16666666666666666
65
+ - 0.2
66
+ - 0.23333333333333334
67
+ - 0.26666666666666666
68
+ - 0.3
69
+ - 0.3333333333333333
70
+ - 0.36666666666666664
71
+ - 0.4
72
+ - 0.43333333333333335
73
+ - 0.4666666666666667
74
+ - 0.5
75
+ - 0.5333333333333333
76
+ - 0.5666666666666667
77
+ - 0.6
78
+ - 0.6333333333333333
79
+ - 0.6666666666666666
80
+ - 0.7
81
+ - 0.7333333333333333
82
+ - 0.7666666666666667
83
+ - 0.8
84
+ - 0.8333333333333334
85
+ - 0.8666666666666667
86
+ - 0.9
87
+ - 0.9333333333333333
88
+ - 0.9666666666666667
89
+ - 1.0
90
+ - 1.0333333333333334
91
+ - 1.0666666666666667
92
+ - 1.1
93
+ - 1.1333333333333333
94
+ - 1.1666666666666667
95
+ - 1.2
96
+ - 1.2333333333333334
97
+ - 1.2666666666666666
98
+ - 1.3
99
+ - 1.3333333333333333
100
+ - 1.3666666666666667
101
+ - 1.4
102
+ - 1.4333333333333333
103
+ - 1.4666666666666666
104
+ - 1.5
105
+ - 1.5333333333333334
106
+ - 1.5666666666666667
107
+ - 1.6
108
+ - 1.6333333333333333
109
+ - 1.6666666666666667
110
+ - 1.7
111
+ - 1.7333333333333334
112
+ - 1.7666666666666666
113
+ - 1.8
114
+ - 1.8333333333333333
115
+ - 1.8666666666666667
116
+ - 1.9
117
+ - 1.9333333333333333
118
+ - 1.9666666666666666
119
+ - 2.0
120
+ - 2.033333333333333
121
+ - 2.066666666666667
122
+ - 2.1
123
+ - 2.1333333333333333
124
+ - 2.1666666666666665
125
+ - 2.2
126
+ - 2.2333333333333334
127
+ - 2.2666666666666666
128
+ - 2.3
129
+ - 2.3333333333333335
130
+ - 2.3666666666666667
131
+ - 2.4
132
+ - 2.433333333333333
133
+ - 2.466666666666667
134
+ - 2.5
135
+ - 2.533333333333333
136
+ - 2.566666666666667
137
+ - 2.6
138
+ - 2.6333333333333333
139
+ - 2.6666666666666665
140
+ - 2.7
141
+ - 2.7333333333333334
142
+ - 2.7666666666666666
143
+ - 2.8
144
+ - 2.8333333333333335
145
+ - 2.8666666666666667
146
+ - 2.9
147
+ - 2.933333333333333
148
+ - 2.966666666666667
149
+ - 3.0
150
+ - 3.033333333333333
151
+ - 3.066666666666667
152
+ - 3.1
153
+ - 3.1333333333333333
154
+ - 3.1666666666666665
155
+ - 3.2
156
+ - 3.2333333333333334
157
+ - 3.2666666666666666
158
+ - 3.3
159
+ eval:
160
+ n_episodes: 50
161
+ batch_size: 50
162
+ use_async_envs: false
163
+ wandb:
164
+ enable: true
165
+ disable_artifact: false
166
+ project: lerobot
167
+ notes: ''
168
+ fps: 30
169
+ env:
170
+ name: real_world
171
+ task: null
172
+ state_dim: 6
173
+ action_dim: 6
174
+ fps: ${fps}
175
+ override_dataset_stats:
176
+ observation.images.laptop:
177
+ mean:
178
+ - - - 0.485
179
+ - - - 0.456
180
+ - - - 0.406
181
+ std:
182
+ - - - 0.229
183
+ - - - 0.224
184
+ - - - 0.225
185
+ observation.images.phone:
186
+ mean:
187
+ - - - 0.485
188
+ - - - 0.456
189
+ - - - 0.406
190
+ std:
191
+ - - - 0.229
192
+ - - - 0.224
193
+ - - - 0.225
194
+ policy:
195
+ name: act
196
+ n_obs_steps: 1
197
+ chunk_size: 100
198
+ n_action_steps: 100
199
+ input_shapes:
200
+ observation.images.laptop:
201
+ - 3
202
+ - 480
203
+ - 640
204
+ observation.images.phone:
205
+ - 3
206
+ - 480
207
+ - 640
208
+ observation.state:
209
+ - ${env.state_dim}
210
+ output_shapes:
211
+ action:
212
+ - ${env.action_dim}
213
+ input_normalization_modes:
214
+ observation.images.laptop: mean_std
215
+ observation.images.phone: mean_std
216
+ observation.state: mean_std
217
+ output_normalization_modes:
218
+ action: mean_std
219
+ vision_backbone: resnet18
220
+ pretrained_backbone_weights: ResNet18_Weights.IMAGENET1K_V1
221
+ replace_final_stride_with_dilation: false
222
+ pre_norm: false
223
+ dim_model: 512
224
+ n_heads: 8
225
+ dim_feedforward: 3200
226
+ feedforward_activation: relu
227
+ n_encoder_layers: 4
228
+ n_decoder_layers: 1
229
+ use_vae: true
230
+ latent_dim: 32
231
+ n_vae_encoder_layers: 4
232
+ temporal_ensemble_coeff: null
233
+ dropout: 0.1
234
+ kl_weight: 10.0
checkpoints/060000/pretrained_model/model.safetensors ADDED
@@ -0,0 +1,3 @@
 
 
 
 
1
+ version https://git-lfs.github.com/spec/v1
2
+ oid sha256:cb895c842e4836161625edde791795585d7399255dbb25b7b3fdbce5787c8675
3
+ size 206701072
checkpoints/060000/training_state.pth ADDED
@@ -0,0 +1,3 @@
 
 
 
 
1
+ version https://git-lfs.github.com/spec/v1
2
+ oid sha256:3ac0779da2f79ab56c0cfa5c70d3a991ade44ba258a137b25b12ec6fefba445b
3
+ size 412921871
checkpoints/070000/pretrained_model/README.md ADDED
@@ -0,0 +1,12 @@
 
 
 
 
 
 
 
 
 
 
 
 
 
1
+ ---
2
+ library_name: lerobot
3
+ tags:
4
+ - act
5
+ - model_hub_mixin
6
+ - pytorch_model_hub_mixin
7
+ - robotics
8
+ ---
9
+
10
+ This model has been pushed to the Hub using the [PytorchModelHubMixin](https://huggingface.co/docs/huggingface_hub/package_reference/mixins#huggingface_hub.PyTorchModelHubMixin) integration:
11
+ - Library: https://github.com/huggingface/lerobot
12
+ - Docs: [More Information Needed]
checkpoints/070000/pretrained_model/config.json ADDED
@@ -0,0 +1,49 @@
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
+ {
2
+ "chunk_size": 100,
3
+ "dim_feedforward": 3200,
4
+ "dim_model": 512,
5
+ "dropout": 0.1,
6
+ "feedforward_activation": "relu",
7
+ "input_normalization_modes": {
8
+ "observation.images.laptop": "mean_std",
9
+ "observation.images.phone": "mean_std",
10
+ "observation.state": "mean_std"
11
+ },
12
+ "input_shapes": {
13
+ "observation.images.laptop": [
14
+ 3,
15
+ 480,
16
+ 640
17
+ ],
18
+ "observation.images.phone": [
19
+ 3,
20
+ 480,
21
+ 640
22
+ ],
23
+ "observation.state": [
24
+ 6
25
+ ]
26
+ },
27
+ "kl_weight": 10.0,
28
+ "latent_dim": 32,
29
+ "n_action_steps": 100,
30
+ "n_decoder_layers": 1,
31
+ "n_encoder_layers": 4,
32
+ "n_heads": 8,
33
+ "n_obs_steps": 1,
34
+ "n_vae_encoder_layers": 4,
35
+ "output_normalization_modes": {
36
+ "action": "mean_std"
37
+ },
38
+ "output_shapes": {
39
+ "action": [
40
+ 6
41
+ ]
42
+ },
43
+ "pre_norm": false,
44
+ "pretrained_backbone_weights": "ResNet18_Weights.IMAGENET1K_V1",
45
+ "replace_final_stride_with_dilation": false,
46
+ "temporal_ensemble_coeff": null,
47
+ "use_vae": true,
48
+ "vision_backbone": "resnet18"
49
+ }
checkpoints/070000/pretrained_model/config.yaml ADDED
@@ -0,0 +1,234 @@
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
+ resume: false
2
+ device: cuda
3
+ use_amp: false
4
+ seed: 1000
5
+ dataset_repo_id: zijian2022/llmtest107
6
+ video_backend: pyav
7
+ training:
8
+ offline_steps: 80000
9
+ num_workers: 4
10
+ batch_size: 8
11
+ eval_freq: -1
12
+ log_freq: 100
13
+ save_checkpoint: true
14
+ save_freq: 10000
15
+ online_steps: 0
16
+ online_rollout_n_episodes: 1
17
+ online_rollout_batch_size: 1
18
+ online_steps_between_rollouts: 1
19
+ online_sampling_ratio: 0.5
20
+ online_env_seed: null
21
+ online_buffer_capacity: null
22
+ online_buffer_seed_size: 0
23
+ do_online_rollout_async: false
24
+ image_transforms:
25
+ enable: false
26
+ max_num_transforms: 3
27
+ random_order: false
28
+ brightness:
29
+ weight: 1
30
+ min_max:
31
+ - 0.8
32
+ - 1.2
33
+ contrast:
34
+ weight: 1
35
+ min_max:
36
+ - 0.8
37
+ - 1.2
38
+ saturation:
39
+ weight: 1
40
+ min_max:
41
+ - 0.5
42
+ - 1.5
43
+ hue:
44
+ weight: 1
45
+ min_max:
46
+ - -0.05
47
+ - 0.05
48
+ sharpness:
49
+ weight: 1
50
+ min_max:
51
+ - 0.8
52
+ - 1.2
53
+ lr: 1.0e-05
54
+ lr_backbone: 1.0e-05
55
+ weight_decay: 0.0001
56
+ grad_clip_norm: 10
57
+ delta_timestamps:
58
+ action:
59
+ - 0.0
60
+ - 0.03333333333333333
61
+ - 0.06666666666666667
62
+ - 0.1
63
+ - 0.13333333333333333
64
+ - 0.16666666666666666
65
+ - 0.2
66
+ - 0.23333333333333334
67
+ - 0.26666666666666666
68
+ - 0.3
69
+ - 0.3333333333333333
70
+ - 0.36666666666666664
71
+ - 0.4
72
+ - 0.43333333333333335
73
+ - 0.4666666666666667
74
+ - 0.5
75
+ - 0.5333333333333333
76
+ - 0.5666666666666667
77
+ - 0.6
78
+ - 0.6333333333333333
79
+ - 0.6666666666666666
80
+ - 0.7
81
+ - 0.7333333333333333
82
+ - 0.7666666666666667
83
+ - 0.8
84
+ - 0.8333333333333334
85
+ - 0.8666666666666667
86
+ - 0.9
87
+ - 0.9333333333333333
88
+ - 0.9666666666666667
89
+ - 1.0
90
+ - 1.0333333333333334
91
+ - 1.0666666666666667
92
+ - 1.1
93
+ - 1.1333333333333333
94
+ - 1.1666666666666667
95
+ - 1.2
96
+ - 1.2333333333333334
97
+ - 1.2666666666666666
98
+ - 1.3
99
+ - 1.3333333333333333
100
+ - 1.3666666666666667
101
+ - 1.4
102
+ - 1.4333333333333333
103
+ - 1.4666666666666666
104
+ - 1.5
105
+ - 1.5333333333333334
106
+ - 1.5666666666666667
107
+ - 1.6
108
+ - 1.6333333333333333
109
+ - 1.6666666666666667
110
+ - 1.7
111
+ - 1.7333333333333334
112
+ - 1.7666666666666666
113
+ - 1.8
114
+ - 1.8333333333333333
115
+ - 1.8666666666666667
116
+ - 1.9
117
+ - 1.9333333333333333
118
+ - 1.9666666666666666
119
+ - 2.0
120
+ - 2.033333333333333
121
+ - 2.066666666666667
122
+ - 2.1
123
+ - 2.1333333333333333
124
+ - 2.1666666666666665
125
+ - 2.2
126
+ - 2.2333333333333334
127
+ - 2.2666666666666666
128
+ - 2.3
129
+ - 2.3333333333333335
130
+ - 2.3666666666666667
131
+ - 2.4
132
+ - 2.433333333333333
133
+ - 2.466666666666667
134
+ - 2.5
135
+ - 2.533333333333333
136
+ - 2.566666666666667
137
+ - 2.6
138
+ - 2.6333333333333333
139
+ - 2.6666666666666665
140
+ - 2.7
141
+ - 2.7333333333333334
142
+ - 2.7666666666666666
143
+ - 2.8
144
+ - 2.8333333333333335
145
+ - 2.8666666666666667
146
+ - 2.9
147
+ - 2.933333333333333
148
+ - 2.966666666666667
149
+ - 3.0
150
+ - 3.033333333333333
151
+ - 3.066666666666667
152
+ - 3.1
153
+ - 3.1333333333333333
154
+ - 3.1666666666666665
155
+ - 3.2
156
+ - 3.2333333333333334
157
+ - 3.2666666666666666
158
+ - 3.3
159
+ eval:
160
+ n_episodes: 50
161
+ batch_size: 50
162
+ use_async_envs: false
163
+ wandb:
164
+ enable: true
165
+ disable_artifact: false
166
+ project: lerobot
167
+ notes: ''
168
+ fps: 30
169
+ env:
170
+ name: real_world
171
+ task: null
172
+ state_dim: 6
173
+ action_dim: 6
174
+ fps: ${fps}
175
+ override_dataset_stats:
176
+ observation.images.laptop:
177
+ mean:
178
+ - - - 0.485
179
+ - - - 0.456
180
+ - - - 0.406
181
+ std:
182
+ - - - 0.229
183
+ - - - 0.224
184
+ - - - 0.225
185
+ observation.images.phone:
186
+ mean:
187
+ - - - 0.485
188
+ - - - 0.456
189
+ - - - 0.406
190
+ std:
191
+ - - - 0.229
192
+ - - - 0.224
193
+ - - - 0.225
194
+ policy:
195
+ name: act
196
+ n_obs_steps: 1
197
+ chunk_size: 100
198
+ n_action_steps: 100
199
+ input_shapes:
200
+ observation.images.laptop:
201
+ - 3
202
+ - 480
203
+ - 640
204
+ observation.images.phone:
205
+ - 3
206
+ - 480
207
+ - 640
208
+ observation.state:
209
+ - ${env.state_dim}
210
+ output_shapes:
211
+ action:
212
+ - ${env.action_dim}
213
+ input_normalization_modes:
214
+ observation.images.laptop: mean_std
215
+ observation.images.phone: mean_std
216
+ observation.state: mean_std
217
+ output_normalization_modes:
218
+ action: mean_std
219
+ vision_backbone: resnet18
220
+ pretrained_backbone_weights: ResNet18_Weights.IMAGENET1K_V1
221
+ replace_final_stride_with_dilation: false
222
+ pre_norm: false
223
+ dim_model: 512
224
+ n_heads: 8
225
+ dim_feedforward: 3200
226
+ feedforward_activation: relu
227
+ n_encoder_layers: 4
228
+ n_decoder_layers: 1
229
+ use_vae: true
230
+ latent_dim: 32
231
+ n_vae_encoder_layers: 4
232
+ temporal_ensemble_coeff: null
233
+ dropout: 0.1
234
+ kl_weight: 10.0
checkpoints/070000/pretrained_model/model.safetensors ADDED
@@ -0,0 +1,3 @@
 
 
 
 
1
+ version https://git-lfs.github.com/spec/v1
2
+ oid sha256:3221ce4d94d234197644ef239e81f9ca71c4e30bb3ab287755ab7c49cdcdc77b
3
+ size 206701072
checkpoints/070000/training_state.pth ADDED
@@ -0,0 +1,3 @@
 
 
 
 
1
+ version https://git-lfs.github.com/spec/v1
2
+ oid sha256:2282ba2f76690e5ae78651c321df00a701c245e66fe4c6653a5c0774f488310f
3
+ size 412921871
checkpoints/080000/pretrained_model/README.md ADDED
@@ -0,0 +1,12 @@
 
 
 
 
 
 
 
 
 
 
 
 
 
1
+ ---
2
+ library_name: lerobot
3
+ tags:
4
+ - act
5
+ - model_hub_mixin
6
+ - pytorch_model_hub_mixin
7
+ - robotics
8
+ ---
9
+
10
+ This model has been pushed to the Hub using the [PytorchModelHubMixin](https://huggingface.co/docs/huggingface_hub/package_reference/mixins#huggingface_hub.PyTorchModelHubMixin) integration:
11
+ - Library: https://github.com/huggingface/lerobot
12
+ - Docs: [More Information Needed]
checkpoints/080000/pretrained_model/config.json ADDED
@@ -0,0 +1,49 @@
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
+ {
2
+ "chunk_size": 100,
3
+ "dim_feedforward": 3200,
4
+ "dim_model": 512,
5
+ "dropout": 0.1,
6
+ "feedforward_activation": "relu",
7
+ "input_normalization_modes": {
8
+ "observation.images.laptop": "mean_std",
9
+ "observation.images.phone": "mean_std",
10
+ "observation.state": "mean_std"
11
+ },
12
+ "input_shapes": {
13
+ "observation.images.laptop": [
14
+ 3,
15
+ 480,
16
+ 640
17
+ ],
18
+ "observation.images.phone": [
19
+ 3,
20
+ 480,
21
+ 640
22
+ ],
23
+ "observation.state": [
24
+ 6
25
+ ]
26
+ },
27
+ "kl_weight": 10.0,
28
+ "latent_dim": 32,
29
+ "n_action_steps": 100,
30
+ "n_decoder_layers": 1,
31
+ "n_encoder_layers": 4,
32
+ "n_heads": 8,
33
+ "n_obs_steps": 1,
34
+ "n_vae_encoder_layers": 4,
35
+ "output_normalization_modes": {
36
+ "action": "mean_std"
37
+ },
38
+ "output_shapes": {
39
+ "action": [
40
+ 6
41
+ ]
42
+ },
43
+ "pre_norm": false,
44
+ "pretrained_backbone_weights": "ResNet18_Weights.IMAGENET1K_V1",
45
+ "replace_final_stride_with_dilation": false,
46
+ "temporal_ensemble_coeff": null,
47
+ "use_vae": true,
48
+ "vision_backbone": "resnet18"
49
+ }
checkpoints/080000/pretrained_model/config.yaml ADDED
@@ -0,0 +1,234 @@
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
+ resume: false
2
+ device: cuda
3
+ use_amp: false
4
+ seed: 1000
5
+ dataset_repo_id: zijian2022/llmtest107
6
+ video_backend: pyav
7
+ training:
8
+ offline_steps: 80000
9
+ num_workers: 4
10
+ batch_size: 8
11
+ eval_freq: -1
12
+ log_freq: 100
13
+ save_checkpoint: true
14
+ save_freq: 10000
15
+ online_steps: 0
16
+ online_rollout_n_episodes: 1
17
+ online_rollout_batch_size: 1
18
+ online_steps_between_rollouts: 1
19
+ online_sampling_ratio: 0.5
20
+ online_env_seed: null
21
+ online_buffer_capacity: null
22
+ online_buffer_seed_size: 0
23
+ do_online_rollout_async: false
24
+ image_transforms:
25
+ enable: false
26
+ max_num_transforms: 3
27
+ random_order: false
28
+ brightness:
29
+ weight: 1
30
+ min_max:
31
+ - 0.8
32
+ - 1.2
33
+ contrast:
34
+ weight: 1
35
+ min_max:
36
+ - 0.8
37
+ - 1.2
38
+ saturation:
39
+ weight: 1
40
+ min_max:
41
+ - 0.5
42
+ - 1.5
43
+ hue:
44
+ weight: 1
45
+ min_max:
46
+ - -0.05
47
+ - 0.05
48
+ sharpness:
49
+ weight: 1
50
+ min_max:
51
+ - 0.8
52
+ - 1.2
53
+ lr: 1.0e-05
54
+ lr_backbone: 1.0e-05
55
+ weight_decay: 0.0001
56
+ grad_clip_norm: 10
57
+ delta_timestamps:
58
+ action:
59
+ - 0.0
60
+ - 0.03333333333333333
61
+ - 0.06666666666666667
62
+ - 0.1
63
+ - 0.13333333333333333
64
+ - 0.16666666666666666
65
+ - 0.2
66
+ - 0.23333333333333334
67
+ - 0.26666666666666666
68
+ - 0.3
69
+ - 0.3333333333333333
70
+ - 0.36666666666666664
71
+ - 0.4
72
+ - 0.43333333333333335
73
+ - 0.4666666666666667
74
+ - 0.5
75
+ - 0.5333333333333333
76
+ - 0.5666666666666667
77
+ - 0.6
78
+ - 0.6333333333333333
79
+ - 0.6666666666666666
80
+ - 0.7
81
+ - 0.7333333333333333
82
+ - 0.7666666666666667
83
+ - 0.8
84
+ - 0.8333333333333334
85
+ - 0.8666666666666667
86
+ - 0.9
87
+ - 0.9333333333333333
88
+ - 0.9666666666666667
89
+ - 1.0
90
+ - 1.0333333333333334
91
+ - 1.0666666666666667
92
+ - 1.1
93
+ - 1.1333333333333333
94
+ - 1.1666666666666667
95
+ - 1.2
96
+ - 1.2333333333333334
97
+ - 1.2666666666666666
98
+ - 1.3
99
+ - 1.3333333333333333
100
+ - 1.3666666666666667
101
+ - 1.4
102
+ - 1.4333333333333333
103
+ - 1.4666666666666666
104
+ - 1.5
105
+ - 1.5333333333333334
106
+ - 1.5666666666666667
107
+ - 1.6
108
+ - 1.6333333333333333
109
+ - 1.6666666666666667
110
+ - 1.7
111
+ - 1.7333333333333334
112
+ - 1.7666666666666666
113
+ - 1.8
114
+ - 1.8333333333333333
115
+ - 1.8666666666666667
116
+ - 1.9
117
+ - 1.9333333333333333
118
+ - 1.9666666666666666
119
+ - 2.0
120
+ - 2.033333333333333
121
+ - 2.066666666666667
122
+ - 2.1
123
+ - 2.1333333333333333
124
+ - 2.1666666666666665
125
+ - 2.2
126
+ - 2.2333333333333334
127
+ - 2.2666666666666666
128
+ - 2.3
129
+ - 2.3333333333333335
130
+ - 2.3666666666666667
131
+ - 2.4
132
+ - 2.433333333333333
133
+ - 2.466666666666667
134
+ - 2.5
135
+ - 2.533333333333333
136
+ - 2.566666666666667
137
+ - 2.6
138
+ - 2.6333333333333333
139
+ - 2.6666666666666665
140
+ - 2.7
141
+ - 2.7333333333333334
142
+ - 2.7666666666666666
143
+ - 2.8
144
+ - 2.8333333333333335
145
+ - 2.8666666666666667
146
+ - 2.9
147
+ - 2.933333333333333
148
+ - 2.966666666666667
149
+ - 3.0
150
+ - 3.033333333333333
151
+ - 3.066666666666667
152
+ - 3.1
153
+ - 3.1333333333333333
154
+ - 3.1666666666666665
155
+ - 3.2
156
+ - 3.2333333333333334
157
+ - 3.2666666666666666
158
+ - 3.3
159
+ eval:
160
+ n_episodes: 50
161
+ batch_size: 50
162
+ use_async_envs: false
163
+ wandb:
164
+ enable: true
165
+ disable_artifact: false
166
+ project: lerobot
167
+ notes: ''
168
+ fps: 30
169
+ env:
170
+ name: real_world
171
+ task: null
172
+ state_dim: 6
173
+ action_dim: 6
174
+ fps: ${fps}
175
+ override_dataset_stats:
176
+ observation.images.laptop:
177
+ mean:
178
+ - - - 0.485
179
+ - - - 0.456
180
+ - - - 0.406
181
+ std:
182
+ - - - 0.229
183
+ - - - 0.224
184
+ - - - 0.225
185
+ observation.images.phone:
186
+ mean:
187
+ - - - 0.485
188
+ - - - 0.456
189
+ - - - 0.406
190
+ std:
191
+ - - - 0.229
192
+ - - - 0.224
193
+ - - - 0.225
194
+ policy:
195
+ name: act
196
+ n_obs_steps: 1
197
+ chunk_size: 100
198
+ n_action_steps: 100
199
+ input_shapes:
200
+ observation.images.laptop:
201
+ - 3
202
+ - 480
203
+ - 640
204
+ observation.images.phone:
205
+ - 3
206
+ - 480
207
+ - 640
208
+ observation.state:
209
+ - ${env.state_dim}
210
+ output_shapes:
211
+ action:
212
+ - ${env.action_dim}
213
+ input_normalization_modes:
214
+ observation.images.laptop: mean_std
215
+ observation.images.phone: mean_std
216
+ observation.state: mean_std
217
+ output_normalization_modes:
218
+ action: mean_std
219
+ vision_backbone: resnet18
220
+ pretrained_backbone_weights: ResNet18_Weights.IMAGENET1K_V1
221
+ replace_final_stride_with_dilation: false
222
+ pre_norm: false
223
+ dim_model: 512
224
+ n_heads: 8
225
+ dim_feedforward: 3200
226
+ feedforward_activation: relu
227
+ n_encoder_layers: 4
228
+ n_decoder_layers: 1
229
+ use_vae: true
230
+ latent_dim: 32
231
+ n_vae_encoder_layers: 4
232
+ temporal_ensemble_coeff: null
233
+ dropout: 0.1
234
+ kl_weight: 10.0
checkpoints/080000/pretrained_model/model.safetensors ADDED
@@ -0,0 +1,3 @@
 
 
 
 
1
+ version https://git-lfs.github.com/spec/v1
2
+ oid sha256:0b47cd4a164cf1e0111b28a53f0a8a71f1052315f058a0a275cd6a71dab4d4f0
3
+ size 206701072
checkpoints/080000/training_state.pth ADDED
@@ -0,0 +1,3 @@
 
 
 
 
1
+ version https://git-lfs.github.com/spec/v1
2
+ oid sha256:992173d1260311a18a2fc414e147548117e5e9b53546c34a80478e3921ff1723
3
+ size 412921871
wandb/run-20250311_210755-0twfntm6/files/config.yaml ADDED
@@ -0,0 +1,181 @@
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
+ _wandb:
2
+ value:
3
+ cli_version: 0.19.1
4
+ m: []
5
+ python_version: 3.10.16
6
+ t:
7
+ "1":
8
+ - 1
9
+ - 41
10
+ - 49
11
+ - 50
12
+ - 51
13
+ - 55
14
+ "2":
15
+ - 1
16
+ - 41
17
+ - 49
18
+ - 50
19
+ - 51
20
+ - 55
21
+ "3":
22
+ - 13
23
+ - 15
24
+ - 16
25
+ - 23
26
+ - 55
27
+ - 61
28
+ "4": 3.10.16
29
+ "5": 0.19.1
30
+ "8":
31
+ - 3
32
+ - 5
33
+ "12": 0.19.1
34
+ "13": windows-amd64
35
+ dataset_repo_id:
36
+ value: zijian2022/llmtest107
37
+ device:
38
+ value: cuda
39
+ env:
40
+ value:
41
+ action_dim: 6
42
+ fps: 30
43
+ name: real_world
44
+ state_dim: 6
45
+ task: null
46
+ eval:
47
+ value:
48
+ batch_size: 50
49
+ n_episodes: 50
50
+ use_async_envs: false
51
+ fps:
52
+ value: 30
53
+ override_dataset_stats:
54
+ value:
55
+ observation.images.laptop:
56
+ mean:
57
+ - - - 0.485
58
+ - - - 0.456
59
+ - - - 0.406
60
+ std:
61
+ - - - 0.229
62
+ - - - 0.224
63
+ - - - 0.225
64
+ observation.images.phone:
65
+ mean:
66
+ - - - 0.485
67
+ - - - 0.456
68
+ - - - 0.406
69
+ std:
70
+ - - - 0.229
71
+ - - - 0.224
72
+ - - - 0.225
73
+ policy:
74
+ value:
75
+ chunk_size: 100
76
+ dim_feedforward: 3200
77
+ dim_model: 512
78
+ dropout: 0.1
79
+ feedforward_activation: relu
80
+ input_normalization_modes:
81
+ observation.images.laptop: mean_std
82
+ observation.images.phone: mean_std
83
+ observation.state: mean_std
84
+ input_shapes:
85
+ observation.images.laptop:
86
+ - 3
87
+ - 480
88
+ - 640
89
+ observation.images.phone:
90
+ - 3
91
+ - 480
92
+ - 640
93
+ observation.state:
94
+ - 6
95
+ kl_weight: 10
96
+ latent_dim: 32
97
+ n_action_steps: 100
98
+ n_decoder_layers: 1
99
+ n_encoder_layers: 4
100
+ n_heads: 8
101
+ n_obs_steps: 1
102
+ n_vae_encoder_layers: 4
103
+ name: act
104
+ output_normalization_modes:
105
+ action: mean_std
106
+ output_shapes:
107
+ action:
108
+ - 6
109
+ pre_norm: false
110
+ pretrained_backbone_weights: ResNet18_Weights.IMAGENET1K_V1
111
+ replace_final_stride_with_dilation: false
112
+ temporal_ensemble_coeff: null
113
+ use_vae: true
114
+ vision_backbone: resnet18
115
+ resume:
116
+ value: false
117
+ seed:
118
+ value: 1000
119
+ training:
120
+ value:
121
+ batch_size: 8
122
+ delta_timestamps:
123
+ action: '[i / 30 for i in range(100)]'
124
+ do_online_rollout_async: false
125
+ eval_freq: -1
126
+ grad_clip_norm: 10
127
+ image_transforms:
128
+ brightness:
129
+ min_max:
130
+ - 0.8
131
+ - 1.2
132
+ weight: 1
133
+ contrast:
134
+ min_max:
135
+ - 0.8
136
+ - 1.2
137
+ weight: 1
138
+ enable: false
139
+ hue:
140
+ min_max:
141
+ - -0.05
142
+ - 0.05
143
+ weight: 1
144
+ max_num_transforms: 3
145
+ random_order: false
146
+ saturation:
147
+ min_max:
148
+ - 0.5
149
+ - 1.5
150
+ weight: 1
151
+ sharpness:
152
+ min_max:
153
+ - 0.8
154
+ - 1.2
155
+ weight: 1
156
+ log_freq: 100
157
+ lr: 1e-05
158
+ lr_backbone: 1e-05
159
+ num_workers: 4
160
+ offline_steps: 80000
161
+ online_buffer_capacity: null
162
+ online_buffer_seed_size: 0
163
+ online_env_seed: null
164
+ online_rollout_batch_size: 1
165
+ online_rollout_n_episodes: 1
166
+ online_sampling_ratio: 0.5
167
+ online_steps: 0
168
+ online_steps_between_rollouts: 1
169
+ save_checkpoint: true
170
+ save_freq: 10000
171
+ weight_decay: 0.0001
172
+ use_amp:
173
+ value: false
174
+ video_backend:
175
+ value: pyav
176
+ wandb:
177
+ value:
178
+ disable_artifact: false
179
+ enable: true
180
+ notes: ""
181
+ project: lerobot
wandb/run-20250311_210755-0twfntm6/files/output.log ADDED
The diff for this file is too large to render. See raw diff
 
wandb/run-20250311_210755-0twfntm6/files/requirements.txt ADDED
@@ -0,0 +1,134 @@
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
+ aiohappyeyeballs==2.4.4
2
+ aiohttp==3.11.11
3
+ aiosignal==1.3.2
4
+ annotated-types==0.7.0
5
+ antlr4-python3-runtime==4.9.3
6
+ asciitree==0.3.3
7
+ asttokens==3.0.0
8
+ async-timeout==5.0.1
9
+ attrs==24.3.0
10
+ beautifulsoup4==4.12.3
11
+ blinker==1.9.0
12
+ certifi==2024.12.14
13
+ cffi==1.17.1
14
+ charset-normalizer==3.4.0
15
+ click==8.1.8
16
+ cloudpickle==3.1.0
17
+ cmake==3.31.2
18
+ colorama==0.4.6
19
+ comm==0.2.2
20
+ datasets==3.2.0
21
+ debugpy==1.8.12
22
+ decorator==5.2.1
23
+ deepdiff==8.1.1
24
+ diffusers==0.31.0
25
+ dill==0.3.8
26
+ docker-pycreds==0.4.0
27
+ einops==0.8.0
28
+ exceptiongroup==1.2.2
29
+ executing==2.1.0
30
+ Farama-Notifications==0.0.4
31
+ fasteners==0.19
32
+ feetech-servo-sdk==1.0.0
33
+ filelock==3.16.1
34
+ Flask==3.1.0
35
+ frozenlist==1.5.0
36
+ fsspec==2024.9.0
37
+ gdown==5.2.0
38
+ gitdb==4.0.11
39
+ GitPython==3.1.43
40
+ gymnasium==0.29.1
41
+ h5py==3.12.1
42
+ hf_transfer==0.1.8
43
+ huggingface-hub==0.27.0
44
+ hydra-core==1.3.2
45
+ idna==3.10
46
+ imageio==2.36.1
47
+ imageio-ffmpeg==0.5.1
48
+ importlib_metadata==8.5.0
49
+ importlib_metadata==8.6.1
50
+ inquirerpy==0.3.4
51
+ ipykernel==6.29.5
52
+ ipython==8.33.0
53
+ itsdangerous==2.2.0
54
+ jedi==0.19.2
55
+ Jinja2==3.1.5
56
+ jsonlines==4.0.0
57
+ jupyter_client==8.6.3
58
+ jupyter_core==5.7.2
59
+ lerobot==0.1.0
60
+ llvmlite==0.43.0
61
+ MarkupSafe==3.0.2
62
+ matplotlib-inline==0.1.7
63
+ mpmath==1.3.0
64
+ multidict==6.1.0
65
+ multiprocess==0.70.16
66
+ nest_asyncio==1.6.0
67
+ networkx==3.4.2
68
+ numba==0.60.0
69
+ numcodecs==0.13.1
70
+ numpy==2.0.2
71
+ omegaconf==2.3.0
72
+ opencv-python==4.10.0.84
73
+ orderly-set==5.2.3
74
+ packaging==24.2
75
+ pandas==2.2.3
76
+ parso==0.8.4
77
+ pfzy==0.3.4
78
+ pickleshare==0.7.5
79
+ pillow==11.0.0
80
+ pip==24.2
81
+ platformdirs==4.3.6
82
+ prompt_toolkit==3.0.48
83
+ prompt_toolkit==3.0.50
84
+ propcache==0.2.1
85
+ protobuf==5.29.2
86
+ psutil==6.1.1
87
+ psutil==7.0.0
88
+ pure_eval==0.2.3
89
+ pyarrow==18.1.0
90
+ pyav==14.0.1
91
+ pycparser==2.22
92
+ pydantic==2.10.4
93
+ pydantic_core==2.27.2
94
+ Pygments==2.19.1
95
+ pylogix==1.0.5
96
+ pymunk==6.10.0
97
+ pynput==1.7.7
98
+ pyserial==3.5
99
+ PySocks==1.7.1
100
+ python-dateutil==2.9.0.post0
101
+ pytz==2024.2
102
+ pywin32==307
103
+ PyYAML==6.0.2
104
+ pyzmq==26.2.1
105
+ regex==2024.11.6
106
+ requests==2.32.3
107
+ rerun-sdk==0.21.0
108
+ safetensors==0.4.5
109
+ sentry-sdk==2.19.2
110
+ setproctitle==1.3.4
111
+ setuptools==75.1.0
112
+ six==1.17.0
113
+ smmap==5.0.1
114
+ soupsieve==2.6
115
+ stack_data==0.6.3
116
+ sympy==1.13.1
117
+ termcolor==2.5.0
118
+ torch==2.5.1+cu121
119
+ torchaudio==2.5.1+cu121
120
+ torchvision==0.20.1
121
+ tornado==6.4.2
122
+ tqdm==4.67.1
123
+ traitlets==5.14.3
124
+ typing_extensions==4.12.2
125
+ tzdata==2024.2
126
+ urllib3==2.3.0
127
+ wandb==0.19.1
128
+ wcwidth==0.2.13
129
+ Werkzeug==3.1.3
130
+ wheel==0.44.0
131
+ xxhash==3.5.0
132
+ yarl==1.18.3
133
+ zarr==2.18.3
134
+ zipp==3.21.0
wandb/run-20250311_210755-0twfntm6/files/wandb-metadata.json ADDED
@@ -0,0 +1,51 @@
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
+ {
2
+ "os": "Windows-10-10.0.22631-SP0",
3
+ "python": "CPython 3.10.16",
4
+ "startedAt": "2025-03-12T02:07:55.876148Z",
5
+ "args": [
6
+ "dataset_repo_id=zijian2022/llmtest107",
7
+ "policy=act_so100_real",
8
+ "env=so100_real",
9
+ "hydra.run.dir=outputs/train/act_llmtest107",
10
+ "hydra.job.name=act_so100_test",
11
+ "device=cuda",
12
+ "wandb.enable=true"
13
+ ],
14
+ "program": "C:\\Users\\pedri\\~\\lerobot\\lerobot\\scripts\\train.py",
15
+ "codePath": "lerobot\\scripts\\train.py",
16
+ "git": {
17
+ "remote": "https://github.com/huggingface/lerobot.git",
18
+ "commit": "73b64c30896ecec681ce533ac9d327d2b128bf4c"
19
+ },
20
+ "email": "[email protected]",
21
+ "root": "outputs/train/act_llmtest107",
22
+ "host": "Zijian",
23
+ "executable": "C:\\Users\\pedri\\anaconda3\\envs\\lerobot\\python.exe",
24
+ "codePathLocal": "lerobot\\scripts\\train.py",
25
+ "cpu_count": 6,
26
+ "cpu_count_logical": 12,
27
+ "gpu": "NVIDIA GeForce RTX 4050 Laptop GPU",
28
+ "gpu_count": 1,
29
+ "disk": {
30
+ "/": {
31
+ "total": "510965837824",
32
+ "used": "268668350464"
33
+ }
34
+ },
35
+ "memory": {
36
+ "total": "16390729728"
37
+ },
38
+ "cpu": {
39
+ "count": 6,
40
+ "countLogical": 12
41
+ },
42
+ "gpu_nvidia": [
43
+ {
44
+ "name": "NVIDIA GeForce RTX 4050 Laptop GPU",
45
+ "memoryTotal": "6439305216",
46
+ "cudaCores": 2560,
47
+ "architecture": "Ada"
48
+ }
49
+ ],
50
+ "cudaVersion": "12.6"
51
+ }
wandb/run-20250311_210755-0twfntm6/files/wandb-summary.json ADDED
@@ -0,0 +1 @@
 
 
1
+ {"train/num_epochs":126.9025213420687,"_step":79900,"train/is_online":false,"train/loss":0.03792702779173851,"train/lr":1e-05,"train/num_episodes":634.5126067103434,"train/kld_loss":0.00010881200432777405,"_runtime":33245.2316696,"train/num_samples":639208,"train/step":79900,"train/grad_norm":3.106346607208252,"_wandb":{"runtime":33245},"train/l1_loss":0.03683890774846077,"train/update_s":0.38762059999862686,"train/dataloading_s":0.0002749999985098839,"_timestamp":1.7417784806835177e+09}