File tree Expand file tree Collapse file tree 2 files changed +5
-5
lines changed
Python/ThirdPartyLibrary/pytorch Expand file tree Collapse file tree 2 files changed +5
-5
lines changed Original file line number Diff line number Diff line change 20
20
- 移除了mkdocs-static-i18n插件,改用原生的i18n功能。
21
21
- 虽然很简陋,但是本站的英文受众很少(但绝对不是没有!还有英文读者给我发邮件呢😭)
22
22
- 2025年04月14日
23
- - 通过[ mkdocs-cust] ( https://github.com/AIboy996/mkdocs-cust ) 插件,支持` .ipynb ` 文件的渲染,渲染效果[ 请移步查看] ( /Note/jupyter/example ) 。
23
+ - 通过[ mkdocs-cust] ( https://github.com/AIboy996/mkdocs-cust ) 插件,支持` .ipynb ` 文件的渲染,渲染效果[ 请移步查看] ( .. /Note/jupyter/example.ipynb ) 。
24
24
- 2025年04月09日
25
25
- 现在未加载的图片会有一个占位,不会出现页面大幅度闪烁的情况。
26
26
- 2025年04月09日
Original file line number Diff line number Diff line change @@ -110,7 +110,7 @@ class MyIterableDataset(torch.utils.data.IterableDataset):
110
110
return iter (range (self .start, self .end))
111
111
```
112
112
113
- 这时候我们就只能按照数据集** 定义好的顺序** 来挨个访问数据,而无法像map style那样访问特定的数据,也就[ 无法实现随机采样] ( ./ #iterable-style_1) 了。
113
+ 这时候我们就只能按照数据集** 定义好的顺序** 来挨个访问数据,而无法像map style那样访问特定的数据,也就[ 无法实现随机采样] ( #iterable-style_1 ) 了。
114
114
115
115
!!! warning "多进程数据加载"
116
116
iterable style数据集在使用多进程DalaLoader的时候可能会出现数据重复的问题。例如上面定义的数据集:
@@ -121,7 +121,7 @@ class MyIterableDataset(torch.utils.data.IterableDataset):
121
121
```
122
122
可以看到,数据会重复两次。并且数据被自动转换为了torch.Tensor。
123
123
124
- 这个问题可以通过DataLoader的worker_init_fn参数来解决。[后续的小节](./ #worker_init_fn)我再来详细介绍。
124
+ 这个问题可以通过DataLoader的worker_init_fn参数来解决。[后续的小节](#worker_init_fn)我再来详细介绍。
125
125
126
126
一般来讲,大家都用map-style比较多。
127
127
@@ -166,7 +166,7 @@ DataLoader(
166
166
167
167
- ` prefetch_factor ` 参数控制预载的数据量,因为CPU可能比IO要快所以通常需要预载
168
168
- ` persistent_workers ` 参数控制在不同的epoch是否重启dataload workers
169
- - ` sampler ` 和` batch_sampler ` 控制采样的行为,这个我们[ 最后一节] ( ./ #sampler) 来介绍
169
+ - ` sampler ` 和` batch_sampler ` 控制采样的行为,这个我们[ 最后一节] ( #sampler ) 来介绍
170
170
171
171
### 参数冲突
172
172
@@ -379,4 +379,4 @@ torch还为我们封装了一些常用的Sampler:
379
379
380
380
看名字就知道是干什么的。
381
381
382
- 其中最后一个` torch.utils.data.distributed.DistributedSampler ` 比较特殊,它用于分布式训练。他会自动把整个按照分布式节点数数据集划分为若干个不相交的部分,然后给每个节点提供数据。后续的[ 多卡训练笔记] ( ../ multi_gpu/ ) 还会详细介绍它。
382
+ 其中最后一个` torch.utils.data.distributed.DistributedSampler ` 比较特殊,它用于分布式训练。他会自动把整个按照分布式节点数数据集划分为若干个不相交的部分,然后给每个节点提供数据。后续的[ 多卡训练笔记] ( multi_gpu.md ) 还会详细介绍它。
You can’t perform that action at this time.
0 commit comments