在深度学习中一般1个token是32个bit。
因此，计算方式如下：
总字节数=1000000000✖4=4000000000
依次转成总KB、MB、GB数=4000000000➗1024➗1024➗1024=3.725GB
1B（10亿）的token大概需要多少磁盘空间存储
阅读 140
2023-12-09
相关推荐
精彩评论（0）
0 0 举报
1B（10亿）的token大概需要多少磁盘空间存储
阅读 140
2023-12-09
在深度学习中一般1个token是32个bit。
因此，计算方式如下：
总字节数=1000000000✖4=4000000000
依次转成总KB、MB、GB数=4000000000➗1024➗1024➗1024=3.725GB
相关推荐
精彩评论（0）