0
点赞
收藏
分享

微信扫一扫

【环境配置-1】-anaconda环境配置

野见 2022-03-31 阅读 68
pytorch

由于换了电脑,因此原本很多配置过的内容又得重新操作一遍。不过这会也借机会熟悉一下conda虚拟环境配置的一些操作。

对环境的管理

#在不影响当前版本的情况下,新建环境并安装不同版本的python
#新建一个Python版本为3.6 名称为 py36 的环境
conda create -n py36 python=3.6 anaconda
#注:将py36替换为您要创建的环境的名称。 anaconda是元数据包,带这个会把base的基础包一起安装,不带的话新环境只包含python3.6相关的包。相当于是又装了一边anaconda 。python = 3.6是您要在此新环境中安装的软件包和版本。 这可以是任何包,例如numpy = 1.7,或多个包。

# 将python更新到另外一个版本/安装指定版本的python
conda install python=3.6

我们可以使用以下方法,激活环境:

#然后激活想要使用的环境即可
conda activate py36
#更新Python
# 普通的更新python
conda update python

conda删除虚拟环境。
假设你的环境名字叫: octopus

conda remove -n octopus --all

conda查看环境名

conda info --envs

对自己的更新

# conda
conda update conda
# anaconda(升级anaconda前需要先升级conda)
conda update anaconda
# anaconda-navigator
conda update anaconda-navigator
# spyder
conda update spyder
# 所有包
conda update --all
# 尽量避免使用conda update --all命令,可能会出现部分包降级的问题

下载源管理

就是管理下载的默认路径,注意一下conda和pip是两个不同的工具,他们也自然是从不同的地方下载内容(这一点是不是,我忘了)。如这里管理的是conda的下载源。

# 查看当前下载源
conda config --show-sources
# 添加下载源

# 清华镜像源
conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/free/
conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/main/

# 添加下载源后,设置搜索时显示通道地址
conda config --set show_channel_urls yes
# 删除下载源
conda config --remove channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/free/

事实上,我们也可以直接从网页上下载包,然后本地暴力安装。
此外,如果国内的源在更新,继而挂掉了的话,我们也可以恢复原本的下载源。

conda config --remove-key channels

包管理

python

特别的,我们新建conda虚拟环境的时候一定会把python的下载下来。

查看已经安装的包

据我观察,虚拟环境虽然实现了我们在环境下的包隔离。但是在不同的环境下,如果conda发现安装包已经下载,那么实际上就会直接利用这个包进行安装,而不会再下载,实现重复利用。

conda list
conda list [包名称]

使用pip 则是:

pip list

下载

这里就说说,依据制定的requirements.txt文件进行下载,其内容格式为:

  • “包名==版本”
pip install -r requirements.txt
conda install --yes --file requirements.txt

注意,这里有个坑就在于,似乎高版本的pip下载包,如果使用VPN,则会报错;但是不用VPN又会非常慢,这里有如下的解决方法(虽然好像并没有用?)

包的版本对应问题

在这里,python,pytorch,torchvision和torchtext,以及如果是有GPU的,需要将nvidia显卡、nvidia-driver、cuda和cudnn几个工具对应起来。
这里提供一些包的对应:

  • pytorch和torchvision的对应:https://github.com/pytorch/vision
  • pytorch和torchtext的对应:https://github.com/pytorch/text/

注意,其实pytorch和numpy也是有对应关系的,事实上pytorch和相关的依赖包的版本,即不能太高也不能太低,否则有些因为版本的更新,会把一些函数去掉,然后就会保存了。

关于GPU加速的问题

看到很多博客说,需要根据自己的显卡driver先下载cuda和cudnn;

实际上我发现似乎并不需要,我们只需要下载合适的GPU版本的pytorch就行,其内置有对应的cudatoolkit工具。

因为我的新主机上似乎并没有安装cuda,而且nvcc等等的工具并不存在,也并不是没有加入环境变量之类的,确实没有工具包的文件夹存在。在相关设备管理的部分也看不到cuda的版本信息,但是确实可以使用GPU加速,例如在Minist数据集上训练VAE,用CPU可能需要半个小时,而用GPU加速后不到1分钟就训练完毕了。

本地下载

有些时候一些非常古老的包可能都不在默认的源里,不得不使得我们进行本地下载。注意,一定要注意虚拟环境是谁,别装错了。
例如,我们直接到清华源去下载pytorch和它的一些工具,网址如下:

  • https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/pytorch/
    如果我们是在windows下使用,那么一般就是win64了:
  • https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/pytorch/win-64

这里值得提醒的是,下载的内容有的是bz2,有的是whl,有的是.conda文件。似乎pip和conda均可以操作.bz2文件,pip还可操作whl文件,conda操作.conda文件,不过whl其实也是个压缩包,不知.conda是不是。以下举例就是操作.bz2文件的方法。

  • 使用pip安装,直接切换到相应的位置,进行pip install
pip install [路径名\包名称]
  • 使用conda安装,需要添加offline参数,例如:
conda install --offline pytorch-0.1.12-py35_0.1.12cu80.tar.bz2 #离线安装
举报

相关推荐

0 条评论