Mxnet

一、使用镜像开机

1.选择“提交作业”

a.选择“Linux“应用

  1. 开启机器

进入开机界面,根据需求选择CPU或者GPU类型机器。

操作系统请选择Centos7.5或者Ubuntu18.04操作系统，推荐使用ubuntu18.04。

Mxnet既支持CPU也支持GPU。

这里选择[GPU]类型机器.点击[开始计算]。

二、初始化环境

1.使用module配置conda

a.cuda只需要配置一次,新用户初次登录的时候需要配置以下内容。

b.使用module引入conda

  # 查看module支持软件列表
  module av
  # 载入conda软件
  module load fastone/modulefiles/miniconda3/py37/23.1.0
  # 查看conda的版本信息 
  conda --version
  # 正常输出conda版本信息
1
2
3
4
5
6
7

2.配置conda

a.conda和cuda一样,只需要配置一次，新用户初次登录的时候需要执行以下命令

  # 初始化conda配置
  conda init
  # 查看所有的虚拟环境
  conda info --envs
1
2
3
4

3.使用conda创建自己的虚拟环境

a.由于创建下载资源需要访问公网,请提前联系速石工作人员申请公网的访问权限。

b.创建一个名称叫mymxnet的虚拟环境使用python版本3.8

  # 创建虚拟环境使用python3.8
  conda create --name mymxnet python=3.8
  # 激活虚拟环境
  conda activate mymxnet
  # 查看GPU显卡信息(仅支持GPU进行,cpu无此命令)
  nvidia-smi
  # 搜索cudatoolkit程序包
  conda search cudatoolkit
  # 安装cudatoolkit
  conda install cudatoolkit=10.2.89
  # 安装mxnet
  pip install mxnet-cu102
1
2
3
4
5
6
7
8
9
10
11
12

备注: 更多版本的安装命令和兼容性列表

https://mxnet.apache.org/versions/1.9.1/get_started?platform=linux&language=python&processor=gpu&environ=pip&

三、测试GPU是否正常工作

1.配置好cuda环境和conda环境后,就可以使用GPU来做加速运算了

  # 打开python
  python
  # 导入mxnet模块
  import mxnet as mx
  # 验证GPU模块是否可用
  a = mx.nd.ones((2, 3), mx.gpu())
  b = a * 2 + 1
  b.asnumpy()
1
2
3
4
5
6
7
8

四、如何安装其他版本的CUDA

1.安装cuda-toolkit

a.可以在线安装其他版本cudaToolkit,需要提前开通外网（可以联系速石工作人员）

b.打开“Terminal”终端,使用apt-get安装

  # 例如安装11.8版本的cuda-toolkit
  conda install cudatoolkit=11.8.0
1
2

cudaToolkit版本:https://developer.nvidia.cn/cuda-toolkit-archive

五、如何迁移应用至云上

1.本地导出

本地项目导出环境信息,conda命令如下

  # 导出时需要添加no-build参数,去除编译信息,防止导入失败
  conda env export --no-build >environment.yaml
  # 根据environment.yaml创建conda环境
  conda env create -f environment.yaml
1
2
3
4

本地项目导出环境信息,pip命令如下

  # 导出包信息到
  pip freeze > requirements.txt
  # 根据requirements.txt安装python环境
  pip install -r requirements.txt
1
2
3
4
  1. 上传文件

将文件及environment.yaml文件上传至云端

选择[数据管理]下的[文件列表],在右侧选择[上传],可选择上传文件或者文件夹

备注: 为了方便传输,建议将整个项目进行打包上传,windows导出的environment.yaml文件会报错,需要将报错的包删掉后再进行导入

六、常见的问题

1.如何切换环境？

使用以下命令可切换环境变量

  Shell
  # 激活环境变量
  conda activate YOUR_ENV_NAME
  # 取消conda环境
  conda deactivate YOUR_ENV_NAME
  # conda 搜索安装包
  conda search *PACKAGE_NAME*
1
2
3
4
5
6
7

更多conda的使用命令请参考:

http://www.360doc.com/content/23/0319/23/37289152_1072737405.shtml

2.是否支持CUDNN?

可以使用conda来安装cudnn

  # 搜索cudnn
  conda search *cudnn*
  # 安装cudnn
  conda install cudnn=8.2.1
1
2
3
4

3.NCCL源码安装及conda配置

https://blog.csdn.net/u011119817/article/details/124961425