码农知识堂 - 1000bd
  •   Python
  •   PHP
  •   JS/TS
  •   JAVA
  •   C/C++
  •   C#
  •   GO
  •   Kotlin
  •   Swift
  • ubuntu+docker+pycharm环境深度学习远程炼丹使用教程


    文章目录

    • 前言
    • 一、docker环境准备
      • 1.下载镜像
      • 2.运行容器
      • 3.给容器安装openssh-server和openssh-client
      • 4.vim打开并修改配置文件
      • 5.创建docker中root用户的密码:
      • 6.重启ssh服务
      • 7.确认docker容器内python位置
      • 8.生成新的镜像
      • 9.导出镜像
      • 10.导入镜像
    • 二、配置pycharm连接docker容器
      • 1.打开File中的setting选择Project Interpretern,再点击右上角的设置,点击add。
      • 2.选择SSH Interpreter,然后输入远程服务器的地址、用户名和密码。
      • 3.选择python编译器以及本地项目和容器项目映射地址
    • 三、docker常用运行代码
      • 1.压缩tar文件
      • 2.解压tar文件
      • 3.将文件夹从宿主机迁移到容器
    • 总结


    前言

    前面详解介绍了如何搭建ubuntu+docker+pycharm的深度学习远程炼丹环境,接下来我们将以运行paddle邮件过滤为例,介绍如何通过pycharm调用在远程服务器上的docker,运行该深度学习的代码模型。

    一、docker环境准备

    1.下载镜像

    首先需要在dockerhub选择合适的paddle镜像,然后拉取镜像:

    docker pull paddlepaddle/paddle:2.4.0rc0-gpu-cuda11.2-cudnn8.1-trt8.0
    
    • 1

    2.运行容器

    docker run --gpus all -it -v  /opt/workplace:/workplace --name paddlenlp paddlepaddle/paddle -p 8080:22  bitnami/pytorch
    
    • 1

    3.给容器安装openssh-server和openssh-client

    apt-get update
    apt-get install openssh-server
    apt-get install openssh-client
    apt-get install vim
    
    • 1
    • 2
    • 3
    • 4

    4.vim打开并修改配置文件

    vim /etc/ssh/sshd_config
    
    • 1
    #Authentication:
    PermitRootLogin yes
    RSAAuthentication yes # 允许root进入
    PubkeyAuthentication yes
    
    • 1
    • 2
    • 3
    • 4

    5.创建docker中root用户的密码:

    passwd root
    
    • 1

    6.重启ssh服务

    service ssh restart
    
    • 1

    7.确认docker容器内python位置

    which python
    
    • 1

    如果需要离线调用docker环境,那么我们只需要在有网络的情况下配置上述的环境,然后将容器生成镜像,再导出镜像,最后在无网的服务器上载入镜像,再执行第六步重启ssh服务。

    8.生成新的镜像

    docker commit paddlenlp paddlenlp11.2
    
    • 1

    9.导出镜像

    docker save -o paddlenlp11.2.tar paddlenlp11.2
    
    • 1

    10.导入镜像

    docker load --input paddlenlp11.2.tar
    
    • 1

    二、配置pycharm连接docker容器

    1.打开File中的setting选择Project Interpretern,再点击右上角的设置,点击add。

    在这里插入图片描述

    2.选择SSH Interpreter,然后输入远程服务器的地址、用户名和密码。

    在这里插入图片描述
    在这里插入图片描述

    3.选择python编译器以及本地项目和容器项目映射地址

    选择之前whichp ython得到的 /usr/local/bin/python
    在这里插入图片描述

    三、docker常用运行代码

    1.压缩tar文件

    tar -cvf models.tar
    
    • 1

    2.解压tar文件

    tar -xvf models.tar
    
    • 1

    3.将文件夹从宿主机迁移到容器

    docker cp /root/.paddlenlp/models[宿主机路径] 04xxxxxxxx[容器id]:/root/.paddlenlp[容器路径]
    
    • 1

    ##4.将文件夹从容器迁移到宿主机

    docker cp 04xxxxxxxx[容器id]:/root/.paddlenlp[容器路径] /root/.paddlenlp/models[宿主机路径] 
    
    • 1

    总结

    今天详细介绍了如何利用pycharm远程炼丹,有什么问题欢迎在评论区留言。


    参考
    深度学习远程炼丹:一文离线完成ubuntu+docker+pycharm环境配置

  • 相关阅读:
    Jetpack Compose基础组件之 — Text
    css flex实现同行div根据内容高度自适应且保持一致
    RabbitMQ学习笔记:4369、5672、15672、25672默认端口号修改
    基于java的家庭收支管理系统 计算机毕业设计
    【Redis 开发】缓存穿透解决
    RAC_11g重启顺序以及常用管理命令
    7-5python函数-变量的作用域
    家庭实验室系列文章-如何迁移树莓派系统到更大的 SD 卡?
    对话MySQL之父:一个优秀程序员可抵5个普通程序员
    基于大语言模型+RAG实现的日程管理
  • 原文地址:https://blog.csdn.net/kobepaul123/article/details/127128572
  • 最新文章
  • 攻防演习之三天拿下官网站群
    数据安全治理学习——前期安全规划和安全管理体系建设
    企业安全 | 企业内一次钓鱼演练准备过程
    内网渗透测试 | Kerberos协议及其部分攻击手法
    0day的产生 | 不懂代码的"代码审计"
    安装scrcpy-client模块av模块异常,环境问题解决方案
    leetcode hot100【LeetCode 279. 完全平方数】java实现
    OpenWrt下安装Mosquitto
    AnatoMask论文汇总
    【AI日记】24.11.01 LangChain、openai api和github copilot
  • 热门文章
  • 十款代码表白小特效 一个比一个浪漫 赶紧收藏起来吧!!!
    奉劝各位学弟学妹们,该打造你的技术影响力了!
    五年了,我在 CSDN 的两个一百万。
    Java俄罗斯方块,老程序员花了一个周末,连接中学年代!
    面试官都震惊,你这网络基础可以啊!
    你真的会用百度吗?我不信 — 那些不为人知的搜索引擎语法
    心情不好的时候,用 Python 画棵樱花树送给自己吧
    通宵一晚做出来的一款类似CS的第一人称射击游戏Demo!原来做游戏也不是很难,连憨憨学妹都学会了!
    13 万字 C 语言从入门到精通保姆级教程2021 年版
    10行代码集2000张美女图,Python爬虫120例,再上征途
Copyright © 2022 侵权请联系2656653265@qq.com    京ICP备2022015340号-1
正则表达式工具 cron表达式工具 密码生成工具

京公网安备 11010502049817号