码农知识堂 - 1000bd
  •   Python
  •   PHP
  •   JS/TS
  •   JAVA
  •   C/C++
  •   C#
  •   GO
  •   Kotlin
  •   Swift
  • 深度之眼(十八)——偏导数与矩阵的求导


    文章目录

    • 一、偏导数
    • 二、多元复合函数的求导法则,链式求导法则
    • 三、方向导数与梯度及其应用
    • 四、多元函数泰勒公式与海森炬阵
    • 五、多元角数的极值
    • 六、距阵的求导
    • 七、矩阵的求导在深度学习中的应用

    一、偏导数

    在这里插入图片描述
    在这里插入图片描述

    对某个变量求偏导,则其余变量看成常数


    在这里插入图片描述

    可以直接认为成立,不必拘泥条件

    二、多元复合函数的求导法则,链式求导法则

    在这里插入图片描述

    这里举了一个不错的技巧,可以看z到t有几条路径
    在这里插入图片描述
    对多元时求偏导的方法
    比如对x求偏导,就看到x的路径,有几条,分别经过什么

    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述

    关键是画准链式关系

    三、方向导数与梯度及其应用

    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述

    在这里插入图片描述
    在这里插入图片描述

    举例

    在这里插入图片描述

    在这里插入图片描述
    梯度的正方向,是梯度增长最快的方向。
    梯度的负方向,是梯度减小最快的方向

    四、多元函数泰勒公式与海森炬阵

    一般用到二阶

    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述
    海森矩阵是个对称矩阵

    五、多元角数的极值

    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述

    六、距阵的求导

    在这里插入图片描述
    在这里插入图片描述

    f(x)对其求偏导,就是个列向量,有几个变量,就有行
    右值都是看成实数

    在这里插入图片描述

    对x求偏导
    对x求偏导
    对x求偏导
    对a求偏导
    fx = Ax
    A
    fx = x^Tx
    Ax+A^Tx
    fx = a^Tx
    a
    x

    解释之前的J

    在这里插入图片描述
    在这里插入图片描述

    所以J对a求偏导等于0,过程在上面

    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述

    七、矩阵的求导在深度学习中的应用

    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述

  • 相关阅读:
    AUSBC3.0, 震撼来袭!(UVC Camera)
    网络安全(黑客)—自学
    Linux 软件包管理器 yum
    面向对象的三大特征(Java)
    微信打不开MP4文件 (记录编码问题)
    LaTeX 010:让 texify 支持 Biber
    Vue3 SFC 和 TSX 方式调用子组件中的函数
    美颜SDK免费版怎么样?应该如何选择美颜SDK?
    Java 常用类(包装类)
    linux网络测试命令
  • 原文地址:https://blog.csdn.net/m0_52592798/article/details/126027585
  • 最新文章
  • 攻防演习之三天拿下官网站群
    数据安全治理学习——前期安全规划和安全管理体系建设
    企业安全 | 企业内一次钓鱼演练准备过程
    内网渗透测试 | Kerberos协议及其部分攻击手法
    0day的产生 | 不懂代码的"代码审计"
    安装scrcpy-client模块av模块异常,环境问题解决方案
    leetcode hot100【LeetCode 279. 完全平方数】java实现
    OpenWrt下安装Mosquitto
    AnatoMask论文汇总
    【AI日记】24.11.01 LangChain、openai api和github copilot
  • 热门文章
  • 十款代码表白小特效 一个比一个浪漫 赶紧收藏起来吧!!!
    奉劝各位学弟学妹们,该打造你的技术影响力了!
    五年了,我在 CSDN 的两个一百万。
    Java俄罗斯方块,老程序员花了一个周末,连接中学年代!
    面试官都震惊,你这网络基础可以啊!
    你真的会用百度吗?我不信 — 那些不为人知的搜索引擎语法
    心情不好的时候,用 Python 画棵樱花树送给自己吧
    通宵一晚做出来的一款类似CS的第一人称射击游戏Demo!原来做游戏也不是很难,连憨憨学妹都学会了!
    13 万字 C 语言从入门到精通保姆级教程2021 年版
    10行代码集2000张美女图,Python爬虫120例,再上征途
Copyright © 2022 侵权请联系2656653265@qq.com    京ICP备2022015340号-1
正则表达式工具 cron表达式工具 密码生成工具

京公网安备 11010502049817号