J1z's Blog

为什么杀死一只知更鸟就是一桩罪恶？ 因为知更鸟只唱歌给我们听，什么坏事也不做。它们不吃人家院子里种的花果蔬菜，也不在谷仓里筑巢做窝，只是为我们尽情歌唱。 0听人推荐过这部小说很多次，“英国青少年最喜爱的小说之一”、“塑造美国的图书”… 但前几次打开都是看几页就放下了。事实上，我看很多书比如《乔布斯传》、《世界尽头与冷酷仙境》都是这样。究其原因，大概是我读书过太功利，急于去寻找连贯的情节，缕清故事的发展脉络，但却忽略了一本好的小说常常会让人忘记这一点。它会先通过一些其他的似乎互不相干的描写，教你认识到一些鲜活的人物形象或者环境氛围，像是先教你认识了几颗不同的珍珠，最后才给你看精妙的全貌，让你在赞叹珍珠项链的美貌的时候已经对每一颗珍珠如数家珍，爱不释手。 就像有人说，一部好的小说，它的故事情节似乎都是自然而然地铺展开，行云流水，每一段似乎都是恰好提到，很多都看不出来起了什么作用，像是在随意地铺陈，但又偏偏让你不觉得无聊，只是沉浸在这些描写之中，似乎没有什么情节也没有关系，读到最后，突然所有的情节连成了一条线，每一处都不累赘，想要再看一遍，随便从哪里开始看都能津津有味地看下去，这便是一 ...

0x00 什么是优化算法？优化算法就是一种最小化或最大化目标函数（有时也称为损失函数）的一类算法，它可以根据定义好的损失函数优化神经网络中参数的取值，从而使神经网络模型在训练数据集上的损失函数达到一个较小值。 无论什么优化算法，最后都可以用一个简单的公式抽象： $$w = w + \Delta w$$ 其中，$w$ 是参数，$\Delta w$ 是参数的增量，不同优化算法的区别仅在于 $\Delta w$ 的计算方式不同。 本文总结了下面三类优化算法的原理、特点、代码实现，并进行了对比分析，尽请享用。 0x01 梯度下降法梯度下降法是最基本的一类优化器，目前主要分为三种梯度下降法：标准梯度下降法（GD, Gradient Descent），批量梯度下降法（BGD, Batch Gradient Descent）以及随机梯度下降法（SGD, Stochastic Gradient Descent）。 1. 标准梯度下降法（GD）【原理】 梯度下降法是最重要的一种方法，也是很多其他优化算法的基础，其基本形式如下： $$\Delta w = - \eta ~ \nabla J(w)$$ 其中 ...

本文主要参考自“数学家是我理想”的《Transformer 详解》 ，这位大神讲得十分清晰透彻，甚至有配套的B站讲解视频，强烈建议搭配食用！ Transformer 是 Google Brain 在 2017 年底发表的论文 《Attention is all you need》 中所提出的基于多头自注意力机制的 seq2seq 模型。现在已经取得了大范围的应用和扩展，如 BERT 就是从 Transformer 中衍生出来的预训练语言模型。 下面将从以下几个部分详细介绍 Transformer 模型： 对 Transformer 的直观认识 Positional Encoding Self Attention Mechanism 残差连接和 Layer Normalization Transformer Encoder 整体结构 Transformer Decoder 整体结构 总结 参考文章 0x00 对 Transformer 的直观认识Transformer 和 LSTM 的最大区别，就是 LSTM 的训练是迭代的、串行的，必须要等当前字处理完，才可以处理 ...

最近两年，注意力模型（Attention Model）被广泛使用在自然语言处理、图像识别及语音识别等各种不同类型的深度学习任务中，是深度学习技术中最值得关注与深入了解的核心技术之一。因此，了解注意力机制的工作原理对于希望在深度学习领域深耕的技术人员来说有很大的的必要。 0x00 Intro to AttentionAttention 机制最早是针对序列模型提出的，出处是Bengio大神在2015年的这篇论文： 《Neural Machine Translation by jointly learning to align and translate, Bengio et. al. ICLR 2015》 从注意力模型的命名方式看，很明显其借鉴了人类的注意力机制。因此，我们首先简单介绍「人类视觉的选择性注意力机制」。 视觉注意力机制是人类视觉所特有的大脑信号处理机制。人类视觉通过快速扫描全局图像，获得需要重点关注的目标区域，也就是一般所说的注意力焦点，而后对这一区域投入更多注意力资源，以获取更多所需要关注目标的细节信息，而抑制其他无用信息。 这是人类利用有限的注意力资源从大量信息中快速筛选 ...

0x00 什么是 nvidia-sminvidia-smi 简称NVSMI，是 nvidia 的系统管理界面 ，其中smi是System management interface的缩写，它可以收集各种级别的信息，查看显存使用情况。此外, 可以启用和禁用 GPU 配置选项 (如 ECC 内存功能)。 0x01 nvidia-smi 表格参数介绍 GPU：本机中的GPU编号（有多块显卡的时候，从0开始编号） Fan：风扇转速（0%-100%），N/A表示没有风扇 Name：GPU类型，图上GPU的类型是：Tesla T4 Temp：GPU的温度（GPU温度过高会导致GPU的频率下降） Perf：GPU的性能状态，从P0（最大性能）到P12（最小性能），图上是：P2 Persistence-M：持续模式的状态，持续模式虽然耗能大，但是在新的GPU应用启动时花费的时间更少，图上是：On Pwr：Usager/Cap：能耗表示，Usage：用了多少，Cap总共多少 Bus-Id：GPU总线相关显示，domain：bus：device.function Disp.A：Display Act ...

问题 解决方案 下载C32ASM； 链接：https://pan.baidu.com/s/1UdJhjg0MYkRG4SEHM88eAw 提取码：olyx 找到XShell目录下的nslicense.dll文件，并用C32ASM打开； 用十六进制搜索 7F0C81F98033E1010F8680 并将中间的 86 改为 83 ； 保存即可

原文：https://www.jianshu.com/p/cc740394faf5 问题假设分支名称为oldName，想要修改为 newName 本地分支重命名(还没有推送到远程)1git branch -m oldName newName 远程分支重命名 (已经推送远程-假设本地分支和远程对应分支名称相同) 重命名远程分支对应的本地分支 1git branch -m oldName newName 删除远程分支 1git push --delete origin oldName 上传新命名的本地分支 1git push origin newName 把修改后的本地分支与远程分支关联 1git branch --set-upstream-to origin/newName

本系列文章主要参考《算法导论》一书与《算法设计与分析》课件，暂定大纲： 算法基础 渐近记号、递归式求解 搜索算法 二分搜索、BFS、DFS 排序算法 交换排序、插入排序、选择排序、归并排序、以及非比较排序 分治策略 最大子数组问题、逆序计数、多项式乘法 动态规划 0-1背包、钢条切割 贪心算法 哈弗曼编码、 数据结构 栈、队、堆、树 图算法 拓扑排序、最短路径、最小生成树、关键路径 NP问题 P、NP、NPC 算法基础0x00 算法基础1. Asymptotic Notations （渐近记号）Big-OhAsymptotic upper bound（渐进上界） 【定义】$f(n) = O(g(n))$ ：存在常量 $c$ 和 $n_0$ 使得对于任意的 $n \geq n_0$ 有 $f(n) \leq c·g(n)$ 。 【示例】 Big-OmegaAsymptotic lower bound（渐进下界） 【定义】$f(n) = \Omega(g(n))$ ：存在常量 $c$ 和 $n_0$ 使得对于任意的 $n \geq n_0$ 有 $f(n) ...

读完村上的《且听风吟》，我似乎并没有特别多想要付诸文字的心绪。 许是当下的我尚无法理解那个年代日本的社会背景，许是在备考复试，匆匆读完… 总之， 似乎少了点什么。 事实上，我并没有十分读懂《风》中讲述的故事。 醉驾后撞车的鼠、抑郁自杀的初恋、酒吧里不停打电话的中年女人、幻想小说家哈特菲尔德、在电台为他点歌的高中女孩…… 这些人物的故事横七竖八地交织在一起，有回忆，也有想象，甚至连《风》中的 “我”，和《挪》中的渡边君都竟是那般相似，不同时空互相交织，让人读起来总有种与现实隔离的时空错乱感。 最后，所有故事却又戛然而止，无疾而终。 但我确确实实地被村上那独具个人风格的语言、充满感染力的修辞、黑色幽默的语言所打动到了。 柔和的南风送来海水的馨香和柏油路面的焦味，使得我想起往昔的夏日。女孩肌体的温存，过时的摇滚乐，刚刚洗过的无袖衫，在游泳池更衣室吸烟时的甘美，稍纵即逝的预感——一幕幕永无休止的甜蜜的夏日之梦。而在某一念的夏天，那梦便一去杳然，再也不曾光临。 等到夏天回去，我便经常走那条同她一起走过的路，坐在仓库石阶上一个人眼望大海。想哭的时候却偏偏出不来眼泪，每每如此。 傍晚下班， ...