斯坦福CS231课程笔记(上)

深度学习斯坦福cs231n 课程笔记 前言对于深度学习,新手我推荐先看UFLDL,不做assignment的话,一两个晚上就可以看完。毕竟卷积、池化啥的并不是什么特别玄的东西。课程简明扼要,一针见血,把最基础、最重要的点都点出来 了。 cs231n这个是一个完整的课程,内容就多了点,虽然说课程是computer vision的,但80%还是深度学习的内容。图像的工作暂时用不上,我就先略过了。 突然发现这两个课程都是斯坦福的,牛校就是牛。 阅读详情
CS231n: Convolutional Neural Networks for Visual Recognition

笔记中文翻译:https://zhuanlan.zhihu.com/p/21930884?refer=intelligentunit

                         http://blog.csdn.net/u010004460/article/details/53432575


Lecture 5:    Convolutional Neural Networks

卷积层的参数设置:

池化层的参数设置:


Lecture 6:    Training Neural Networks,Part I

激活函数的选择

Sigmoid:
  • - Squashes numbers to range [0,1]
  • - Historically popular since they have nice interpretation as a saturating “firing rate” of a neuron
  • - Saturated neurons “kill” the gradients (x很小或很大时,梯度趋近于0)
  • - Sigmoid outputs are not zero-centered(w的梯度will be always all positive or all negative,也就是所有w每次都往同一个方向前进
        w本来应该走蓝色方向,现在只能走红色方向
  • - exp() is a bit compute expensive
tanh:
  • - Squashes numbers to range [-1,1]
  • - zero centered (nice)
  • - still kills gradients when saturated 
ReLU:
  • - Does not saturate (in +region)
  • - Very computationally efficient
  • - Converges much faster than sigmoid/tanh in practice (e.g. 6x)
  • - Actually more biologically plausible than sigmoid
  • - Not zero-centered output
  • - An annoyance: what is the gradient when x < 0?
               dead ReLU will never activate=> never update
斯坦福CS231n课程笔记纯干货1 1. 分类器中L1和L2比较。 在面对两个向量之间的差异时,L2比L1更加不能容忍这些差异,相对于1个巨大的差异,L2距离更倾向于接受多个中等程度的差异。 2. k-Nearest Neighbor分类器存在以下不足 分类器必须记住所有训练数据并将其存储起来,以便于未来测试数据用于比较。这在存储空间上是低效的,数据集的大小很容易就以GB计。对一个测试图像进行分类需要和所有训练图像作比较,算法 阅读详情

相关推荐

斯坦福CS231n 课程学习笔记--线性分类器(笔记篇)

最近学习了斯坦福CS231n(winter 2016)系列课程,收获很大,作为深度学习以及卷积神经网络学习的入门很是完美。学习过程中,主要参考了知乎上几位同学的课程翻译,做得很好,在这里也对他们表示感谢,跟课程相关的很多资源都可以在该专栏中找到。推荐大家把每个笔记的翻译都完整的看一下。关于该课程视频的中文字幕也在翻译进行中,目前第一集已经翻译完成,感兴趣的同学可以也可以看看参与进去。此外,完成课程

呜呜哈的博客 4530

cs231n-完整版笔记

Convolutional Neural Networks for Visual Recognition完整版笔记

斯坦福CS231n 课程学习笔记--线性分类器(Assignment1代码实现)

最近学习了斯坦福CS231n(winter 2016)系列课程,收获很大,作为深度学习以及卷积神经网络学习的入门很是完美。学习过程中,主要参考了知乎上几位同学的课程翻译,做得很好,在这里也对他们表示感谢,跟课程相关的很多资源都可以在该专栏中找到。推荐大家把每个笔记的翻译都完整的看一下。关于该课程视频的中文字幕也在翻译进行中,目前第一集已经翻译完成,感兴趣的同学可以也可以看看参与进去。此外,完成课程

呜呜哈的博客 3461

Convolutional Neural Networks for Visual Recognition

http://cs231n.github.io/ 里面有很多相当好的文章 http://cs231n.github.io/convolutional-networks/ Table of Contents: Architecture Overview ConvNet Layers Convolutional Layer Pooling Layer N...

dielucui7698的博客 480

CS231n Convolutional Neural Networks for Visual Recognition

CS231n Convolutional Neural Networks for Visual Recognition Convolutional Neural Networks (CNNs / ConvNets) Convolutional Neural Networks are very similar to ordinary Neural Networks from

计算机视觉算法、工程、产品 911

CS231n: Convolutional Neural Network for Visual Recognition基于CNN的视觉识别课程

文章目录CS231n: Convolutional Neural Network for Visual Recognitionlecture01:Introduction, A brief history of computer visionlecture02:Image Classification pipelinelecture03: Loss Functions and Optimizati...

weixin_44523062的博客 952

【深度学习】cs231n计算机视觉 CNN(卷积神经网络)

CNN(卷积神经网络) 完成课程笔记Convolutional Neural Networks for Visual Recognition的理解,便于实现CNN~ 1. 结构概述 2. 用来构建卷积神经网络的各种层 卷积层 池化层 归一化层 全连接层 将全连接层转化为卷积层 3. 卷积神经网络的结构 层的排列规律 层的尺寸设置规律 经典例子(LeNet、AlexNet、ZFNet、GooLeN...

froot的博客 2066

CS231n】斯坦福大学李飞飞视觉识别课程笔记

最近开了一个新坑——【CS231n】斯坦福大学李飞飞视觉识别课程,准备认真学习并记录自己的学习历程。 由官方授权的CS231n课程笔记翻译知乎专栏——智能单元,比较详细地翻译了课程笔记,我这里就是参考和总结。 【CS231n】斯坦福大学李飞飞视觉识别课程笔记(一):Python Numpy教程(1)CS231n】斯坦福大学李飞飞视觉识别课程笔记(二):Python Numpy教程(2)...

种树最好的时间是10年前,其次是现在!!! 1万+

斯坦福cs231n课程资源笔记汇总

官网:http://cs231n.stanford.edu/index.html教学视频:http://study.163.com/course/introduction/1003223001.htm#/courseDetail笔记:https://zhuanlan.zhihu.com/p/21930884资料与习题等:https://blog.csdn.net/zhangxb35/article...

一江明澈的水的专栏 1839

【亲测免费】 斯坦福大学CS231A计算机视觉课程笔记

斯坦福大学CS231A计算机视觉课程笔记 1. 项目基础介绍 本项目是斯坦福大学CS231A计算机视觉课程的课堂笔记,由kenjihata整理和维护。CS231A是斯坦福大学开设的一门深入探讨计算机视觉领域知识的课程。这些笔记详细记录了课程的核心内容,是学习计算机视觉的重要资料。项目主要使用TeX语言编写,以确保数学公式和图表的精确展现。 2. 项目的核心功能 知识普及:项目提供了计算机视觉领域...

gitblog_00725的博客 649

斯坦福CS231n《深度视觉识别》课程(2017)课程主页 & 作业 & 笔记

课程主页 - 作业:https://cs231n.github.io/ 贺完结!CS231n官方笔记授权翻译总集篇发布:https://zhuanlan.zhihu.com/p/21930884 CS231n】斯坦福大学李飞飞视觉识别课程笔记 和 学习安排:https://blog.csdn.net/TeFuirnever/article/details/89059673 ...

py今天刷题了吗 228

[深度学习与计算机视觉] 斯坦福 CS231n 2017 学习笔记 -1 (Lecture 1: Introduction;课程介绍)

[深度学习与计算机视觉] 斯坦福 CS231n 2017 学习笔记 -1 (Lecture 1: Introduction;课程介绍) PDF VIDEO课程介绍-计算机视觉概述 CS231n 近几年一直是计算机视觉领域和深度学习领域最为经典的课程之一。而最近才刚刚结课的 CS231n Spring 2017 仍由李飞飞带头主讲,并邀请了 Goodfellow 等人对其中部分章节详细介绍。

Holeung blog 3695

CS231n】斯坦福大学李飞飞视觉识别课程笔记(三):Python Numpy教程(3)

由官方授权的CS231n课程笔记翻译知乎专栏——智能单元,比较详细地翻译了课程笔记,我这里就是参考和总结。 【CS231n】斯坦福大学李飞飞视觉识别课程笔记(三):Python Numpy教程 SciPy Numpy提供了高性能的多维数组,以及计算和操作数组的基本工具。SciPy基于Numpy,提供了大量的计算和操作数组的函数,这些函数对于不同类型的科学和工程计算非常有用。 熟悉SciPy的...

种树最好的时间是10年前,其次是现在!!! 2927

斯坦福大学CS231课程学习笔记(1——3章)

第一章:计算机视觉梗概 第二章:图像分类途径 python+Numpy简单教程: http://cs231n.github.io/python-numpy-tutorial/ Image Classification: A core task in Computer Vision(核心任务) ————计算机可以识别图像里面的内容。 The Problem: Semantic ...

eiobiea 1190

cs231n:斯坦福视觉识别课程笔记与作业的英文转韩文项目

cs231n:斯坦福视觉识别课程笔记与作业的英文转韩文项目 项目介绍 cs231n 是一个专注于将斯坦福大学计算机视觉课程 CS231n: Convolutional Neural Networks for Visual Recognition笔记和作业从英文翻译成韩文的开源项目。该项目不仅为广大韩语使用者提供了学习高级计算机视觉知识的便利,同时也为全球开源社区贡献了宝贵的多语言资源。 项目技...

gitblog_00934的博客 340
上一篇: 各类QA问答系统的总结与技术实现(持续更新)
下一篇: 斯坦福cs231课程笔记(下)
cookie_17
博客等级 码龄13年 102粉丝 12原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值