点击上方“码农突围”,马上关注
这里是码农充电第一站,回复“666”,获取一份专属大礼包
真爱,请设置“星标”或点个“在看”
来自机器之心
在深度学习时代,谷歌、Facebook、百度等科技巨头开源了多款框架来帮助开发者更轻松地学习、构建和训练不同类型的神经网络。而这些大公司也花费了很大的精力来维护 TensorFlow、PyTorch 这样庞大的深度学习框架。
除了这类主流框架之外,开发者们也会开源一些小而精的框架或者库。比如今年 4 月份,特斯拉人工智能部门主管 Andrej Karpathy 开源了其编写的微型 autograd 引擎 micrograd,该引擎还用 50 行代码实现了一个类 PyTorch api 的神经网络库。目前,micrograd 项目的 GitHub star 量达到 1200 星。
不久前,天才黑客 George Hotz(乔治・霍兹)开源了一个小型 Autograd Tensor 库 tinygrad,它介于 PyTorch 和 micrograd 之间,能够满足做深度学习的大部分要求。上线不到一个月,该项目在 GitHub 上已经获得 1400 星。
项目地址:https://github.com/geohot/tinygrad
根据 GitHub 内容,下文对 tinygrad 的安装与使用做了简要介绍。感兴趣的同学也可通过 George Hotz 的 YouTube 视频进行学习。
视频地址:https://www.youtube.com/channel/UCwgKmJM4ZJQRJ-U5NjvR2dg
tinygrad 的安装与使用
「tinygrad 可能不是最好的深度学习框架,但它确实是深度学习框架。」
George 在项目中保证,tinygrad 代码量会永远小于 1000 行。
安装
tinygrad 的安装过程非常简单,只需使用以下命令:
pip3 install tinygrad --upgrade
示例
安装好 tinygrad 之后,就可以进行示例运行,代码如下:
from tinygrad.tensor import Tensorx = Tensor.eye(3)y = Tensor([[2.0,0,-2.0]])z = y.matmul(x).sum()z.backward()print(x.grad) # dz/dxprint(y.grad) # dz/dy
使用 torch 的代码如下:
import torchx = torch.eye(3, requires_grad=True)y = torch.tensor([[2.0,0,-2.0]], requires_grad=True)z = y.matmul(x).sum()z.backward()print(x.grad) # dz/dxprint(y.grad) # dz/dy
满足对神经网络的需求
一个不错的 autograd 张量库可以满足你对神经网络 90%的需求。从 tinygrad.optim 添加优化器(SGD、RMSprop、Adam),再编写一些 minibatching 样板代码,就可以实现你的需求。
示例如下:
from tinygrad.tensor import Tensorimport tinygrad.optim as optimfrom tinygrad.utils import layer_init_uniform class TinyBobNet: def __init__(self): self.l1 = Tensor(layer_init_uniform(784, 128)) self.l2 = Tensor(layer_init_uniform(128, 10)) def forward(self, x): return x.dot(self.l1).relu().dot(self.l2).logsoftmax() model = TinyBobNet()optim = optim.SGD([model.l1, model.l2], lr=0.001) # ... and complete like pytorch, with (x,y) data out = model.forward(x)loss = out.mul(y).mean()loss.backward()optim.step()
支持 GPU
tinygrad 通过 PyOpenCL 支持 GPU。但后向传播暂时无法支持所有 ops。
from tinygrad.tensor import Tensor(Tensor.ones(4,4).cuda() + Tensor.ones(4,4).cuda()).cpu()
ImageNet 推断
「麻雀虽小,五脏俱全。」tinygrad 还能够支持 full EfficientNet,输入一张图像,即可得到其类别。
ipython3 examples/efficientnet.py https://upload.wikimedia.org/wikipedia/commons/4/41/Chicken.jpg
如果你安装了 webcam 和 cv2,则可以使用以下代码:
ipython3 examples/efficientnet.py webcam
注意:如果你想加速运行,设置 GPU=1。
测试
运行以下代码可执行测试:
python -m pytest
此外,乔治・霍兹还计划添加语言模型、检测模型,进一步减少代码量、提升速度等。
天才黑客乔治・霍兹
该项目的创建者是著名黑客乔治・霍兹,别号 Geohot。
他于 1989 年出生在美国新泽西州,曾就读于罗切斯特理工学院生物工程专业和卡内基梅隆大学计算机科学系。
然而,乔治・霍兹在自己的 LinkedIn 主页上教育经历描述里是这么写的:
在罗切斯特理工学院就读期间,他的社团活动是「在宿舍黑 iPhone」……
这是他著名的黑客经历之一。2007 年,17 岁的乔治・霍兹成功破解 iPhone 手机,使手机不再局限于 AT&T 网络,而是支持其他 GSM 网络。2009 年,他开发出一款针对 iOS 3.1.2 的越狱软件 blackra1n。2010 年,乔治・霍兹宣布不再进行越狱软件的开发。
然而,他的黑客行动并未停止。
2009 年起,乔治・霍兹开始破解 PlayStation 3(PS3)。2010 年初,他宣布得到了 PS3 系统内存的读写权限和处理器的高级控制权。2011 年 3 月,乔治・霍兹被索尼起诉,后和解。
此外,乔治・霍兹还破解过三星手机等产品。
就工作经历而言,他曾在谷歌、Facebook、SpaceX 工作过。目前,他在自己创立的自动驾驶公司 comma.ai 任职。
2015 年,乔治・霍兹创立了人工智能创业公司 comma.ai,旨在基于机器学习算法构建自动驾驶技术。乔治・霍兹开发出自动驾驶套件 Comma One,只需 1000 美元,用户就能将传统汽车升级成自动驾驶版本。不过,后来这一计划被取消。
2020 年,在 CES 大会上,comma.ai 展出了其最新产品 —— 辅助驾驶设备 Comma Two,售价 999 美元。
comma.ai 公司还开源了辅助驾驶系统 openpilot,参见:https://github.com/commaai/openpilot。
参考链接:https://zh.wikipedia.org/wiki/% E4% B9%94% E6% B2% BB% C2% B7% E9%9C%8D% E5%85% B9
https://en.m.wikipedia.org/wiki/George_Hotz
最近有有不少老铁在后台留言说,想进大厂,但是算法不好。最近我整理了一份刷题实录,这份刷题实录,也让我进了心仪的大厂。现在开放分享给大家。希望对大家有所帮助。 任何的算法题,如同写作文一样,都有一些模板可以套用的。比如面试常考的DP(动态规划),难的是一些关键点是否能想清楚。比如你能写出动态转移方程,这题基本上就可以AC了。 整个刷题实录内容,包括 双子针、动态规划、二分查找、贪心算法、深度优先搜索、字符串、递归、字典树、排序、链表等相关专题内容。图文并茂,附有刷题答案源码。 刷题任务的题目,是根据题目的类型来汇总的,总结了八个类别,每个类别下面也总结了5个左右的题型,帮助大家分门别类的突破,所以刷起来相对会更有重点和针对性。如果从头到尾的刷,每周按顺序刷42题,很容易让自己坚持不下来,也会觉得很枯燥。所以在制定计划的时候可以让这个计划变得更“有趣"和针对性,让它看起来更容易实现一点,才会更容易坚持。 目前上述内容已打包成完整电子书,具体获取方式如下: 扫描关注 程序猿进阶 公众号; 在 程序猿进阶 公众号后台回复关键词「9999」获取下载地址。 扫描关注,回复"9999"即可下载 最近热文• 年轻人不讲武德,where 1=1 是什么鬼?• 某巨头互联网公司单方面辞退38岁P7员工三次败诉,员工复岗再收解聘通知• 如果再写for循环,我就锤自己• 员工因上厕所时间超长被开除了,法院:超出正常生理需求范围!在这里,我为大家准备了一份2020年最新最全的《Java面试题及答案V3.0》,这套电子书涵盖了诸多后端技术栈的面试题和答案,相信可以帮助大家在最短的时间内复习Java后端的大多数面试题,从而拿到自己心仪的offer。截了张图,大家可以仔细查看左边的菜单栏,覆盖的知识面真的很广,而且质量都很不错。 资料获取方法 扫描下方二维码后台回复关键词:Java核心整理明天见(。・ω・。)