如何用C++实现自己的Tensorflow

TensorFlow C++   2017-11-14 17:55:43 发布
您的评价:
     
0.0
收藏     1收藏
文件夹
标签
(多个标签用逗号分隔)

TensorFlow是由谷歌基于DistBelief进行研发的第二代人工智能学习系统,其命名来源于本身的运行原理,它完全开源,作者通过自己的一个小项目,阐述了如何用C++实现自己的TensorFlow,这篇文章看起来可能会有点晦涩,你需要对相关知识有所了解。以下是译文。

在我们开始之前,以下是代码:

  1. Branch with Eigen backend
  2. Branch that only supports scalars

我和 Minh Le 一起做了这个项目。

为什么?

如果你是CS专业的人员,可能听过这句“不要使自己陷入_”的话无数次。CS有加密、标准库、解析器等等。我觉得现在还应该包含ML库。

不管事实如何,它仍然是一个值得学习的惊人的教训。人们现在认为TensorFlow和类似的库是理所当然的;把它们当成是一个黑盒子,让其运行。没有多少人知道后台发生了什么。这真是一个非凸的优化问题!不要停止搅拌那堆东西,直到它看起来合适为止(结合下图及机器学习系统知识去理解这句话)。

Tensorflow

TensorFlow是由Google开源的一个深度学习库。在TensorFlow的内核,有一个大的组件,将操作串在一起,行成一个叫做 运算符图 的东西。这个运算符图是一个有向图 G = ( , )

,在某些节点 u 1 , u 2 , … , u n , v ∈ 和 e 1 , e 2 , … , e n ∈ , e i = ( u i , v ) 存在某些运算符将 u 1 , … , u n 映射到 v 。

例如,如果我们有x + y = z,那么 ( x , ) , ( , ) ∈

这对于评估算术表达式非常有用。我们可以通过寻找运算符图中的 sinks 来得到结果。 Sinks 是诸如 v ∈ , ∄ e = ( v , u )

这样的顶点。换句话说,这些顶点没有到其它顶点的有向边。同样的, sources 是 v ∈ , ∄ e = ( u , v ) 。

对我们来说, 总是 把值放在sources,值会传播到Sinks。

 

反向模式求导

 

如果认为我的解释不够好,这里有一些 幻灯片

 

求导是TensorFlow所需的许多模型的核心要求,因为需要它来运行 梯度下降算法 。每个高中毕业的人都知道什么是求导; 它只是获取函数的导数,如果函数是由基本函数组成的复杂组合,那么就做 链式法则

 

超级简单的概述

 

如果有一个这样的函数:

 

f(x,y) = x * y

 

那么关于X的求导将产生:

 

( x , ) x =

 

关于Y的求导将产生:

 

( x , ) = x

 

另外一个例子:

 

( x 1 , x 2 , . . . , x n ) = ( x ) = x x

 

这个导数是:

 

( x ) x i = 2 x i

 

所以梯度就是:

 

∇ x ( x ) = 2 x

 

链式法则,譬如应用于复杂的函数 ( ( h ( x ) ) )

( ( h ( x ) ) ) x = ( ( h ( x ) ) ) ( h ( x ) ) ( h ( x ) ) h ( x ) h ( x ) x

 

5分钟内反向模式

 

现在记住运算符图的DAG结构,以及上一个例子中的链式法则。如果要评估,我们可以看到:

 

x -> h -> g -> f

 

作为图表。会给出答案f。但是,我们也可以采取反向求解:

 

dx <- dh <- dg <- df

 

这看起来像链式法则!需要将导数相乘在一起,以获得最终结果。

 

下图是一个运算符图的例子:

 

 

所以这基本上退化成图遍历问题。 有谁发觉拓扑排序和DFS / BFS吗?

 

所以要支持双向拓扑排序的话,需要包含一组父节点和一组子节点,Sinks是另一个方向的Sources, 反之亦然

 

实施

 

在开学之前,Minh Le和我开始设计这个项目。我们决定使用Eigen 库后台进行线性代数运算。它们有一个称为MatrixXd的矩阵类。我们在这里使用它。

 

每个变量节点由var类表示:

 

class var {
// Forward declaration
struct impl;

public:
// For initialization of new vars by ptr
var(std::shared_ptr<impl>);

var(double);
var(const MatrixXd&);
var(op_type, const std::vector<var>&);    
...

// Access/Modify the current node value
MatrixXd getValue() const;
void setValue(const MatrixXd&);
op_type getOp() const;
void setOp(op_type);

// Access internals (no modify)
std::vector<var>& getChildren() const;
std::vector<var> getParents() const;
...
private: 
// PImpl idiom requires forward declaration of the     class:
std::shared_ptr<impl> pimpl;
};

struct var::impl{
public:
impl(const MatrixXd&);
impl(op_type, const std::vector<var>&);
MatrixXd val;
op_type op; 
std::vector<var> children;
std::vector<std::weak_ptr<impl>> parents;
};

 

在这里,我们采用 pImpl 惯用法,这意味着“通过指针来实现”。这在许多方面是非常好的,例如接口解耦实现, 当在堆栈上有一个本地shell接口时,允许在堆栈上实例化 。pImpl的副作用是运行时间稍慢