PaddlePaddle:百度分布式深度学习平台开源了

han840129 7年前
   <p>百度分布式深度学习平台Paddle宣布开源,支持Python、C++和SWIG,支持多机数据并行的深度学习模型训练,并提供了Sequence to Sequence模型的Demo。</p>    <p>还记得百度内部使用的分布式深度学习平台Paddle吗?在此前 <a href="/misc/goto?guid=4959713480283663772" rel="nofollow,noindex">《程序员》</a> 文章《 <a href="/misc/goto?guid=4959713480379036110" rel="nofollow,noindex">基于Spark的异构分布式深度学习平台</a> 》一文的介绍中,Paddle开发者提到了“在平台更成熟后,我们打算把Spark on PADDLE以及异构计算平台开源”。现在看来,Paddle已经开始成熟,因为在 <a href="/misc/goto?guid=4959713480470022987" rel="nofollow,noindex">Github已经可以看到Paddle</a> 了(不过介绍里叫做“PaddlePaddle”),支持Python接口、C++以及SWIG,支持多机数据并行的深度学习模型训练,支持 <a href="/misc/goto?guid=4959713480553182758" rel="nofollow,noindex">Apache-2.0 license</a> ,并提供了Sequence to Sequence模型的Demo。</p>    <p><img src="https://simg.open-open.com/show/c8c4d739e88bf35c79240494a115d359.png"></p>    <h2>特性</h2>    <p>PaddlePaddle的四个特性简介如下:</p>    <ul>     <li> <p>灵活性:PaddlePaddle支持广泛的神经网络结构和优化算法,很容易配置复杂的模型,如基于注意力(Attention)机制或复杂的内存(Memory)连接的神经机器翻译模型。(Attention和Memory参考阅读: <a href="/misc/goto?guid=4959713480638915906" rel="nofollow,noindex">深度学习和自然语言处理中的attention和memory机制</a> 、 <a href="/misc/goto?guid=4959713480721103637" rel="nofollow,noindex">深度学习:推动NLP领域发展的新引擎</a> )</p> </li>     <li> <p>高效:在PaddlePaddle的不同层面进行优化,以发挥异构计算资源的效率,包括计算、内存、架构和通信等。例如:</p>      <ul>       <li>通过SSE/AVX内部函数,BLAS库(例如MKL,ATLAS,CUBLAS)或定制CPU/GPU内核优化的数学运算。</li>       <li>高度优化循环网络,以处理可变长度序列,无需填充(Padding)。</li>       <li>优化高维稀疏数据模型的本地和分布式训练。</li>      </ul> </li>     <li> <p>可扩展性:PaddlePaddle很容易使用多个CPU/GPU和机器来加快你的训练,通过优化通信实现高吞吐量、高性能。</p> </li>     <li> <p>连接产品:PaddlePaddle易于部署。在百度,PaddlePaddle已经被部署到广大用户使用的产品或服务,包括广告点击率(CTR)的预测,大型图像分类,光学字符识别(OCR),搜索排名,计算机病毒检测,推荐等。</p> </li>    </ul>    <p>PaddlePaddle支持使用Python接口或C++来构建系统,可以使用SWIG为开发者喜爱的编程语言创建接口。</p>    <p>Github上目前提供了图像分类、情绪分析、Sequence to Sequence模型、推荐和语义角色标注(SRL)等五个 <a href="/misc/goto?guid=4959713480807031483" rel="nofollow,noindex">Demo</a> 。</p>    <h2>使用</h2>    <p><a href="/misc/goto?guid=4959713480899971902" rel="nofollow,noindex">Quick Start Tutorial看这里</a> 。涵盖深度学习应用的五个环节。</p>    <p><img src="https://simg.open-open.com/show/11d1d26faad601f82b0bb5303ef2c501.png"></p>    <p>Logistic Regression、Word Embedding、CNN、RNN等不同网络架构如下:</p>    <p><img src="https://simg.open-open.com/show/ff118820ce1ebbd98fc2ca3c3b6e8dee.png"></p>    <p>↑↑↑ Logistic Regression</p>    <p><img src="https://simg.open-open.com/show/8210037abc5e17f635d8c8ece5723d02.png"></p>    <p>↑↑↑ Word Embedding Model</p>    <p>↑↑↑ Convolutional Neural Network Model</p>    <p>↑↑↑ Recurrent Model</p>    <p>算法优化包括 Momentum, RMSProp, AdaDelta, AdaGrad, Adam 和 Adamax。这里可以使用极为适合循环神经网络的Adam优化方法及L2正则化和gradient clipping。</p>    <pre>  settings(batch_size=128,         learning_rate=2e-3,         learning_method=AdamOptimizer(),         regularization=L2Regularization(8e-4),         gradient_clipping_threshold=25)</pre>    <p> </p>    <p>来自:http://www.lupaworld.com/article-260097-1.html</p>    <p> </p>