飞桨端到端开发套件揭秘低成本开发的四大秘密武器

11月5日,在Wave Summit+2019深度学习开发者峰会上,飞桨全新发布和重要升级了最新的21项进展,在深度学习开发者社区引起了巨大的反响。

很多未到场的开发者觉得遗憾,希望可以了解飞桨发布会背后的更多技术细节,因此我们特别策划了一个系列稿件,分别从核心框架、基础模型库、端到端开发套件、工具组件和服务平台五个层面分别详细解读飞桨的核心技术与最新进展,敬请关注。

PaddleDetection基于飞桨高性能的引擎,提供了一套完备的部署方案。对于Linux和Windows都提供了良好的支持,GPU预测底层支持TensorRT加速以及FP16预测。CPU底层支持使用MKLDNN加速。再加上PaddleSlim提供的模型压缩策略,可以提供更小的模型和更快的速度,满足工业级部署的需求。

如今功成名就的马斯克买个房子就能收获一波柠檬精,但想当年,他也有一段心酸的创业往事。

豪宅二:吉恩·怀尔德故居

本次发布还进一步增强了YOLOv3,基于COCO的mAP再进一步提升至41.4%,GPU上的推理速度进一步提升。本次还发布了BlazeFace等系列人脸检测模型,同时还发布了自研的搜索版本BlazeFace,模型大小压缩三倍的情况下,大幅提升预测速度。特别强调一下,预训练模型中的行人检测和车辆检测的模型,是基于百度内部的业务数据得到效果不错的模型,值得推荐。

特色2:模块化的设计

为进一步降低开发者使用成本,套件提供预测服务方案——ERNIE Service,来方便获取ERNIE模型的向量分布以及预测打分。

朱雀二号运载火箭是中国首款中大型液氧甲烷火箭,“朱雀二号”系列液体运载火箭采用“高可靠性、通用化、低成本”的设计理念,依靠“一种推进剂组合、一个箭体直径、两型发动机”,构成运力从数吨到几十吨的液体运载火箭系列产品,同时,该系列运载火箭也是目前民营火箭领域运力规模最大的液体火箭系列产品。

PaddleSeg提供10余种数据增强的策略,有效的训练数据,大幅度提升模型的鲁棒性,开发者可以根据实际的场景进行灵活组合,根据实际场景进行选用,让整个分割模型应用泛化能力更强。

在算法层面,PaddleDetection支持了目前常用的主流检测算法,单阶段检测算法包括:SSD,RetinaNet,YOLOv3,两阶段检测算法包括:Faster-RCNN,Mask-RCNN,Cascade-RCNN,支持两阶段的FPN。在主干网、数据增强、在预训练模型方面,都提供了很好的支持。

房子虽“小”,但极尽奢华。

特色1:轻量级解决方案,预测速度提升1000倍

今天给大家带来的是系列文章之飞桨的端到端开发套件解读。

PaddleDetection是基于飞桨核心框架,结合百度科研和业务的需求,构建的目标检测开发套件。从全景图可以看到,套件中主要不仅包含各个检测算法实现,而且提供一系列的优化组件,以及更好的辅助调试的可视化的模块。同时,还提供了加速训练相关的混合精度的训练模块以及丰富的算法组件。

尽管马斯克还在Bel-Air持续购入房产,但目前还没有迹象表明他会搬离这所房子。

飞桨发布端到端开发套件的初心,是为了更好满足开发者的低开发成本、快速集成需求而来的。开发者的时间、人力非常宝贵,效率提升非常重要。为了要解放开发者劳动力,降低开发的成本,同时能够快速的集成和部署,飞桨推出了端到端开发套件。

比如,Facebook首席执行官扎克伯格花了5000多万美元在加州帕洛阿尔托一口气买了5套房子,在华盛顿州的默瑟岛买了5套。

ERNIE全景图,预置了包含ERNIE通用模型、ERNIE任务模型、ERNIE领域模型以及本次发布的ERNIE Tiny轻量级模型等系列预训练模型。在此基础上,构建了包含工具和平台的飞桨语义理解开发套件。全面覆盖了训练、调优、部署等开发流程,具备轻量方案、能力全面、极速预测、部署灵活、平台赋能等五大特色。

下图是外媒早年披露的马斯克位于贝尔艾尔街区的五处房产。

本文由游民星空制作发布,未经允许禁止转载。

蓝箭表示,本轮募集到的资金将主要用于朱雀二号液体火箭的研制、发射准备工作以及火箭重复使用技术的验证。后续,将会持续加强朱雀二号火箭和天鹊发动机研制及批量生产能力、核心工艺及测试保障能力,逐步开始技术迭代,保持蓝箭航天在民营液体火箭领域的持续领先。

虽然马斯克出尔反尔,但这并没有影响两人之间的友谊,2014年4月,佩奇在TED大会发表演讲时曾经公开表示,如果他故去,可能会把数百亿美元的财富,交给马斯克打理。嗯!大佬间的友谊就是如此的纯洁!

2.四大开发套件详细解读

在计算机视觉领域,图像分割有非常广泛应用的场景。基于这样背景,飞桨开发了图像分割开发套件PaddleSeg,目标是降低开发门槛,更容易实现产业落地。图像分割开发套件基于飞桨的核心框架,主要做了以下方向的建设:一是数据增强,将工业级常用分割算法开放出来;二是在模型层使用模块化的设计,将整个分割的模型拆分成三块,包括骨干网络、分割网络和模型损失函数。拆解之后,可以让这些模块自由组合,能够解决特定场景的问题。三是在训练场景上,PaddleSeg里面做了大量性能方面的优化,在显存优化和预测速度上都做了大量的工作。四是易用性方面,通过实际的项目打磨验证,找到使用过程当中的痛点并且解决掉。训练模型工业级部署,开发套件也做了集成,可以帮助广泛开发者使用。

根据产业的需求,PaddleSeg开发了高性能的C++预测库。在多线程计算优化、算子硬件加速方面,而且依托于真实的项目实践验证做了大量优化工作,真正满足工业级部署需求。

豪宅一:2012年购买,马斯克主要居住的地方

令人惊讶的是,马斯克并没有搬进这片美丽的土地,而是把这栋建筑改造成了一所学校,供他的五个儿子上学,他们现在在那里接受私人教师的指导。

豪宅五:随性买下的隔壁房产

ERNIE Fast-inference API旨在解决产品应用的延迟敏感场景,为企业开发者提供极速预测的C++ API,便于开发者集成。该工具也充分借助了最新版飞桨的高速预测优势,飞桨1.6通过OP聚合算法,有效加速了ERNIE的预测。

ERNIE 2.0拥有强大的语义理解能力,而这些能力需要强大的算力才能充分发挥,这为实际应用带来了非常大的挑战。为此,百度发布轻量级预训练模型ERNIE Tiny以及一键式数据蒸馏工具ERNIE Slim,预测速度提升达到1000倍。

埃隆·马斯克住在他2012年买回的第一套Bel-Air住宅里。这座1870平方米的住宅在当时花费了1700万美元。它有一个网球场、一个大型娱乐中心可以通宵玩《堡垒之夜》、还可以乘坐私人飞机来回湾区…总之你能想到的,这所豪华住宅都有。

今年7月份,百度发布持续学习语义理解框架ERNIE 2.0,在共计16个中英文任务上超越BERT、XLNET,取得了SOTA的效果。同时ERNIE 2.0发布以来,ERNIE产业化应用进程不断加速,易用性不断提升,配套产品也不断丰富和完善。目前ERNIE 2.0在百度内部及行业内已取得了广泛应用,在多种场景下都取得了明显效果提升。这些场景的成功运用为ERNIE产业化应用积累了丰富的经验。

PaddleSeg目前已经在广泛场景中应用,无论是工业质检中的精密零件的智能分拣,以及经典的人像分割场景的应用,还有遥感领域的地块分割,都可以很好的辅助完成行业的AI赋能。

华春莹表示,美方有关人士的言论再次提醒我们这样一个事实:美国不仅是当今世界的超级大国,还是超级谎言的制造者和散播者。美方一些人对中国新疆维吾尔族民众表现出异乎寻常的关心,但他们似乎忘了,美国是这个世界上唯一专门针对穆斯林群体颁布“禁穆令”的国家。近年来美国以反恐为由,在伊拉克、叙利亚、利比亚、阿富汗等国挑起战乱,造成数以百万计无辜平民伤亡,而这些遭殃的国家无一例外都是穆斯林国家。

PaddleDetection在训练速度、训练显存和推理速度上,大部分模型都优于对标产品的性能。

1.端到端开发套件的初心

事实上,热爱买房的科技大佬可不止马斯克一个,不仅如此,在房地产投资交易中,大手一挥,买下整个社区的事,对于这些超级富豪们来说简直就是洒洒水。

ElasticCTR源自真实产业实践,与原生K8S无缝结合,通过针对深度学习任务进行弹性调度的处理,可以大幅节约资源消耗。性能方面,全异步分布式CPU训练速度是对标产品的6倍,工业级部署性能是对标产品的13倍,非常适合大规模CTR的应用场景。

特色1:丰富的数据增强

已故微软联合创始人保罗·艾伦的住宅由13个不同的相邻地块组成,一共包括了8栋房屋。

马斯克在2015年买下的两座Bel Air大厦无疑是相当值钱的。他分别以430万美元和2000万美元的价格拿下了这些房产。

大约5年前,马斯克以370万美元收购了一座位于Brentwood的豪宅。这座豪宅坐落在一个拥有全景峡谷、海洋和城市灯光的私人岬角上,占地290平米。牛奶巧克力色的木地板贯穿整个开放概念的客厅、餐厅和厨房区域,以浅灰色堆叠的石头为特色的墙壁和大面积的从地面到天花板的玻璃滑块为特色,可以无缝过渡到环绕房屋的各种天井。卧室位于一个独立的侧翼,包括一间豪华主卧套房,可以直接进入游泳池,还有一间定制的衣帽间和一间带花园浴盆的spy式浴室。

ERNIE Fine-tune微调工具旨在为给开发者提供一套简单好用的Fine-tune框架,目前覆盖NLP四大常用任务:单句分类、句对匹配、命名实体识别、阅读理解。工具集支持多机多卡Fine-tune,同时使用FP16 Tensor Core技术在Tesla V系列GPU上获得60%的训练速度提升。

特色4:向量服务器,支持跨平台灵活部署

我们在介绍第二套房产时提到,“房地产记录显示,与马斯克有关系的企业在同一条街上拥有另外两套房产”,但外媒对这套神秘的豪宅没有进行相关报道(曝光的图片也没有注明第六套房产的所在地)。今年2月以前的相关报道称其在该社区拥有5套房产,因此这套神秘房产有可能是在这之后购入的。

马斯克在回顾创立Zip2初期的时候称,每周7天每天24个小时几乎都在工作,当时有一个女朋友,“她为了跟我在一起不得不睡在办公室的沙发上”。但马斯克对此只是一笔带过,但拼命三郎马斯克在后来就有了个“钢铁侠”的称号。

对于端到端体验的流程中,数据处理也是非常重要的环节,飞桨通过扎实打通端到端流程,模块和的设计,提供一系列的工具箱辅助开发者去解决。目前发布的四大端到端开发套件,非常具有典型性,可以覆盖主流一大部分任务。

PaddleSeg在性能优化方面开展了很多工作。包括训练速度提升、GPU利用率提升以及显存性能优化。同时支持较新的FP16混合精度的训练。特别的,对于动态的Loss Scaling,在不损失精度的情况下,性能可以有30%的提升。PaddleSeg在英伟达特斯拉V100卡上,单卡训练速度是对标产品的2.3倍,多卡上是对标产品的3.1倍。

在今年2月,马斯克就已450万美元的价格将这个豪宅挂牌出售,但是始终找不到人接盘。最后的出价是390万美元,据说被卖给了电视导演/制片人Jason Winer和演员Jackie Seiden,但这对夫妇的代表否认了这件事。

飞桨全新发布包含语义理解(ERNIE),目标检测(PaddleDetection),图像分割(PaddleSeg)和点击率预估(ElasticCTR)四大端到端开发套件,旨在通过模块化的设计和端到端的体验,满足企业低成本开发和快速集成需求。核心内容3503字,预计阅读时间4分钟。

豪宅三、四:两座Bel Air大厦

端到端开发套件具有以下三个通用特点:一是满足真正的工业场景中性能要求,保持性能领先;二是开发简单易用,高效解决问题;三是打通端到端流程,落地高效易部署。

PaddleDetection目前已经广泛的在智慧交通、安防监控和商品检索上实现落地引用,并且取得了良好的应用效果。

近日,外媒就挖出了马斯克有些“俗气”的癖好——买房,迄今为止,他在购置房产这件事上已经烧掉了1亿美元,其中就包括刚刚说到的“一整条街”。他买下整个社区的举动也引发了邻居和中介的各种猜测,此举也成功让马斯克再次登上了各大科技媒体的新闻版面(这就没啥稀奇的了,谁能拒绝热搜小王子呢)。

特色2:一键式高性能全类微调工具

ElasticCTR个性化预估,是工业推荐场景下的常见需求,与工业实践的关联度非常高。以飞桨核心框架为核心,ElasticCTR实现了大量的技术突破:通过与资源调度平台深度集成提高资源调度的效率;在分布式训练的环节,提供全异步的参数服务器方案、流式训练和高性能的IO接口;最终,通过高性能的KV预估和一键部署工具实现工业级部署。

豪宅七:特斯拉总部附近拥有百年历史的豪宅已售房产:为前妻Talulah Riley购入一套豪宅

而在Ashlee-Vance的马斯克传记作品《埃隆·马斯克:特斯拉、SpaceX和对疯狂未来的追求》中,马斯克的“闺中密友”拉里·佩奇爆料说:“马斯克(在硅谷)无家可归。”

整个PaddleSeg开发套件都是模块化设计的,无论是数据增强模块里面的多种增强算法,主干网络的多种Backbone模块选择,都可以让开发者更好的根据实际业务场景需求使用。分割网络包含了目前的4种主流网络:医疗领域常见的U-Net,经典的DeepLabV3,面向实时场景的分割模型ICNet等。同时对于损失函数的模块化设计,也可以更好的提升各个分类场景下的分割精度,例如小目标分割的效果。

特色3:极速预测API

佩奇透露,马斯克每周都会去硅谷,他经常联系佩奇,要求借宿,“他会给我发邮件,问,我今晚不知道住哪里,能去你那儿吗?”

据外媒报道,在过去的七年里,马斯克和与他有关联的公司就好像和加州洛杉矶贝尔艾尔街区杠上了,陆陆续续购入了6套房产。

有记者提问,7日,美军印太司令部司令戴维森就南海、知识产权、5G网络等议题发表攻击中国的言论,称这些领域存在“中国威胁”。戴维森还称,中国政府给新疆维吾尔族人带去了痛苦。就在今天,美国驻华大使布兰斯塔德发声明也提到了中国新疆少数民族,呼吁中国改善人权状况。你对此有何回应?

2013年,特斯拉陷入财务困境,几近破产。当时,马斯克联系佩奇,希望谷歌出面能够收购特斯拉汽车公司,特斯拉和谷歌的团队随后展开了正二八经的谈判。马斯克希望谷歌出资60亿美元收购,并且额外投资50亿美元扩大特斯拉的产能。马斯克还要求谷歌在特斯拉制造出第三代电动车之前,不能分拆或者关闭特斯拉公司。不过后来,特斯拉境况好转,马斯克在交易的事情上反悔,最终特斯拉没有进入谷歌的怀抱。

2019年5月到11月,蓝箭航天圆满完成“天鹊”家族80+10两型液氧甲烷火箭发动机全系统热试车考核。标志着研制工作均取得重大突破,核心技术得到了有效验证。与此同时,朱雀二号运载火箭已经投产各分系统初样产品,未来将展开密集的地面试验工作和首飞前的各项准备。

华春莹引用美方自身调查结果指出,75%的美国成年穆斯林表示美国社会存在大量对穆斯林的歧视,69%的普通公众也持相同观点。50%的美国穆斯林认为,近年来在美国做一名穆斯林变得更加困难。穆斯林一直都是美国最受歧视的群体。根据美国伊斯兰关系委员会2018年4月发布的报告,2016年以来,美国反穆斯林团体的数量激增2倍。2017年美国反穆斯林事件中,三分之一以上受联邦政府机构煽动。2018年美国中期选举中,超过三分之一的候选人声称穆斯林天生暴力或构成迫在眉睫的威胁,将近三分之一的候选人呼吁剥夺穆斯林的基本权利或宣称伊斯兰教不是宗教。由此可见,国际社会有充分理由对美国的穆斯林政策,包括美国国内的穆斯林人权状况感到强烈的关切和担忧。

当时,房地产记录显示,与马斯克有关系的企业在同一条街上拥有另外两套房产,其中包括曾经隶属于演员吉恩·怀尔德的一栋牧场式房子。他在2013年以650万美元的价格买下了这栋房子。

此外,套件还包含了ERNIE的平台化使用方案,开发者可通过EasyDL专业版一站式完成NLP任务的数据标注、处理、ERNIE微调、优化、部署等全流程的功能,为开发者提供丰富的算法、算力服务,进一步降低ERNIE的产业化应用门槛。平台预置了常用的NLP文本分类、文本匹配等经典网络,能够快速满足多层次开发者的需求。

你可能会说,不就是买了个房么,至于大惊小怪么,酸啥呢?但人家7年里悄咪咪买了整整一条街!

综合来看,ERNIE的语义理解开发套件依托百度在预训练模型等自然语言处理技术和飞桨平台领先优势,为人工智能产业化大生产贡献力量,赋能各行各业。

据了解,本轮融资前,蓝箭航天在2019年已完成B++轮融资共计1亿元人民币,投资方为上海弋盛投资管理有限公司(弋盛投资)、鲁信创业投资集团股份有限公司(鲁信创投),老股东陕西高端装备基金继续追加投资。

她强调,维吾尔族是中国56个民族大家庭的一员,维吾尔族和中国其他55个民族就像石榴籽那样紧紧地团结在一起,过着越来越好的生活,充分享受着中国宪法赋予的各项权利和自由。“中国也和广大穆斯林国家保持着友好和紧密的关系,对于这些美方羡慕一下是可以理解的,但是如果美方造谣、抹黑和污蔑,这是不能接受的。”(完)

作为SpaceX和特斯拉的掌门人,谁人不知谁人不晓埃隆·马斯克的响亮名号,作为一名出色的企业家,他依靠在科技行业多年的摸爬滚打成功跻身亿万富豪的名列。如今拥有了普通人几辈子都花不完的财富,马斯克又是如何“消耗”这些财富的呢?

这个街区位于贝尔艾尔酒店(Hotel Bel-Air)附近,是一个一个名人云集、绿树成荫的社区。该街区有雷霆队后卫克里斯·保罗、詹姆斯挚友Jay-Z等。

马斯克以640万美元买下了Bel-Air的一处房产,这套房子就在埃隆·马斯克购买的另一处Bel-Air住宅的隔壁。