北京联盟资讯频道

数据|京东开源超大规模联邦学习平台(9NFL) 深度连接合作伙伴

【北京联盟摘要_数据|京东开源超大规模联邦学习平台(9NFL) 深度连接合作伙伴】联邦学习(Federated|Learning)概念是由Google在2016年首次提出,它作为一个机器学习框架,能有效帮助多个机构在满足用户隐私保护、数据安全和政府法规的要求下,进行数据使用和机器学习建模。作为数据安全计算的业界前沿技术方案的联邦学习,可在保护数据隐私的同


众所周知,数据是人工智能的基石,只有具备丰富和充分的数据,我们才能利用数据挖掘、机器学习等技术洞见深层次的行业趋势进而指导决策 。 但与此同时所产生的数据隐私的保护问题也越来越受到关注,近年来国内外在逐步加强对数据隐私的保护,例如欧盟最近引入的新法案《通用数据保护条例》(GDPR),我国国家互联网信息办公室起草的《数据安全管理办法(征求意见稿)》等 。 当企业之间跨域跨组织的原始数据合作成为历史,如何打破数据孤岛,让数据在安全合规的前提下自由流动,成为了业界积极探索的方向 。
数据|京东开源超大规模联邦学习平台(9NFL) 深度连接合作伙伴
图片

图1 数据孤岛
在这个大背景下,联邦学习技术应运而生 。 联邦学习(Federated Learning)概念是由Google在2016年首次提出,它作为一个机器学习框架,能有效帮助多个机构在满足用户隐私保护、数据安全和政府法规的要求下,进行数据使用和机器学习建模 。
作为数据安全计算的业界前沿技术方案的联邦学习,可在保护数据隐私的同时深度连接各个合作方,达到了技术赋能、共创共赢的目标 。
数据|京东开源超大规模联邦学习平台(9NFL) 深度连接合作伙伴
图片

图2 联邦学习原理
业界前沿技术自主研发首次在电商推荐领域实现技术落地
基于业务需要,京东自研的联邦学习平台:九数联邦学习平台(9NFL)于2020年初正式上线 。 九数联邦学习平台(9NFL)基于京东商业提升事业部9N机器学习平台进行开发,在9N平台离线训练,离线预估,线上inference、 模型的发版等功能的基础上,增加了多任务跨域调度、跨域高性能网络、大规模样本匹配、大规模跨域联合训练、模型分层级加密等功能 。 整个平台可以支持百亿级/百T级超大规模的样本匹配、联合训练,并且针对跨域与跨公网的复杂环境,对可用性与容灾设计了一系列的机制与策略,保障整个系统的高吞吐、高可用、高性能 。
数据|京东开源超大规模联邦学习平台(9NFL) 深度连接合作伙伴
图片

图3 9NFL
京东自研的九数联邦学习平台(9NFL)主要有三点技术创新:
1、 业界前沿技术自主研发:从0到1设计与开发,实现了从样本匹配到模型训练/预测的完整解决方案;
2、 营销推荐领域技术落地:支持百亿级规模样本、百T级容量数据,首次在电商推荐领域实现线上业务落地;
3、 复杂场景下平台演进:实现分布式异步框架、Failover、拥塞控制等多种机制,保障了平台在跨域跨网的复杂场景下的高可用 。
自上线以来,九数联邦学习平台(9NFL)在取得了较好业务成绩的同时,也经受住了业务大数据、大算力的考验 。
在与媒体进行合作的京东广告投放业务场景中,媒体侧有大量的用户媒体兴趣标签,京东侧有大量的用户商业兴趣及商品标签数据,基于双方数据的互补性,使用联邦学习平台联合建模,优化广告的触发召回、CTR/CVR模型等模块,并成功上线,取得10%+的收入提升 。
数据|京东开源超大规模联邦学习平台(9NFL) 深度连接合作伙伴
图片

图4 9NFL在广告营销落地的场景图
联邦学习作为安全计算的解决方案,打破数据孤岛,实现了多方在数据的隐私保护与安全合规的前提下的紧密合作,将会成为AI发展的一大基石,在未来发挥更加重要的作用 。 九数联邦学习平台(9NFL)未来也将在1.0版本的基础上持续优化产品功能,深度连接合作伙伴,实现共创共赢 。
(责任编辑:季丽亚 HN003)

    社会

    化石|福州海关查获侏罗纪化石

    阅读(40)

    近日 , 福州海关所属福州长乐机场海关首次在出口C类快件渠道查获古生物化石 。 该批化石共1个(2片) , 经鉴定为侏罗纪末期至白垩纪早期满洲鳄头骨化石 。 本文插图 【化石|福州海关查获侏罗纪化石】 本文插图 福州长乐机场海关查获古生物化石 。 据福州长...

    资讯

    电视机|5G+8K开启端到端布局 破解超高清内容稀缺瓶颈

    阅读(19)

    不久前,中国移动(及咪咕)、中兴等在广州重点验证了在5GSA(独立组网)2.6GHz和4.9GHz双频组网下,运用网络切片、5QI、SPN等新服务于8K高清VR等大上行视频业务的能力和效果。在通信展上,华为展示了5G+8KVR业务体验,支持码率125Mbps。去年天翼展上,中国电...

    社会

    银霜|霜冷长河兴安岭 北国林海别样秋

    阅读(39)

    本文插图 清晨的大兴安岭湿地 , 初升的太阳映照满地银霜 。 ***发(李明摄) 10月中旬以来 , 内蒙古大兴安岭地区普降初霜 , 清晨的大地和树木披上薄薄的银装 , 一派北国林海深秋霜冷长河的别样韵味 。 本文插图 清晨的大兴安岭湿地 , 初升的太阳映照满...

    资讯

    手机|低头玩手机,颈部受力可能超50斤

    阅读(38)

    声明:转载此文是出于传递更多信息之目的。若有来源标注错误或侵犯了您的合法权益,请作者持权属证明与本网联系,我们将及时更正、删除,谢谢。[责任编辑:]...

    社会

    膜结构|膜结构在生活中的应用

    阅读(32)

    2、贸易建筑:膜膜构造建筑因新鲜的建筑造型、特别的夜景,具有十分独特的建筑可识性和贸易效应,可应用于各类贸易建筑,如大年夜型商场、购物中间、酒店、餐厅等,小型摊位、展位、市廛、步行街等,对大年夜型封闭建筑空间应进行建筑热工设计、光情况设计,...

    资讯

    董明珠|董明珠澳门直播销售总额9.09亿

    阅读(13)

    声明:转载此文是出于传递更多信息之目的。若有来源标注错误或侵犯了您的合法权益,请作者持权属证明与本网联系,我们将及时更正、删除,谢谢。...

    资讯

    燕京|燕京理工学院“移不动、联不通”不怪运营商

    阅读(25)

    据《经济日报》报道,10月16日,国务院督查组在接到相关线索后到燕京理工学院暗访,在宿舍、图书馆、教学楼、食堂等多个不同区域进行网络试用后发现,尽管手机信号总是“满格”,但无论是三大运营商下载速率均极为“缓慢”,存在网页打不开、程序登不上、无法...

    娱乐

    |赵薇《演员请就位2》第三期将上线 “反矫情”点评引期待

    阅读(49)

    【|赵薇《演员请就位2》第三期将上线 “反矫情”点评引期待】 中国娱乐网讯 www.yule.com.cn 角色竞演类真人秀《演员请就位》第二季正在热播 , 真实残酷的演技竞演考核与导师们犀利的点评让整档节目颇具看点 。 导演赵薇几次针对行业现状的坦率发声更是引发...

    生活

    趣头条|京沪高速升级 工信部推进车联网改造

    阅读(41)

    编辑点评:跟着5G通信技巧的日益精进,车联网技巧覆盖下的高速公路将更近一步晋升驾车出行的便利性,将来不仅仅是北京、长沙等车联网技巧较为成熟的地区,我们将在更多城市中领会到车联网给生活带来的优化体验。(文/汽车之家阎明炜)...

    生活

    何超莲|赌王千金何超莲穿婚纱太惊艳!大露背透视裙秀好身材,窦骁乐开颜

    阅读(28)

    外面搭配着廓形的西装,酒红色丝绒西装搭配了黑白两种色彩的简约,硬是凸显出了儒雅绅士又不失霸总色彩,选用黑色的蝴蝶结点缀,让整个造型看起来更加端庄儒雅绅士,下半身身穿黑色的西服裤,与上半身黑西装相互映衬更展现出他高大的身材,梳着微卷大背头,立...

    资讯

    |图说皖南秋韵

    阅读(21)

    在安徽西递景区,一位小朋友走出院子。中新社记者张瑶摄...

    资讯

    中考体育将达到和语数外同分值这是真的吗?中考体育将达到和语数外同分值事件始末

    阅读(14)

    在此基础上,通过不断总结经验,立即启动体育在高考中计分的研究。中共中央办公厅、国务院办公厅《关于全面加强和改进新时代学校体育工作的意见》《关于全面加强和改进新时代学校美育工作的意见》15日发布。王登峰介绍,这两个文件明确提出,要把学校体育和美...

    历史

    五铢钱|曹魏恢复五铢钱;蜀汉、东吴发行虚币大钱,聊一聊三国时期的货币

    阅读(22)

    汉末三国时期对币值的破坏,要从董卓开始说起。在东汉时期的货币是较为稳定的五铢钱。董卓进入洛阳控制朝政之后,对汉廷乃至整个天下都造成了严重的破坏,其中就有对币制的破坏。董卓集团生性贪婪,不仅使用劫掠、盗墓等手段搜刮洛阳,另外他还利用铸币权带来...

    科技

    TikTok|TikTok员工起诉特普朗政府获得初步胜利

    阅读(24)

    ”文件还指出,员工完成工作,不会被认为违反行政令。|此举是美国政府对TikTok员工帕特里克|·|莱恩(Patrick|Ryan)8月24日起诉的最新回应,它保证了TikTok在美1500名员工的工作和待遇,以及平台上众多供应商及合作伙伴的合法权益。这也意味着,美国员工以及...

    科技

    数据|京东开源超大规模联邦学习平台(9NFL) 深度连接合作伙伴

    阅读(19)

    联邦学习(Federated|Learning)概念是由Google在2016年首次提出,它作为一个机器学习框架,能有效帮助多个机构在满足用户隐私保护、数据安全和政府法规的要求下,进行数据使用和机器学习建模。作为数据安全计算的业界前沿技术方案的联邦学习,可在保护数据隐私的同...

    娱乐

    秦海璐|《亲爱的,你在哪里》开播 秦海璐出演寻女母亲何雪琳

    阅读(20)

    秦海璐饰演的何雪琳原本拥有一个幸福快乐的三口之家,在女儿媛媛走失后,踏上了艰难重重的寻女道路。片中何雪琳既是职场女强人,又是无助的母亲,此前预告片曝光后,不少网友称赞秦海璐让人一秒入戏。期待秦海璐的精彩演绎。loadSSP({id:adconfig.ids.image_p...

    科技

    百度|百度发布养成类虚拟助手App“度晓晓”

    阅读(16)

    36氪获悉 , 在“万物智能——百度世界2020”大会上 , 百度发布一款搜索创新产品 “度晓晓” 。 据百度集团执行副总裁沈抖介绍 , 度晓晓是一款养成类虚拟助手App , 建立在小度助手的功能基础上 , 具备视觉识别功能 。 (责任编辑:王治强 HF013)...

    科技

    音乐|短视频新基建?快手与VFineMusic将如何演绎

    阅读(49)

    据悉,VFineMusic将为快手旗下快手app、开眼快创app、快影app、一甜相机app提供短视频音乐企服方案,双方将通过音乐素材的定制更新赋能千万广告主创意升级,共襄短视频新基建。资料显示,VFineMusic成立于2015年,已与50多个国家和地区的3000位音乐人和版权方...

    科技

    百度|百度大脑升级至6.0发布养成类虚拟助手“度晓晓”

    阅读(23)

    基于掌握的5500亿知识,以及“知识增强的持续学习语义理解”技术,百度大脑综合语音、语言、视觉等不同信息,实现跨模态语义理解,获得对世界的统一认知。有了这一能力,机器就能听懂语音,看懂图像视频,理解语言,进而理解真实世界。此外,百度还发布了一款...