百融云创:联邦学习迎刃“数据孤岛”难题

数字化时代的快速发展,使数据成为了重要资源。人人都在谈“大数据”,不管身处什么行业,各个企业都开始注重自己的数据,想要好好利用这些数据。但是情况往往是企业发展到了一定阶段时,各个部门各自存储数据,部门之间的数据无法共通,这导致这些数据像一个个孤岛一样缺乏关联性。最终常常因为难以流通和利用而变成死数据。这些都会导致一个结果就是带来成本。解决数据孤岛的问题是所有企业的必要功课。

近日,国家发改委发布了《关于加快构建全国一体化大数据中心协同创新体系的指导意见》,会上表明了数据是国家基础战略性资源和重要生产要素,将有力推动政府主导的数据中心有序规划、消除数据孤岛、提升数据安全性,让数据更有效地流通、在更多场景落地。

面对数据孤岛的难题,百融云创立志以科技技术来面对。作为国内人工智能驱动金融业务升级的领航者,百融云创自2018年成立人工智能金融实验室以来,在数据和信息安全备受重视的形势下,以平台化思维创新研发,不断完善机器学习平台建设,百融云创人工智能金融实验室团队积极探索联邦机器学习(FML)技术,通过去中心化协作的方式,为金融机构转型升级提供全新的发展思路。

联邦学习技术的出现为解决数据隐私与数据共享的矛盾提供了有效方案。这是一种加密的分布式机器学习技术,可实现各个企业自有数据不出本地,通过加密机制下的参数交换方式,在不违反数据法规隐私的情况下,建立一个虚拟的共有模型,最终通过联合建模提升模型的效果。随着各界对金融消费者个人隐私保护的日益重视,数据和信息安全已经成为智能金融时代重要的信任基石。

另一方面,通过联邦学习能够保证模型质量无损,不会出现负迁移,保证联邦模型比割裂的独立模型效果好。此外,重要的一点是各参与者地位对等,能够实现公平合作,实现打通”数据孤岛”到”共同富裕”的目标。

百融人工智能金融实验室已经完成联邦学习系统的基本开发。下一步将继续丰富上层功能运用和底层协议改造,完善整体机器学习平台即“百小渔”(自动化机器学习平台)的建设,将自动机器学习、联邦学习全部嵌到里面去。