希捷科技高级工程师杨泽宏:容海量数据,筑新“云”基石
摘要:本次峰会荣幸邀请到希捷科技高级工程师杨泽宏作为特邀嘉宾,从"Web3.0时代数据暴增""LYVE Cloud"以及"Exos CORVAULT"等多方面出发,发表主题为"容海量数据,筑新‘云’基石"的精彩演讲。
2021年9月17日,由上市公司信维股份主办“赋能·共赢——2021信维Web3.0分布式存储行业峰会”于深圳中洲万豪酒店隆重启幕。本次峰会荣幸邀请到希捷科技高级工程师杨泽宏作为特邀嘉宾,从“Web3.0时代数据暴增”“LYVE Cloud”以及“Exos CORVAULT”等多方面出发,发表主题为“容海量数据,筑新‘云’基石”的精彩演讲。
以下为现场演讲内容整理:
杨泽宏:回顾过去近40年间,从最早期的超级计算机、大型机到PC +小型机,再到现在的互联网“云”时代,整体网络基础设施架构发生巨大变化,背后原因在于市场需求的改变。我们可以看到,相较于Web1.0和Web2.0的需求明确,Web3.0的需求还在不断摸索和总结中。
从目前情况来看,行业有一些值得期待的方向,比如虚拟化,数据隐私保护。实际上,近年以大型互联网“公有云”为主导的行业中,没有企业能够绝对保证隐私安全,导致大家越来越倾向于“数据所有权应该属于个人”。然而基于现有基础架构根本无法实现,所以我们需要一个新的架构来满足需求,这也是Web3.0所提出的一个重要点。
除此之外,在过去的20年间,整个数据增量都是指数级的。可是存储行业的生产能力基本是线性的,如果继续使用集中式存储数据,可能会带来不可预想的后果。所以分布式存储可能是将来的一个重要存储基础架构,包括以分布式存储和分布式计算为代表的网络架构也会迎来全新发展。
比如疫情期间的防控监测数据,如何在最大限度保护数据安全性的情况下,让数据能够得到有效利用?其实涉及到数据清洗问题,这需要引入一个边缘节点,该节点在局域性范围内对数据具有管辖权,并且将数据经过适当处理和清洗之后,再提交给公有云或者私有云。所以在这种情况下,大家会发现数据架构正发生重大变化,而Web3.0哪些行业最需要这种新型架构?诸如自动驾驶领域,媒资领域,工业互联网,分布式存储行业,医疗行业等,都非常典型。
希捷作为存储行业的老兵,有着40多年的发展历程。在这场行业变革当中,希捷关注到存储成本制约了存储需求,多年来致力于降低存储行业的整体成本,以此进一步帮助客户构建低成本的高效存储。希捷更多关注系统研发,未来希捷希望以整体形式来交付存储设备,从整体系统的方向提供解决方案,以软硬件协同的方式来交付存储产品。
除此之外,既然要提供整个系统级的产品,显然需要进入芯片行业。目前希捷已在芯片领域深耕多年,将继续加大投入存储芯片和硬盘专用芯片,未来希捷会有新一代的系统级阵列芯片问世。同时希捷具有端到端的设计能力,能够帮助客户改善系统设计,让高密度存储门槛尽可能地降低。
为全面应对客户需求,希捷还有一系列变化。比如数据爆发性增长带来的资源密集管理需求,
构建一个PB级的存储系统与EB级的存储系统的区别,两者根本不是一个概念,而且系统构建、运维方面存在很高门槛。在此基础之上,如何保证数据的整体安全性?是否要完全交给第三方运行?这些都是很大考验。总而言之,在存储行业中,希捷希望能够保证数据快速增长,高效利用以及数据安全,可持续发展。
实际上,希捷全新品牌LYVE就包含系统级产品,云服务,数据传输服务和归档服务,将是希捷今后系统级产品的唯一品牌。希捷会基于LYVE硬件平台构建LYVE Cloud,希望为所有任一形态的客户直接提供存储服务。大家如果关注新闻可以看到,著名视频会议厂商Zoom已经把视频资料存储在希捷LYVE Cloud上,我们可以帮助客户来构建这样的存储集群。
另外,希捷还有数据存迁移服务,比如客户有数据上云或者下云服务,需要在不同云之间做迁移。尤其是在终端节点或者边缘节点之间,如果完全使用光纤来传输,第一成本很高,第二效率不高。所以希捷可以提供一个硬件方案的数据传输服务,从客户端到桌面,到数据存储,到边缘节点,再到公有云和私有云节点,提供全系列方案,把光纤传输变成物理传输,大大提高传输效率,并且降低传输成本。同时希捷还会运营LYVE Cloud,把数据生命周期的服务全部打通。
关于Lyve Pilot数据调度管理,希捷使用统一管理界面,客户可以随时追踪自身数据所在的设备健康状况、可靠性以及所在位置。一直到它迁移至边缘节点,迁移至云中心,它可以在全过程中用统一加密手段来保证安全。当然它在LYVE Cloud当中可以使用行业标准接口来帮助客户便捷取用数据,或者迁移数据。
最后介绍一个硬件系统Exos CORVAULT。正如前面所提及,希捷希望帮助客户快速构建大规模存储集群,Exos CORVAULT虽然物理形态看上去像是一个存储机架,但具备超大容量、块存储以及自我修复的能力。其中自我修复能力指的是,它在硬件中增加希捷自研的数据可靠性的校验和故障恢复的功能。
具体来说,Exos CORVAULT系统要如何使用?整个机框可看成是一块超级大的硬盘,它对外提供块存储服务,使用Sass标准接口。如果你有一台设备能够访问Sass设备,连接之后会看到一个超大存储空间,像一台4U高度的设备,它能提供1.9个PB的容量。对于这个存储空间你要使用什么样的文件系统,做什么样的分区,全部都像一块硬盘来使用。
Exos CORVAULT底层做了冗余,在单个或者两个硬盘损坏情况下,它都不会影响你的使用,整个过程会做自动修复。希捷对于系统承诺的是5年使用周期之内免维护,这可能比单块机械硬盘有更高可靠性。你可以理解为它是一个超大型的硬盘,能够帮助很多有PB级或者数百TB数据使用量的客户减少很多麻烦。比如后台运维管理都不需要干预,即使有硬件损坏,通过ADAPT分布式冗余阵列技术,几小时内就能恢复一块20TB硬盘。同时它能够提供14个GB带宽,让客户能够充分享受免于维护的大容量设备。
除此之外,希捷还有一个开源软件系统CORTX,它是基于原先为超算服务的分布式存储系统的核心重新开发的系统。2020年希捷决定对该系统进行开源,但是它并不是一个新的软件系统,而是有超过20年使用历史的分布式存储系统。在这个基础之上,我们做了对象存储的开发,把它变成一个轻量化的对象存储系统。至于做开源系统的原因,其实目标很纯粹。我们希望在一定范围之内,客户能够利用CORTX系统加上我们的硬件,以最快速度来构建分布式存储系统。
CORTX作为一个百分百开源的系统,它可以让客户进行二次开发,重新分装成商业软件,而不会有任何版权的纠纷。我们并不希望用版权来制约客户,也没有GPL这种传染性开源协议,完全可以进行二次开发与商业分装。总而言之,希捷希望帮助客户在数据存储领域,能够更加高效便捷地使用存储产品,谢谢大家。
以下为现场演讲内容整理:
杨泽宏:回顾过去近40年间,从最早期的超级计算机、大型机到PC +小型机,再到现在的互联网“云”时代,整体网络基础设施架构发生巨大变化,背后原因在于市场需求的改变。我们可以看到,相较于Web1.0和Web2.0的需求明确,Web3.0的需求还在不断摸索和总结中。
从目前情况来看,行业有一些值得期待的方向,比如虚拟化,数据隐私保护。实际上,近年以大型互联网“公有云”为主导的行业中,没有企业能够绝对保证隐私安全,导致大家越来越倾向于“数据所有权应该属于个人”。然而基于现有基础架构根本无法实现,所以我们需要一个新的架构来满足需求,这也是Web3.0所提出的一个重要点。
除此之外,在过去的20年间,整个数据增量都是指数级的。可是存储行业的生产能力基本是线性的,如果继续使用集中式存储数据,可能会带来不可预想的后果。所以分布式存储可能是将来的一个重要存储基础架构,包括以分布式存储和分布式计算为代表的网络架构也会迎来全新发展。
比如疫情期间的防控监测数据,如何在最大限度保护数据安全性的情况下,让数据能够得到有效利用?其实涉及到数据清洗问题,这需要引入一个边缘节点,该节点在局域性范围内对数据具有管辖权,并且将数据经过适当处理和清洗之后,再提交给公有云或者私有云。所以在这种情况下,大家会发现数据架构正发生重大变化,而Web3.0哪些行业最需要这种新型架构?诸如自动驾驶领域,媒资领域,工业互联网,分布式存储行业,医疗行业等,都非常典型。
希捷作为存储行业的老兵,有着40多年的发展历程。在这场行业变革当中,希捷关注到存储成本制约了存储需求,多年来致力于降低存储行业的整体成本,以此进一步帮助客户构建低成本的高效存储。希捷更多关注系统研发,未来希捷希望以整体形式来交付存储设备,从整体系统的方向提供解决方案,以软硬件协同的方式来交付存储产品。
除此之外,既然要提供整个系统级的产品,显然需要进入芯片行业。目前希捷已在芯片领域深耕多年,将继续加大投入存储芯片和硬盘专用芯片,未来希捷会有新一代的系统级阵列芯片问世。同时希捷具有端到端的设计能力,能够帮助客户改善系统设计,让高密度存储门槛尽可能地降低。
为全面应对客户需求,希捷还有一系列变化。比如数据爆发性增长带来的资源密集管理需求,
构建一个PB级的存储系统与EB级的存储系统的区别,两者根本不是一个概念,而且系统构建、运维方面存在很高门槛。在此基础之上,如何保证数据的整体安全性?是否要完全交给第三方运行?这些都是很大考验。总而言之,在存储行业中,希捷希望能够保证数据快速增长,高效利用以及数据安全,可持续发展。
实际上,希捷全新品牌LYVE就包含系统级产品,云服务,数据传输服务和归档服务,将是希捷今后系统级产品的唯一品牌。希捷会基于LYVE硬件平台构建LYVE Cloud,希望为所有任一形态的客户直接提供存储服务。大家如果关注新闻可以看到,著名视频会议厂商Zoom已经把视频资料存储在希捷LYVE Cloud上,我们可以帮助客户来构建这样的存储集群。
另外,希捷还有数据存迁移服务,比如客户有数据上云或者下云服务,需要在不同云之间做迁移。尤其是在终端节点或者边缘节点之间,如果完全使用光纤来传输,第一成本很高,第二效率不高。所以希捷可以提供一个硬件方案的数据传输服务,从客户端到桌面,到数据存储,到边缘节点,再到公有云和私有云节点,提供全系列方案,把光纤传输变成物理传输,大大提高传输效率,并且降低传输成本。同时希捷还会运营LYVE Cloud,把数据生命周期的服务全部打通。
关于Lyve Pilot数据调度管理,希捷使用统一管理界面,客户可以随时追踪自身数据所在的设备健康状况、可靠性以及所在位置。一直到它迁移至边缘节点,迁移至云中心,它可以在全过程中用统一加密手段来保证安全。当然它在LYVE Cloud当中可以使用行业标准接口来帮助客户便捷取用数据,或者迁移数据。
最后介绍一个硬件系统Exos CORVAULT。正如前面所提及,希捷希望帮助客户快速构建大规模存储集群,Exos CORVAULT虽然物理形态看上去像是一个存储机架,但具备超大容量、块存储以及自我修复的能力。其中自我修复能力指的是,它在硬件中增加希捷自研的数据可靠性的校验和故障恢复的功能。
具体来说,Exos CORVAULT系统要如何使用?整个机框可看成是一块超级大的硬盘,它对外提供块存储服务,使用Sass标准接口。如果你有一台设备能够访问Sass设备,连接之后会看到一个超大存储空间,像一台4U高度的设备,它能提供1.9个PB的容量。对于这个存储空间你要使用什么样的文件系统,做什么样的分区,全部都像一块硬盘来使用。
Exos CORVAULT底层做了冗余,在单个或者两个硬盘损坏情况下,它都不会影响你的使用,整个过程会做自动修复。希捷对于系统承诺的是5年使用周期之内免维护,这可能比单块机械硬盘有更高可靠性。你可以理解为它是一个超大型的硬盘,能够帮助很多有PB级或者数百TB数据使用量的客户减少很多麻烦。比如后台运维管理都不需要干预,即使有硬件损坏,通过ADAPT分布式冗余阵列技术,几小时内就能恢复一块20TB硬盘。同时它能够提供14个GB带宽,让客户能够充分享受免于维护的大容量设备。
除此之外,希捷还有一个开源软件系统CORTX,它是基于原先为超算服务的分布式存储系统的核心重新开发的系统。2020年希捷决定对该系统进行开源,但是它并不是一个新的软件系统,而是有超过20年使用历史的分布式存储系统。在这个基础之上,我们做了对象存储的开发,把它变成一个轻量化的对象存储系统。至于做开源系统的原因,其实目标很纯粹。我们希望在一定范围之内,客户能够利用CORTX系统加上我们的硬件,以最快速度来构建分布式存储系统。
CORTX作为一个百分百开源的系统,它可以让客户进行二次开发,重新分装成商业软件,而不会有任何版权的纠纷。我们并不希望用版权来制约客户,也没有GPL这种传染性开源协议,完全可以进行二次开发与商业分装。总而言之,希捷希望帮助客户在数据存储领域,能够更加高效便捷地使用存储产品,谢谢大家。
- 免责声明
- 世链财经作为开放的信息发布平台,所有资讯仅代表作者个人观点,与世链财经无关。如文章、图片、音频或视频出现侵权、违规及其他不当言论,请提供相关材料,发送到:2785592653@qq.com。
- 风险提示:本站所提供的资讯不代表任何投资暗示。投资有风险,入市须谨慎。
- 世链粉丝群:提供最新热点新闻,空投糖果、红包等福利,微信:juu3644。