首页 要闻 金融 物流 汽车 国企 财经 公司 环保 能源

您的位置:首页 > 国内 >

用于闪存的多核加速文件系统

来源:面包芯语    编审:    发布时间:2023-06-19 09:51:52

1. 背景

随着固态硬盘带宽的快速增长,其访问延迟在不断缩小,在CPU核数的不断增长下,我们希望文件系统可以配合这种核数的扩展尽量释放SSD的全速带宽,但是在过去的实践中,传统文件系统只对于传统的HDD等设备具有更好的多核扩展性支持,通过在NVMe SSD上的实验发现,当核数扩展时文件系统的性能表现较差。

2. 调研实验及分析


(相关资料图)

1) 实验设置

在每个核上运行一个进程,并按照从1到72的规模扩展CPU核数,每个进程运行60秒,并执行创建文件、写操作、同步操作、删除文件等操作内容。在此过程中测试XFS、ext4、SpanFS、F2FS和模拟理想文件系统对于不同类型设备的吞吐量数据。

2) 实验结果

实验结果显示,现存文件系统对于NVMe SSD的多核扩展性支持相对较差,而对于传统的HDD和SATA SSD的扩展性具有接近于理想条件下的支持。同时最右边的图表显示,在72核的规模之下,大部分文件系统无法高效利用NVMe SSD的高速带宽。

3) 原因分析

i. 并发控制层的锁缓存争用

对于文件系统中支持并发访问的共享锁,由于锁的计数值需要在各核之间共享,那么就会引入计数器的缓存一致性问题,因此当核数增加时这种维护开销就会更加明显;

ii. 内存数据结构层的顺序化

LFS将内存数据结构分为三个区域:inode表、inode区域和data区域,对于每个区域,F2FS都会用一个radix树的结构进行管理,并且在每一棵树上用读写锁来进行并发控制。随着并发写者数量的增加,访问这三种树时会造成严重的顺序化,进而造成性能的下滑。

iii. 空间分配层的数据化

虽然F2FS采用了多头日志的形式并行化IO请求,但是由于各个温度的数据间的内部依赖,实际的数据持久化请求会被序列化(例如为了保证F2FS的冲突一致性,数据块持久化必须先于inode的持久化,同时文件inode的持久化必须在目录数据块更新之前)。因此,这种多头日志的设计对于扩展IO吞吐量没有很明显的优势。

3. 设计

为了充分利用多核架构和现代NVMe SSD的高带宽特性,我们设计了Max-针对闪存的多核加速文件系统,与F2FS的架构对比图如下:

根据实验分析的三个层面的问题,分别给出解决方案:

1) 设置每内核读者信号量,读访问可以并发进行,每个内核维护一个读者计数,各个内核的计数值互不相关,避免了在内核间维护缓存一致性的开销。当有一个写请求出现时,各个内核不再处理新的读请求,把当前正在进行的读请求处理完成后再处理写者的写访问。利用CPU调度器来高效检查每内核计数值,不必引入额外开销。

2) 将内存数据结构的索引划分为多个文件单元,每个文件单元包含单个文件的 inode 表项、inode 页和数据页,利用多棵树的索引实现并行化。

3) 将每种类型的日志区域切分为更小粒度的日志,每个小日志负责自己空间的分配,各小日志之间的空间分配互不干扰。

4. 实验效果

实验结果显示,MAX在数据访问和元数据访问带宽都实现了较好的多核可扩展性,与原始的F2FS等文件系统相比具有良好的优化效果。

登录阅读全文  免责声明: 该内容由专栏作者授权发布或作者转载,目的在于传递更多信息,并不代表本网赞同其观点,本站亦不保证或承诺内容真实性等。若内容或图片侵犯您的权益,请及时联系本站删除。侵权投诉联系: nick.zong@aspencore.com! SSDFans AI+IOT+闪存,万物存储、万物智能、万物互联的闪存2.0时代即将到来,你,准备好了吗? 进入专栏 评论 (0) 请登录后参与评论回复 登录 芯语 帖子 文库 下载 博文

有人说"字节一年,人间三年!",字节人来澄清一下,这是真的。

C语言与CPP编程 2023-06-17 1617浏览

美国主动放弃芯片禁令,中国企业大量采购顶级芯片!

半导体工艺与设备 2023-06-18 1270浏览

京东、阿里、腾讯、美团、拼多多、百度等38家境外上市互联网公司2023年第一季度财报汇总

全球TMT 2023-06-17 801浏览

反转了?欧盟资助华为3000万!

集成电路IC 2023-06-18 786浏览

哲库员工说!

集成电路IC 2023-06-18 641浏览

美光称中国禁令或使其半数在华收入不保

52RD 2023-06-17 604浏览

InfoComm引三星、索尼、LG、美国达科“围观”,兆驰晶显人气流量的背后是?

行家说Display 2023-06-17 580浏览

美国放宽对中国半导体限制的真正原因!

集成电路IC 2023-06-18 561浏览

工业物联网与机器人的普及,还面临哪些实际问题?

刘于苇 2023-06-18 14:21 0浏览

华硕大裁员引争议,官方声明回应

综合报道 2023-06-17 22:46 13浏览

氮化镓半导体:你所不知道的“进化史”

Majeed Ahmad 2023-06-16 17:23 69浏览

丰田重押固态电池、氢能源,其勃勃野心能否如愿?

张河勋 2023-06-16 17:19 71浏览

余承东:华为能帮车企活成“巨头”

综合报道 2023-06-16 17:17 50浏览

电力电子科学笔记:击穿、稳压器和SiC/Ge二极管

MarcelloColozzo 2023-06-16 17:08 36浏览

被传FSD完全版将在上海试点,主要缘于特斯拉较早布局

ESMC-国际电子商情 2023-06-16 16:37 96浏览

电力电子科学笔记:整流器和宽禁带

MarcelloColozzo 2023-06-16 15:24 31浏览

中国首颗ARM+RISC-V异构多核MCU伴随IAR在上海国际嵌入式展亮相

航顺 2023-06-15 16:20 19浏览

峰岹科技通过ISO26262功能安全管理体系认证,汽车市场成长加速!

峰岹 2023-06-15 15:39 14浏览

群联:全球第一家独立控制芯片商通过ASPICECL3等级

群联 2023-06-15 10:08 20浏览

TrendForce:预估2024年AppleVisionPro出货量约20万台

TrendForce 2023-06-15 06:18 66浏览

移远通信率先完成多场5G NTN技术外场验证,为卫星物联网应用落地提速

移远通信 2023-06-14 22:42 14浏览

2023Q1全球前十大晶圆代工厂商营收环比减少近20%

TrendForce 2023-06-14 16:07 85浏览

【变废为宝】智能垃圾桶的拆解和维修

深蓝电子 2023-06-07 591浏览

国内芯片行业真的太卷了,都在卷这个市场!

Maxshall 2023-06-09 272浏览

一文搞懂FPC系列——FPC生产工艺全流程详解看这边!

捷配科技 2023-06-01 213浏览

UC3843B外围电阻、电容参数计算

QWE4562009 2023-06-08 385浏览

磁铁控制霍尔开关输出

QWE4562009 2023-06-03 717浏览

【东芝步进电机驱动器】+关于42步进电机的应用

于同志 2023-06-16 115浏览

【变废为宝】+电饭煲拆解及电路分析

硬件工程师职场 2023-06-04 1027浏览

谐振频率、截止频率、并联谐振、串联谐振、容抗、感抗计算公式,红色字体标注理解是否正确?如果不对,请指正

QWE4562009 2023-06-09 258浏览

看懂示波器眼图必须掌握的4点

techff 2023-06-01 619浏览

想考虑一个问题,音响产品如何能保证产品的方案完整性,不被抄袭

王宇宙 2023-06-14 251浏览

我手里最老的一块万用表,50多年了还挺准的。

e来e去 2023-06-03 223浏览

“大厂”为什么砍掉技术项目?跟我们普通打工人有什么关系?

黑钢.384 2023-06-05 1909浏览

芯片公司里面经常出现的问题,你们的公司有没有?

黑钢.384 2023-06-05 1165浏览

视频监控系统的常见故障点和解决故障的经验

弱电干将 2023-06-15 62浏览

电源设计提高功率变换效率,有哪些技术

kia 2023-06-16 89浏览

开关电源RCD钳位电路是否真的可靠?

2023-06-15 48浏览

分享一下pid的模拟控制实现和数字控制实现

2023-06-12 176浏览

简要介绍用于 de-chirp操作的FPGA实现的总体设计

2023-06-12 95浏览

关于静电放电(ESD)原理以及其几种方案

2023-06-14 80浏览

场效应管的应用基础

kia 2023-06-16 52浏览

gmro是MOS晶体管的本征增益

kia 2023-06-14 67浏览

单片机引脚能够直接MOS管驱动吗?

kia 2023-06-16 89浏览

槽栅MOS器件的主要优势

kia 2023-06-14 40浏览

串口、COM口、TTL、RS-23RS-485:你以为懂了?其实你错了!

弱电干将 2023-06-15 129浏览

360度解密!POE交换机如何实现智能供电?

弱电干将 2023-06-15 116浏览

一些改善金属BGA(CCGA)焊接质量工艺方法

海绵宝宝的耳朵 2023-06-14 77浏览

手机充电器电路原理图

lk95818171 2023-06-12 147浏览

电源变压、整流、滤波的基础电路分析

2023-06-12 100浏览 友顺UTC功率mos管BSS127G SOT-23-3 TR-BSS127G数据手册 友顺UTC功率mos管BSS127G SOT-23-3 TR-BSS127G数据手册 所需E币: 0 2023-06-15 14:23 大小: 342.94KB 上传者:骊微电子科技 微机ATX电源电路的工作原理与维修.pdf 微机ATX电源电路的工作原理与维修.pdf 所需E币: 3 2023-06-15 14:05 大小: 638.27KB 上传者:张红川 BST363A054U 瞬态抑制tvs贴片二极管参数规格书 BST363A054U 瞬态抑制tvs贴片二极管参数规格书 所需E币: 0 2023-06-15 14:19 大小: 452.93KB 上传者:骊微电子科技 示波器探头技术概述-北京海洋仪器谷水泉

2023示波器探头培训讲义

所需E币: 0 2023-06-16 10:50 大小: 2.33MB 上传者:谷水泉 MMSZ5231B贴片稳压二极管-mmsz5231b数据手册 MMSZ5231B贴片稳压二极管-mmsz5231b数据手册 所需E币: 0 2023-06-15 14:21 大小: 735.69KB 上传者:骊微电子科技 LXES15AAA1-153 esd静电保护二极管-tvs二极管 村田 LXES15AAA1-153 esd静电保护二极管-tvs二极管 村田 所需E币: 0 2023-06-15 14:20 大小: 630.64KB 上传者:骊微电子科技 通用型高功率 LED 驅動器控制器簡化了設計-設計要點.pdf 通用型高功率 LED 驅動器控制器簡化了設計-設計要點.pdf 所需E币: 1 2023-06-15 14:04 大小: 511.07KB 上传者:张红川 JSTR9110DS8 5V~15V3.5A反激副边同步整流芯片-JSTR9110DS8规格书 JSTR9110DS8 5V~15V3.5A反激副边同步整流芯片-JSTR9110DS8规格书 所需E币: 0 2023-06-15 14:20 大小: 1.34MB 上传者:骊微电子科技 贴片ip5306 2.1A充电2.4A放电soc电源管理芯片-IP5306芯片规格书 贴片ip5306 2.1A充电2.4A放电soc电源管理芯片-IP5306芯片规格书 所需E币: 0 2023-06-15 14:23 大小: 559.18KB 上传者:骊微电子科技 PN8160SEC-R1H 12V2A适配器方案-pn8160数据手册 PN8160SEC-R1H 12V2A适配器方案-pn8160数据手册 所需E币: 0 2023-06-15 14:22 大小: 394.24KB 上传者:骊微电子科技 S120调试手册 对于西门子调试电机入门有帮助 所需E币: 3 2023-06-15 16:02 大小: 4.57MB 上传者:piyuanbing MBR20100FCT常用肖特基二极管-MBR20100FCT中文参数 MBR20100FCT常用肖特基二极管-MBR20100FCT中文参数 所需E币: 0 2023-06-15 14:20 大小: 890.51KB 上传者:骊微电子科技 SMF6.0A 贴片tvs二极管-单向瞬态抑制二极管-tvs二极管参数_ SMF6.0A 贴片tvs二极管-单向瞬态抑制二极管-tvs二极管参数_ 所需E币: 0 2023-06-15 14:22 大小: 152.26KB 上传者:骊微电子科技 接地电阻柜到现场后安装步骤如何做? 接地电阻柜到现场后安装步骤如何做?接地电阻柜到现场后,安装步骤如下:1. 准备工具和材料:在安装前,需要准备好所需的工具和材料,如电缆、电缆夹、接地线、铜板、支架等。2. 安装支架:需要安装支架,确保接地电阻柜的固定和稳定。3. 连接电缆:将电缆接到接地电阻柜上,并使用电缆夹固定。4. 安装接地电阻器:接地电阻器要根据电网系统的需求进行选择,并安装到接地电阻柜中。5. 连接接地线:将接地电阻器的输出端连接到接地线上。在安装过程中,需要注意以下几点:1. 选择合适的位置:接地电阻柜应安装在干燥通风 保定众邦电气 2023-06-16 14:45 246浏览 技术分享 | i.MX8M Plus开发板 固定IP地址以及单网口多IP设置 以启扬IMX8MP开发板为例,给大家分享固定IP地址以及单网口多IP设置的步骤流程。固定IP地址设置20-wired.network重启Network生效网口多ip设置对于一些网络管理的命令connman设置(参考)imx8 yocto系统的init system使用systemd,系统下没有/etc/init.d/networking及/etc/network/interfaces来管理网络,使用了connman来管理网络。获取有线网络列表设置静态IP、网关及DNS添加.config来保存设置 启扬ARM嵌入式 2023-06-16 09:34 127浏览 实测 | 飞凌嵌入式OK3588-C开发板4G模组的使用与测试 本篇试用报告由发烧友ouxiaolong提供,感谢ouxiaolong的支持。飞凌嵌入式会持续开展开发板有奖试用活动,更有京东E卡等着你!欢迎大家的持续关注。飞凌嵌入式OK3588-C开发板是一款性能强劲的旗舰产品,采用核心板+底板的分体式设计,基于Rockchip RK3588处理器设计,该处理器具有超高性能,包含4核Cortex-A55和4核Cortex-A76架构,Cortex-A55主频高达1.8GHz,Cortex-A76主频高达2.4GHz,且内置 NPU,功能丰富,可玩 飞凌嵌入式 2023-06-16 13:57 213浏览 P4可编程的DPU 让算网生态更加开放融合!|第三届网络开源技术生态峰会 2023年6月10日,第三届网络开源技术生态峰会在北京成功召开。中科驭数高级副总裁、CTO卢文岩博士受邀出席本届峰会,并在活动主论坛分享题为《P4可编程的DPU 让算网生态更加开放融合》的主题演讲。▲ 中科驭数高级副总裁、CTO卢文岩博士受邀在主论坛发表主题演讲■ 数据中心“税”与异网融合“税”是当前算网生态的两大痛点算力,毫无疑问是当前数字经济发展的核心增长力,已经成为像水、电、网一样的基础性生产要素,事关到整个核心要素的升级,是驱动经济社会数字化转型的新引擎。演讲伊始,卢文岩博士简要介绍 Yusur_Tech 2023-06-16 11:21 212浏览 搭建数据流通的高铁网络,DPU能否使算力“狂飙”? | 华泰证券对谈中科驭数创始人、CEO鄢贵海 近期,中科驭数创始人、CEO鄢贵海受邀参与华泰证券播客栏目《泰度VOICE》,与华泰创新投资总监刘诚围绕人工智能三要素之一“算力”,展开一场非常硬核、烧脑的科技向对谈。在节目中,鄢老师深入浅出地探讨了数据处理单元(DPU)的技术原理及应用场景,对于算力提升面临的难题和产业意义,他详细解释了DPU作为算力底座中的关键组成部分,如何通过连接各种算力节点和构建算力资源池来提高效率。同时,他也分享了科学家创业的心路历程,强调了科技创新与商业应用的紧密结合对推动科技发展的重要性。欢迎收听~01光有CPU和 Yusur_Tech 2023-06-16 11:54 216浏览 【雕爷学编程】Arduino动手做(111)---震动提醒模块 37款传感器与执行器的提法,在网络上广泛流传,其实Arduino能够兼容的传感器模块肯定是不止这37种的。鉴于本人手头积累了一些传感器和执行器模块,依照实践出真知(一定要动手做)的理念,以学习和交流为目的,这里准备逐一动手尝试系列实验,不管成功(程序走通)与否,都会记录下来---小小的进步或是搞不掂的问题,希望能够抛砖引玉。【Arduino】168种传感器模块系列实验(资料代码+仿真编程+图形编程)实验一百一十一: 震动马达模块 高低电平振动小电机 智能可穿戴式产品震动提醒模块微型振动马达主 雕爷学编程 2023-06-16 11:07 259浏览 C6748实验室建设方案 【TL6748-PlusTEB】 嵌入式DSP实验室建设方案1 DSP实验室建设背景1.1 实验室建设必要性根据《教育部关于全面提高高等教育质量的若干意见》(教高〔2012〕4号)精神和《教育信息化十年发展规划(2011-2020年)》要求,“深度融合,引领创新”是高等教育信息化建设和实验教学示范中心建设的重要内容。建立嵌入式DSP仿真实验教学系统,利于改变传统教学“重教有余,重学不足”的模式,有助高校创新型人才培养,并达到教学大纲所要求的教学目的。DSP数字信息处理技术以及数字信号处理器在通 创龙教仪 2023-06-16 15:38 591浏览 RK3568 vs 树莓派4: 嵌入式计算的巅峰之争 ▎引言嵌入式计算领域一直以来都有着激烈的竞争,RK3568和树莓派4作为两个备受瞩目的平台,引起了广泛的关注。本文将以处理器性能、扩展性、功耗和软件支持等方面对RK3568和树莓派4进行综合比较,以帮助读者更好的了解这两个平台的优势和适用场景。▎RK3568经过多年发展,瑞芯微在通用处理器、机器视觉领域等领域有着丰富的产品线,可以满足不同场景的行业需求。在2020年开发者大会上,瑞芯微发布了RK3568芯片,该芯片采用22nm制程工艺、4核A55架构CPU(主频最高2.0GHz)、Mali&nb 万象奥科 2023-06-16 11:07 245浏览 纽扣电池法规:UL4200A测试报告办理 近来,部分ANSI/UL标准(如UL1082、UL982、UL1026、UL1081等)对含有纽扣锂电池的产品新增了UL4200A的评估要求。对于具体生效日期,请注意后续各终端产品标准新版本更新通告。认证咨:191075167751. 适用产品 安装有直径 ≤32mm,且直径大于高度的纽扣锂电池的消费类(家用)产品(但在部分终端产品标准中可能会有额外补充要求)。2. 新增要求的主要目的(但不限于):减少儿童误吞的风险。3. 结构3.1 对于终端产品带有“允许使用者移动或更换的电池”时,结构需要符 陈丽莎 2023-06-16 09:46 124浏览 【PCB笔记】PCB的设计的全流程和PCB设计实战总结 如今的PCB电路板无处不在,日常接触到的手机,电脑,家用电器,玩具等等,拆开机械结构,里面都存在大大小小,各种功能的电路板。PCB是基本电子元器件和芯片最重要的载体,所以,PCB设计的优劣也直接决定了产品最终的性能。本文通过一个实际案例,分析电路板的基本组成和PCB的主要设计流程。电路板的基本组成目前的电路板,主要由以下组成:线路:线路是做为原件之间导通的工具,在设计上会另外设计大铜面作为接地及电源层。介电层(Die 启芯硬件 2023-06-16 15:24 261浏览 经纬恒润AUTOSAR成功适配国芯科技国产车规级芯片 近日,经纬恒润AUTOSAR基础软件产品INTEWORK-EAS-CP成功适配国芯科技的CCFC2012BC产品家族。同时,经纬恒润完成了对国芯科技的MCAL软件适配和工程集成,为国芯科技提供了全套AUTOSAR解决方案。基于国芯科技CCFC2012BC完成AUTOSAR适配通过本次合作,国芯科技的芯片产品将以功能更加完善、性能更加量化、服务更加完整的状态面向车内不同应用场景。未来,经纬恒润与国芯科技将继续合作,不断为国芯科技迭代发布的新产品提供软件平台解决方案。▎经纬恒润INTEWORK-EA hirain 2023-06-16 11:06 252浏览 电芯电池UL1642、锂电池UL2054安规测试报告办理详情 亚马逊UL2054测试报告 锂电池UL报告 电芯UL1642近日大量卖家反馈亚马逊针对18650电池进行批量下架,目前已有不少卖家在售链接遭殃。据悉,亚马逊在邮件中表示,圆柱形锂离子电池类型包括:14500、16340、18650、20700、21700、26650;以及包含这些电池类型的所有产品,即使产品不包含电池。那为何亚马逊要下架18650电池呢?诉讼称,截至 2021年7 月,亚马逊仍在其平台上列出了数千个“危险且虚假宣传”的电池,“包括亚马逊知道存在安全风险的电池”。那如果预防亚马逊下 陈丽莎 2023-06-15 16:53 183浏览 大尺寸兼具高画质的家庭娱乐新选择- 超短焦投影机 认识超短焦投影机超短焦投影机(Ultra Short Throw Projector)是近年逐渐热门的影音产品。传统的投影机需要较长的投射距离,以720或1080P的画质为主;超短焦投影机距离投射墙面则仅需几十公分的距离,便可达成80-150吋的投射画面,并且大多支持4KUHD画质并内建丰富的影音串流服务程序,非常适合空间受限的家庭及个人使用。超短焦投影机,主要是利用DLP(Digital Light Processing数字光处理)技术进行图像显示,DLP投影机将光通过旋转的RGB 色轮,将其 百佳泰测试实验室 2023-06-15 18:29 218浏览

标签:

精彩推送

最火资讯

Copyright @2008-2018 名企时报网 版权所有
本站点信息未经允许不得复制或镜像 联系邮箱:9 9 2 5 8 3 5@qq.com
豫ICP备2020035338号-4 营业执照公示信息