SCSI软件层如何对性能的影响

Tech Neo技巧沙龙 | 11月25号，九州云/ZStack与您一路商量云时代收集界线治理实践

对于闪存存储而言，一切都产生了变更，SSD的机能无论是带宽照样IOPS都异常高，是以，存储的机能瓶颈点大年夜Disk端转移到了CPU、OS以及收集端。

在闪存存储范畴，我们可以看到无论在市场、客户照样在研发，大年夜家都在支撑NVMe标准，其很重要的一个原因是传统的SCSI已经不克不及知足机能需求，其变成了存储体系的一个重要机能瓶颈点。大年夜软件层、传输协定效力、软件接口标准、芯片接口、传输链路，传统的SAS/SATA都存在很多不足的处所。今天存储老平和大年夜家一路分享一下SAS/SATA接口在软件层面的重要机能瓶颈点，大年夜研发的角度来解释为什么SCSI软件层是一个重要的机能瓶颈点。

大年夜家都比较清跋扈SCSI软件层的组织构造，其重要由三大年夜部分构成：

1, SCSI上层驱动层。这层驱动重要完成SCSI设备的功能，例如磁盘的驱动、Tape的驱动，CD-ROM的驱动都在这层实现。对于磁盘驱动，平日也被称之为SD驱动，实现了一个块设备功能。对上接入块设备驱动层；对下和SCSI中心层对接。

2, SCSI中心层。中心层软件重要完成SCSI敕令的处理、掉足处理、超时处赖寥。中心层的膳绫擎是各个SCSI的功能驱动；下面是SCSI的底层驱动。

3, SCSI底层驱动。底层驱动实现了SCSI的数据传输和HBA的驱动。在底层可以实现ISCSI的发送器；可以模仿一?SCSI的HBA；当然也可以实现LSI的HBA驱动法度榜样，并经由过程DMA的方法将数据提交给实际的硬件板卡。

在传统磁盘存储中，机能瓶颈点在磁盘端。CPU处理器、NUMA体系架构、软件的并发性对存储的机能影响几乎为零。存储老吴在07年研发Thin Provisioning逻辑卷体系的时刻，试图经由过程优化锁资本竞争来晋升IO机能，结不雅是预感之中的徒劳。对于磁盘存储来说，CPU机能一向是搓搓有余的。一个磁盘的IOPS最多只能跑到200，所以中断对CPU来说也毫无压力，在这种情况下，SCSI软件层无论若何实现对机能根本是没有影响的。所以，磁盘存储是一个实实袈内涵的IO Intensive应用。

然则，对于闪存存储而言，一切都产生了变更，SSD的机能无论是带宽照样IOPS都异常高，是以，存储的机能瓶颈点大年夜Disk端转移到了CPU、OS以及收集端。在这种情况下，我们再来看一看SCSI的软件栈。如下图所示，每个SCSI设备只供给了一个请求队列（request queue），那么无论体系中存在若干个处理线程，无论体系中存在若干个CPU核，所有的请求都邑以竞争的方法入队列。SCSI设备的请求队列是体系的一个竞争资本。

对于SMP体系而言，竞争资本的处理都须要经由过程加锁的方法来实现拜访。在Linux的实现中经由过程Spinlock的方法对请求队列进行互斥保护。因为SSD机能异常高，所以体系中的CPU都在忙于请求的处理，这些劳碌的CPU最终都须要去竞争请求队列锁，将请求放入队列。这种大年夜量的竞争导致每个CPU的处理效力大年夜为降低，大年夜量时光处于自旋状况，等待获取请求队列锁。大年夜而使得整体IO处理的效力降低，存储机能因为软件上的限制而得不到晋升。

针对这个问题，我们做过实际的测试，发明当IO压力上来之后，体系中的CPU绝大年夜部分时光都处于自旋状况，都在竞争请求队列的自旋锁。所以，SCSI层的单请求队列是一个严重的机能瓶颈点。

为懂得决这个问题，Linux对SCSI的单队列做了改进，惹人了Multi-queue的方法。经由过程多队列的方法可以削减、避免线程/CPU之间的竞争，可以充分发挥单个CPU处理IO的效力，大年夜而整体晋升IO处理的机能。SCSI惹人多队列之后的示意图如下图所示：

须要留意的是，在软件上为每个SCSI设备惹人多队列之后，同样须要在HBA端闻敉件拜访供给多队列支撑，不然机能将会局限在HBA卡上。闪存存储软件的设计与实现和传统存储比拟，不仅数据分布、数据的组织情势产生了变更；并且软件的实现效力、CPU并发潜能的发掘、计算机体系构造的┞峰酌都邑变得尤其重要。所以，我一向认为，闪存存储不仅玩的是存储技巧，而是高机能计算技巧。

【编辑推荐】

优化数据中间SSD机能的四大年夜选项
加快Oracle RAC机能软件定义存储的数据库云化实践
公共云存储办事优化机能贴士
西部数据10TB紫盘测试：读写稳定靠得住，机能表示出色
冲破存储跨中间双活筹划设计阶段可贵之二：机能影响

【义务编辑：武晓燕 TEL：（010）68476606】

　　推荐阅读

　　快速掌握机器学习，这3种算法你必须知道

Tech Neo技巧沙龙 | 11月25号，九州云/ZStack与您一路商量云时代收集界线治理实践在这篇文┞仿中我将介绍三大年夜类的机械进修算法，针对大年夜范围的数据科学问题，信赖你都能满怀自负去>>>详细阅读

本文标题：SCSI软件层如何对性能的影响

地址：http://www.17bianji.com/lsqh/38719.html

1/2 1