如何调整 Block Size 使备份达到最优性能

Python011

如何调整 Block Size 使备份达到最优性能,第1张

大部分的备份应用程序允许查看并调整用于特定产品的BlockSize的大小。以下介绍如何在CAARCserver,VeritasBackupExec和TapeWare中更改BlockSize.

所有的DLT产品都优化了使用大的BlockSize。BlockSize指定了写到磁带上的数据模块的大小。

CAARCserve(forWindowsNT)

查看CA的技术支持文档:"NT-AS6:Title:ChangingtheBlockSizeforaDLTdrive"

http://support.cai.com/techbases/asnt/NASNT123.html

ARCserveforWindowsNTversion6.x默认为DLT设备设置了16K的write-BlockSize。为了增强性能,在NT的注册表中,做如下改动:

运行:Regedt32.exe

HKEY_LOCAL_MACHINESOFTWARECheyenneARCserveCurrentVersionTapeEngineDevice#(设备号码相当于需要更改BlockSize的磁带设备,磁带名称可以可以在设备管理器中看到。)

点击Edit,选择ADDVALUE:ValueName=DefaultBlockFactorDatatype=Reg_DwordData:6,Hex

除了6,如下数值同样可以被选择:

0=512(default)1=1,024(1KB)2=2,048(2KB)3=4,096(4KB)4=8,192(8KB)5=16,384(16KB6=32,768(32KB)7=65,536(64KB)

更改完成后,关闭应用程序,再打开应用程序开始新的备份任务。

VeritasBackupExec(forWindowsNTand2000)

启动应用程序:BackupExec.

在"Devicestab"中选择DLT1磁带器的属性Properties

选择:Configuration

对于DLT1设备,更改DLT1的BlockSize为64KB,对于其他DAT,DLT设备,更改BlockSize为32KB。

逐一改变其他设备。

如果硬件设置更改(比如:SCSIID改变,新磁带设备加入),这个过程还需要再做。

TapeWare

关于BlockSize有两个要素需要明确。第一、执行OBDR需要一个aBlockSize2048K,如果改动了这个数值,那么灾难恢复不可执行。第二、不同的产品,更改BlockSize会有不同的性能影响。

DDS磁带机的BlockSize对于性能影响很小。这样,增加BlockSize只能带来很小的改进,同时影响灾难备份不正常。HP建议保留DDS的默认BlockSize在2048K,不要更改。

DLT磁带机使用32或64K的BlockSize时性能最好。而且DLT产品不支持OBDR,所以,可以更改2048K的BlockSize。

TapeWare对DLT产品默认使用32K的BlockSize。如果遇到DLT产品的性能问题,可以增加BlockSize到64K来改进备份速度。

方法:

关闭TapeWare应用程序,停止TapeWare服务。然后,编辑TWTAPDEV.INIFILE:

在文本文件的编辑器中打开文件,(比如记事本)找到如下段落:

[dltDevices]

readToWriteDelay=50

deviceBlockSize=32768

mediaClass=4

developmentLevel=3

改变:deviceBlockSize=32768为deviceBlockSize=65536.

保存文件,重新启动TapeWare。

LTO设备,如果要使用OBDR功能,同样限于2048K,然而,LTO产品处理数据的方式不同于DLT和DDS产品,所以,增加BlockSize的大小不会明显改进性能。

Sco中更改BlockSize的大小,命令:

SetblksetBlockSize(inbytes)fordevice

GetblkgetBlockSize(inbytes)fromdevice

安装R包GOstats,出现以下错误:

ERROR: dependency ‘httr’ is not available for package ‘KEGGREST’

* removing ‘/public/home/wangyantao/soft/anaconda3/envs/r-4.1/lib/R/library/KEGGREST’

ERROR: dependency ‘ KEGGREST ’ is not available for package ‘AnnotationDbi’

* removing ‘/public/home/wangyantao/soft/anaconda3/envs/r-4.1/lib/R/library/AnnotationDbi’

ERROR: dependency ‘ AnnotationDbi ’ is not available for package ‘GO.db’

* removing ‘/public/home/wangyantao/soft/anaconda3/envs/r-4.1/lib/R/library/ GO.db ’

ERROR: dependencies ‘AnnotationDbi’, ‘httr’ are not available for package ‘ annotate ’

* removing ‘/public/home/wangyantao/soft/anaconda3/envs/r-4.1/lib/R/library/annotate’

ERROR: dependency ‘AnnotationDbi’ is not available for package ‘ AnnotationForge ’

* removing ‘/public/home/wangyantao/soft/anaconda3/envs/r-4.1/lib/R/library/AnnotationForge’

ERROR: dependencies ‘annotate’, ‘AnnotationDbi’ are not available for package ‘ GSEABase ’

* removing ‘/public/home/wangyantao/soft/anaconda3/envs/r-4.1/lib/R/library/GSEABase’

ERROR: dependencies ‘AnnotationDbi’, ‘annotate’ are not available for package ‘ genefilter ’

* removing ‘/public/home/wangyantao/soft/anaconda3/envs/r-4.1/lib/R/library/genefilter’

ERROR: dependencies ‘AnnotationDbi’, ‘GSEABase’, ‘genefilter’, ‘annotate’ are not available for package ‘ Category ’

* removing ‘/public/home/wangyantao/soft/anaconda3/envs/r-4.1/lib/R/library/Category’

ERROR: dependencies ‘Category’, ‘AnnotationDbi’, ‘GO.db’, ‘annotate’, ‘AnnotationForge’ are not available for package ‘ GOstats ’

* removing ‘/public/home/wangyantao/soft/anaconda3/envs/r-4.1/lib/R/library/GOstats’

尝试安装“ httr ”

Installing package(s) 'httr'

also installing the dependency ‘openssl’

报错:

Error: package or namespace load failed for ‘openssl’ in dyn.load(file, DLLpath = DLLpath, ...):

unable to load shared object '/public/home/wangyantao/soft/anaconda3/envs/r-4.1/lib/R/library/00LOCK-openssl/00new/openssl/libs/openssl.so':

  /public/home/wangyantao/soft/anaconda3/envs/r-4.1/lib/R/library/00LOCK-openssl/00new/openssl/libs/openssl.so: undefined symbol: EVP_CIPHER_CTX_block_size

Error: loading failed

Execution halted

ERROR: loading failed

* removing ‘/public/home/wangyantao/soft/anaconda3/envs/r-4.1/lib/R/library/openssl’

ERROR: dependency ‘openssl’ is not available for package ‘httr’

* removing ‘/public/home/wangyantao/soft/anaconda3/envs/r-4.1/lib/R/library/httr’

始终解决不了这个bug

Error: package or namespace load failed for ‘openssl’ in dyn.load(file, DLLpath = DLLpath, ...):

unable to load shared object '/public/home/wangyantao/soft/anaconda3/envs/r-4.1/lib/R/library/00LOCK-openssl/00new/openssl/libs/openssl.so':

  /public/home/wangyantao/soft/anaconda3/envs/r-4.1/lib/R/library/00LOCK-openssl/00new/openssl/libs/openssl.so: undefined symbol: EVP_CIPHER_CTX_block_size

使用conda install r-package 进行R包的安装,直接安装GOstats还是不行,

现在尝试把报错的那些附属包先安装上。

使用conda install r-package 或者 在R下使用BiocManager::install("package")

将GOstats中缺少的依赖包全部安装:

1、安装openssl

conda install r-openssl

2、安装httr

conda install r-httr

3、安装KEGGREST,安装失败

conda install r-KEGGREST

4、进入R中进行安装KEGGREST

BiocManager::install("KEGGREST")

5、安装 AnnotationDbi

BiocManager::install("AnnotationDbi")

6、安装 GO.db

BiocManager::install("GO.db")

7、安装annotate

BiocManager::install("annotate")

依次安装

BiocManager::install("AnnotationForge")

BiocManager::install("GSEABase")

BiocManager::install("genefilter")

BiocManager::install("Category")

BiocManager::install("GOstats")

安装成功!

bed文件怎么看区域大小

1)BED文件

BED 文件(Browser Extensible Data)格式是ucsc 的genome browser的一个格式 ,提供了一种灵活的方式来定义的数据行,以用来描述注释信息。BED行有3个必须的列和9个额外可选的列。每行的数据格式要求一致(见下图)。 每条线的字段数目必须是任意单条数据的在注释上一致。

BED文件结构:

-------------------------------------------------------------必须有以下3列------------------------------------------------------------------------

chrom :即染色体

chromStart :即feature在染色体上起始位置 。在染色体上最左端坐标是0

chromEnd :即feature在染色体上的终止位置。例如一个染色体前100个碱基定义为chromStart=0, chromEnd=100, 跨度为 0-99.

----------------------------------------------------------------可选9列-------------------------------------------------------------------------------

name :feature的名字 ,在基因组浏览器左边显示;

score :在基因组浏览器中显示的灰度设定,值介于0-1000;

strand :定义链的方向,''+” 或者”-”

thickStart :起始位置(例如,基因起始编码位置)

thickEnd :终止位置(例如:基因终止编码位置) 

itemRGB :是一个RGB值的形式, R, G, B (eg. 255, 0,0), 如果itemRgb设置为'On”, 这个RBG值将决定数据的显示的颜色。

blockCount :BED行中的block数目,也就是外显子数目

blockSize:用逗号分割的外显子的大小, 这个item的数目对应于BlockCount的数目

blockStarts :用逗号分割的列表, 所有外显子的起始位置,数目也与blockCount数目对应

2)bed和gff之间的关系

前面已经讲过GFF格式,用UCSC Genome Browser可以将两者进行可视化比较。 Bed文件和GFF文件最基本的信息就是染色体或Contig的ID或编号,然后就是DNA的正负链信息,接着就是在染色体上的起始和终止位置数值。

两种文件的区别在于,BED文件中起始坐标为0,结束坐标至少是1;GFF中起始坐标是1而结束坐标至少是1。