3.数据的误差分析3.1误差分析的定义,误差和偏差,真值和平均值(算术平均值和加权平均值)
误差分析是指对误差在完成系统功能时,对所要求的目标的偏离产生的原因、后果及发生在系统的哪一个阶段进行分析,把误差减少到最低限度。
误差是指测量值与真实值之间的差异.由于仪器、实验条件、环境等因素的限制,测量不可能无限精确,物理量的测量值与客观存在的真实值之间总会存在着一定的差异,这种差异就是测量误差。误差是不可避免的,只能减小。根据误差产生的原因及性质可分为系统误差与偶然误差两类。
偏差又称为表观误差,是指个别测定值与测定的平均值之差,它可以用来衡量测定结果的精密度高低。在统计学中,偏差可以用于两个不同的概念,即有偏采样与有偏估计。一个有偏采样是对总样本集非平等采样,而一个有偏估计则是指高估或低估要估计的量。
真值是指在一定的时间及空间(位置或状态)条件下,被测量所体现的真实数值。真值是一个变量本身所具有的真实值,它是一个理想的概念,一般是无法得到的。所以在计算误差时,一般用约定真值或相对真值来代替。通常所说的真值可以分为“理论真值”、“约定真值”和“相对真值”。
算术平均值( arithmetic mean),又称均值,是统计学中最基本、最常用的一种平均指标,分为简单算术平均数、加权算术平均数。它主要适用于数值型数据,不适用于品质数据。根据表现形式的不同,算术平均数有不同的计算形式和计算公式。
加权平均值即将各数值乘以相应的权数,然后加总求和得到总体值,再除以总的单位数。加权平均值的大小不仅取决于总体中各单位的数值(变量值)的大小,而且取决于各数值出现的次数(频数),由于各数值出现的次数对其在平均数中的影响起着权衡轻重的作用,因此叫做权数。
3.2误差的基本概念:误差 error(绝对误差 Ea 和相对误差 ER,标准误差 SE)和偏差deviation(绝对偏差和相对偏差、算术平均偏差和相对平均误差,标准偏差 SD 和相对标准偏差RSD)
绝对误差是统计学中的一个量。它等于置信区间的一半。在置信区间和置信区间长度已知的情况下需要求取样的数量时绝对误差起一个非常重要的作用。绝对误差Δμ = zσX标志着一个估计的精确度。
相对误差指的是测量所造成的绝对误差与被测量(约定)真值之比乘以100%所得的数值,以百分数表示。一般来说,相对误差更能反映测量的可信程度。设测量结果y减去被测量约定真值t,所得的误差或绝对误差为Δ。将绝对误差Δ除以约定真值t即可求得相对误差。相对误差= 绝对误差÷真值。为绝对误差与真值的比值(可以用百分比、千分比、百万分比表示,但常以百分比表示)。一般来说,相对误差更能反映测量的可信程度。
标准误差(Standard error),也称均方根误差(Root mean squared error)。标准误差是指在抽样试验(或重复的等精度测量)中,常用到样本平均数的标准差。注意:标准差与标准误差,计算公式类似,但是是两个不同的概念。
3.3误差的来源和分类(随机误差、系统误差和过失误差)
误差的来源:由于仪器、实验条件、环境等因素的限制,测量不可能无限精确,物理量的测量值与客观存在的真实值之间总会存在着一定的差异,这种差异就是测量误差。误差是不可避免的,只能减小。根据误差产生的原因及性质可分为系统误差与偶然误差两类。
随机误差也称为偶然误差和不定误差,是由于在测定过程中一系列有关因素微小的随机波动而形成的具有相互抵偿性的误差。其特点是大小和方向都不固定,也无法测量或校正。
系统误差(规律误差)是在一定的测量条件下,对同一个被测尺寸进行多次重复测量时,误差值的大小和符号(正值或负值)保持不变;或者在条件变化时,按一定规律变化的误差。
过失误差也称粗差,是指工作中的差错,是由于工作粗枝大叶,不按操作规程办事等原因造成的。
3.4准确度、精密度(极差和方差、标准偏差 SD 和相对标准偏差 RSD、Χ2-test 和 F-test)、正确度(加标回收率,t-test、秩和检验 )(a 和P)、异常值
极差(Range),又称范围误差或全距,是用来表示统计资料中的变异量数,即最大值减最小值后所得的数据。极差是标志值变动的最大范围,它是测定标志变动的最简单的指标。极差不能用作比较,因为极差的单位不同,但是方差能用作比较,因为都是个比率。
方差 是在概率论和统计方差衡量随机变量或一组数据时离散程度的度量。概率论中方差用来度量随机变量和其数学期望(即均值)之间的偏离程度。统计中的方差(样本方差)是每个样本值与全体样本值的平均数之差的平方值的平均数。在许多实际问题中,研究方差即偏离程度有着重要意义。方差是衡量源数据和期望值相差的度量值。
标准差(外文名:Standard Deviation,又称:均方差)是离均差平方的算术平均数的平方根,用σ表示,标准差是方差的算术平方根。标准差在概率统计中最常使用作为统计分布程度,还能反映一个数据集的离散程度。平均数相同的两组数据,标准差未必相同。
相对标准偏差(relative standard deviation;RSD)又叫标准偏差系数、变异系数、变动系数等,由标准偏差除以相应的平均值乘100%所得值,可在检验检测工作中分析结果的精密度。
加标回收率,是指在没有被测物质的空白样品基质中加入定量的标准物质,按样品的处理步骤分析,得到的结果与理论值的比值。
秩和检验(rank sum test)又称顺序和检验,是一种非参数检验(nonparametric test)。它不依赖于总体分布的具体形式,应用时可以不考虑被研究对象为何种分布以及分布是否以知,因而实用性较强。
异常值(outlier)是指一组测定值中与平均值的偏差超过两倍标准差的测定值,与平均值的偏差超过三倍标准差的测定值,称为高度异常的异常值。
3.5误差的统计检验(χ-test 、 F-test 、 t-test 、 Rank sum test)
F-test 是在零假设下检验统计量具有F分布的统计检验。它最常用于比较已拟合到数据集的统计模型,以识别最适合数据抽样总体的模型。精确的“F检验”主要出现在当模型用最小二乘法拟合数据的时候。该名称是George W. Snedecor为纪念Sir Ronald A. Fisher而创造的。Fisher在20世纪20年代发明了这一检验统计量,最初称之为方差比率
t-test (Student's t test)是指虚无假设成立时的任一检定统计有学生t-分布的统计假说检定,属于母数统计。可分为单总体检验和双总体检验,以及配对样本检验,主要应用于比较两个平均数的差异是否显著。
3.6 误差的传递(公式、应用) 4.数据的列表画图4.1列表和画图的定义
列表;以表格为容器,装载着文字或图表的一种形式
画图是一个简单的图像绘画程序,是微软公司Windows操作系统的预载软件之一。“画图”程序是一个位图编辑器,可绘人物,动物,自然景色等等众多图画,也可以对各种位图格式的图画进行编辑,是家庭和办公的理想软件。用户可以自己绘制图画,也可以对扫描的图片进行编辑修改,在编辑完成后,可以以BMP,JPG,GIF 等格式存档,用户还可以发送到桌面和其他文本文档中。
4.2表格组成:表号、表名、表头(名称、符号、单位)、数据(有效数字的概念、运算和修约)、表注或表附
4.3表格类型:原始数据记录表、中间数据计算表、最终结果数据表4.4表格注意点:简明合理、层次清晰、格式三线、科学计数法4.5图的组成:图号、图名、横坐标、纵坐标、图例、图注4.6图的类型:二维图(散点图、折线图、柱形图和条形图、圆形图和环形图),三维图(三维表面图和三维等高图)4.7画图注意点:坐标系和图形的选择、坐标轴的分度(坐标轴比例尺)、有效数字和单位,双Y 轴,误差线
误差分析是指对误差在完成系统功能时,对所要求的目标的偏离产生的原因、后果及发生在系统的哪一个阶段进行分析,把误差减少到最低限度。
误差是指测量值与真实值之间的差异.由于仪器、实验条件、环境等因素的限制,测量不可能无限精确,物理量的测量值与客观存在的真实值之间总会存在着一定的差异,这种差异就是测量误差。误差是不可避免的,只能减小。根据误差产生的原因及性质可分为系统误差与偶然误差两类。
偏差又称为表观误差,是指个别测定值与测定的平均值之差,它可以用来衡量测定结果的精密度高低。在统计学中,偏差可以用于两个不同的概念,即有偏采样与有偏估计。一个有偏采样是对总样本集非平等采样,而一个有偏估计则是指高估或低估要估计的量。
真值是指在一定的时间及空间(位置或状态)条件下,被测量所体现的真实数值。真值是一个变量本身所具有的真实值,它是一个理想的概念,一般是无法得到的。所以在计算误差时,一般用约定真值或相对真值来代替。通常所说的真值可以分为“理论真值”、“约定真值”和“相对真值”。
算术平均值( arithmetic mean),又称均值,是统计学中最基本、最常用的一种平均指标,分为简单算术平均数、加权算术平均数。它主要适用于数值型数据,不适用于品质数据。根据表现形式的不同,算术平均数有不同的计算形式和计算公式。
加权平均值即将各数值乘以相应的权数,然后加总求和得到总体值,再除以总的单位数。加权平均值的大小不仅取决于总体中各单位的数值(变量值)的大小,而且取决于各数值出现的次数(频数),由于各数值出现的次数对其在平均数中的影响起着权衡轻重的作用,因此叫做权数。
3.2误差的基本概念:误差 error(绝对误差 Ea 和相对误差 ER,标准误差 SE)和偏差deviation(绝对偏差和相对偏差、算术平均偏差和相对平均误差,标准偏差 SD 和相对标准偏差RSD)
绝对误差是统计学中的一个量。它等于置信区间的一半。在置信区间和置信区间长度已知的情况下需要求取样的数量时绝对误差起一个非常重要的作用。绝对误差Δμ = zσX标志着一个估计的精确度。
相对误差指的是测量所造成的绝对误差与被测量(约定)真值之比乘以100%所得的数值,以百分数表示。一般来说,相对误差更能反映测量的可信程度。设测量结果y减去被测量约定真值t,所得的误差或绝对误差为Δ。将绝对误差Δ除以约定真值t即可求得相对误差。相对误差= 绝对误差÷真值。为绝对误差与真值的比值(可以用百分比、千分比、百万分比表示,但常以百分比表示)。一般来说,相对误差更能反映测量的可信程度。
标准误差(Standard error),也称均方根误差(Root mean squared error)。标准误差是指在抽样试验(或重复的等精度测量)中,常用到样本平均数的标准差。注意:标准差与标准误差,计算公式类似,但是是两个不同的概念。
3.3误差的来源和分类(随机误差、系统误差和过失误差)
误差的来源:由于仪器、实验条件、环境等因素的限制,测量不可能无限精确,物理量的测量值与客观存在的真实值之间总会存在着一定的差异,这种差异就是测量误差。误差是不可避免的,只能减小。根据误差产生的原因及性质可分为系统误差与偶然误差两类。
随机误差也称为偶然误差和不定误差,是由于在测定过程中一系列有关因素微小的随机波动而形成的具有相互抵偿性的误差。其特点是大小和方向都不固定,也无法测量或校正。
系统误差(规律误差)是在一定的测量条件下,对同一个被测尺寸进行多次重复测量时,误差值的大小和符号(正值或负值)保持不变;或者在条件变化时,按一定规律变化的误差。
过失误差也称粗差,是指工作中的差错,是由于工作粗枝大叶,不按操作规程办事等原因造成的。
3.4准确度、精密度(极差和方差、标准偏差 SD 和相对标准偏差 RSD、Χ2-test 和 F-test)、正确度(加标回收率,t-test、秩和检验 )(a 和P)、异常值
极差(Range),又称范围误差或全距,是用来表示统计资料中的变异量数,即最大值减最小值后所得的数据。极差是标志值变动的最大范围,它是测定标志变动的最简单的指标。极差不能用作比较,因为极差的单位不同,但是方差能用作比较,因为都是个比率。
方差 是在概率论和统计方差衡量随机变量或一组数据时离散程度的度量。概率论中方差用来度量随机变量和其数学期望(即均值)之间的偏离程度。统计中的方差(样本方差)是每个样本值与全体样本值的平均数之差的平方值的平均数。在许多实际问题中,研究方差即偏离程度有着重要意义。方差是衡量源数据和期望值相差的度量值。
标准差(外文名:Standard Deviation,又称:均方差)是离均差平方的算术平均数的平方根,用σ表示,标准差是方差的算术平方根。标准差在概率统计中最常使用作为统计分布程度,还能反映一个数据集的离散程度。平均数相同的两组数据,标准差未必相同。
相对标准偏差(relative standard deviation;RSD)又叫标准偏差系数、变异系数、变动系数等,由标准偏差除以相应的平均值乘100%所得值,可在检验检测工作中分析结果的精密度。
加标回收率,是指在没有被测物质的空白样品基质中加入定量的标准物质,按样品的处理步骤分析,得到的结果与理论值的比值。
秩和检验(rank sum test)又称顺序和检验,是一种非参数检验(nonparametric test)。它不依赖于总体分布的具体形式,应用时可以不考虑被研究对象为何种分布以及分布是否以知,因而实用性较强。
异常值(outlier)是指一组测定值中与平均值的偏差超过两倍标准差的测定值,与平均值的偏差超过三倍标准差的测定值,称为高度异常的异常值。
3.5误差的统计检验(χ-test 、 F-test 、 t-test 、 Rank sum test)
F-test 是在零假设下检验统计量具有F分布的统计检验。它最常用于比较已拟合到数据集的统计模型,以识别最适合数据抽样总体的模型。精确的“F检验”主要出现在当模型用最小二乘法拟合数据的时候。该名称是George W. Snedecor为纪念Sir Ronald A. Fisher而创造的。Fisher在20世纪20年代发明了这一检验统计量,最初称之为方差比率
t-test (Student's t test)是指虚无假设成立时的任一检定统计有学生t-分布的统计假说检定,属于母数统计。可分为单总体检验和双总体检验,以及配对样本检验,主要应用于比较两个平均数的差异是否显著。
3.6 误差的传递(公式、应用) 4.数据的列表画图4.1列表和画图的定义
列表;以表格为容器,装载着文字或图表的一种形式
画图是一个简单的图像绘画程序,是微软公司Windows操作系统的预载软件之一。“画图”程序是一个位图编辑器,可绘人物,动物,自然景色等等众多图画,也可以对各种位图格式的图画进行编辑,是家庭和办公的理想软件。用户可以自己绘制图画,也可以对扫描的图片进行编辑修改,在编辑完成后,可以以BMP,JPG,GIF 等格式存档,用户还可以发送到桌面和其他文本文档中。
4.2表格组成:表号、表名、表头(名称、符号、单位)、数据(有效数字的概念、运算和修约)、表注或表附
4.3表格类型:原始数据记录表、中间数据计算表、最终结果数据表4.4表格注意点:简明合理、层次清晰、格式三线、科学计数法4.5图的组成:图号、图名、横坐标、纵坐标、图例、图注4.6图的类型:二维图(散点图、折线图、柱形图和条形图、圆形图和环形图),三维图(三维表面图和三维等高图)4.7画图注意点:坐标系和图形的选择、坐标轴的分度(坐标轴比例尺)、有效数字和单位,双Y 轴,误差线