数据分析培训提纲
数据分析培训提纲 1．概论 1.1数据分析的重要性 （1）贯彻质量管理8项原则的需要 QM的8项原则之一为：基于事实的决策方法。要避免决策失误必须提供足够的信息， 以及进行科学决策。 信息：有意义的数据。 数据：能客观反映事实的资料和数字。 要使数据提升为信息，才能将其增值。为此，必须从数据收集和分析上运用科学的方 法，使之便于利用。 （2）通过数据的收集和分析可证实QMS是否适宜和有效。 （3）帮助识别和评价QMS持续改进的机会。 （4）增强对各种意见和决策的分析、判断、评审、质疑能力 因此，数据分析是保障QMS有效运行的重要手段。 1.2数据分析的一般过程 1.2.1数据收集 （1）收集范围 产品、体系和过程的数据，如：产品检测中的不合格，QMS质量目标完成情况、持续 改进情况、过程监视和测量情况等。 事实上在QMS的各个过程中，都会产生一些数据，在管理中必须根据当前及长远目标 的需要，确定应收集那些数据，重点如何。 （2）收集方法 1）各种报表和原始记录（注意分类） 2）区域网中的数据库 3）注意明确收集人、收集时间、收集方式、传递方式。 （3）收集的要求 1）及时 2）准确 数据的质量，“进来的是垃圾，出去的还是垃圾” 3）完整 数据项目齐全，数量符合要求。 1.2.2数据分析、处理 （1）数据的审查和筛选 剔除奇异点，确定数据是否充分 （2）数据排序 按其重要度进行排序，以确定分析处理的对象和顺序 （3）确定分析内容，进行统计分析 （4）分析判断 在统计分析的基础上，以目标值或标准为依据，对统计分析结果（绘图或计算）作进一 步分析，以获得指导过程改进的明确信息，找出主要问题和薄弱环节，并提出相应的改 进建议。 （5）编写报告 对分析判断得出的规律、趋势整理成报告（附有直观的图表） -1- 1.2.3数据的利用 不能为分析而分析，要有“的”放矢，数据分析应指导管理。数据分析是为了科学决策 ，决策的结果，可通过前后对比来分析判断其有效性。数据分析应对其全过程做到闭环 管理。 为此，应将数据分析信息有效地传递，做到信息共享。在风险评估的基础上，采取适 当措施。 2．统计分析技术 2.1概述 2.1.1什么是统计分析技术 （1）统计技术 运用数理统计的方法对数据进行分析，找出其规律和趋势。如：常用的控制图、回归分 析、试验设计等。 （2）分析技术 运用逻辑分析的方法对数据进行分析，找出影响事物的因素及其影响程度。如常用的 排列图、因果图、饼图、QFD和 FMEA等方法。 2.1.2统计技术应用的基础条件 （1）日常管理秩序健全，产品质量有可追溯性。 （2）生产过程相对稳定。 影响质量的因素已规范化，过程质量处于受控状态。 （3）具备必要的物质、技术基础 测试手段适用，必要的图表及计算处理用具或软件。 （4）大量的数据计算和处理运用计算机 2.2统计技术的基础知识 2.2.1随机变量及其分布 （1）什么是随机变量： 变量——数值有变化的量，相对常量而言。 随机因素——随机（不是人为偏向）因素（多种因素），如：年降雨量，抛硬币。 加工尺寸——由模具磨损、机器磨损、材料、人的操作重复性、环境……等决定。 随机变量——受随机因素影响的在一定范围内取值的量抽样必须随机，不能有倾向性， 。 （2）分布 直方图： fi n——数据总数 频率：fi= ni——第i组的频数 连续型随机变量： ΔX O 为一光滑曲线，此曲线为分布函数。 分布的特征：形状（对称、偏斜）、位置、分布宽度（最大值—最小值）。 2.2.2总体与样本 总体——研究对象的全体，如一批电缆，可视为总体，研究其总长，每一根（或段）电 缆则为总体中的一个个体（成员），一批所有电缆的总长为总体。 总体用变量X表示 -2- 样本——从总体中抽出的部份个体组成的集合称为样本。 抽样 因为不可能研究每一个个体。 从样本推断总体，必须正确反映总体的信息，正确抽样。 随机抽样——简单随机样本、随机数表 Xi 0~99 可以构成2500个随机数。 2.2.3正态分布 钟形曲线，曲线下的面积表示概率 对称，中间高，两边低 X~（μ，σ 2） X μ μ——总体的均值；σ——总体标准差 正态分布检验： ·直方图 ·概率纸 横坐标——X的等距取值 ；纵坐标——不等距0.01%~99.99% 在概率纸上描出的点呈一直线，则为正态分布。 正态分布的分布函数值 近似正态分布——总趋势符合正态分布，但有个别的奇异点。 2.2.4常用统计特征量（样本） 统计量——不含未知数的样本函数称为统计量。 统计量是由样本得出，但其对估计总体状况（产品的某些特性值）具有重要意义。 （1）反映样本位置的统计量 1）均值——样本的算术平均值 X 样本中的数据多数分布在样本均值附近，因此它是表示样本位置的最好的统计量。 局限性：容易受数据中的特大、特小值（异常值）的影响。 若有5个样本，观测值为 3，5，7，9，11 X=7 如果误将11记为21 X=9 当数据异常时，把X作为数据的代表不太合适，需要引入新的统计量。 2）中位数——样本中的数据从大到小排列后处在中间位置上的数。 样本容量 n为奇数时，它为中间的一个数 n为偶数时，它为中间的两个数的平均值，记为Mα 如样本为 10，15，23，30 则Mα=（15+23）/2=19 10，15，23，30，35 则Mα=23 中位数受异常值的影响较小，如： 3，5，7，9，11 3，5，7，9，21 （2）反映数据波动的统计量 1）极差 R=Xmax —Xmin 极差计算简便，但对样本信息利用不够，且它受异常值的影响较大。 如：前例中 3，5，7，9，21 则极差为18 3，5，7，9，11 极差为8 2）方差和标准差 样本方差：较充分利用数据，反映数据的波动 S22= Σ（Xi—X）2/（n—1） -3- 即单个样本数据与样本均值之差的平方和除以（样本容量—1） 若样本为 3，5，7，9，11 n=5 S2=（3—7）2+（5—7）2+（7—7）2+（9—7）2+（11—7）2/4=10 5，6，7，8，9 则S2=2.5 S2小说明数据波动小，即数据较为集中。 标准差——方差的平方根 S2 =S， 如S2=16， 则S=4 因为方差虽可反映数据的波动，但其量纲为原始数据的量纲的平方，在量纲上不明确， 故引入标准差。 2.2.5正态分布总体参数估计 当一个特征量（总体函数）服从正态分布时，其分布可由μ，σ2唯一确定，若样本的 观察数据服从正态分布时，则可用样本的均值和方差去估计总体。 估计值 μ=X σ2=S2 这时需注意三个层次对应的三种符号 μ、σ——总体； X、S——样本； μ、σ2——估计值 2.3常用统计分析方法 2.3.1记实统计（描述性统计） （1）记实统计的概念 记实统计是揭示数据分布特性的概述和显示定量数据的程序。 重要的数据特性： 1）趋中性（多数常常分布在中间）可以通过模型或中位数来描述。 2）数据范围 如最大、最小值的区间，标准区域 3）数据分布 如对称度，分布规律（可用数学模型描述） （2）记实统计的表达方法 常用简单的图形来有效地传递信息，如：饼图、条形图表、直方图等，其优点在于能显 示定量分析中不易发现的数据的异常特性，可以显示复杂数据，适于非专业人员分析相 关数据，它易于理解并能够在所有层次用于分析和判断。 （3）记实统计的应用 用于数据的概述并描述特征， 通常是定量数据分析的第一步，它可提供抽样数据特性（如均值和标准偏差）的定量量 值，然而其量值取决于抽样大小和所采用的抽样方法。 记实统计对收集定量数据的所有领域均适用，如： ·描述产品特性的关键量值（如中值或范围） ·描述过程参数（如温度） ·对顾客调查中收集数据的统计。 2.3.2抽样检查 抽样是为得到关于一个总体的一些特性的信息，而去研究总体的代表性部份（即样本 ），通过样本的特性来推断总体的特性的方法。 可利用抽样技术，如简单随机的、系统的、连续的、跳批等，来获取样本。抽样方法 的选择取决于抽样的目的和具体条件。 针对不同的对象和目的，有许多抽样标准，如GB/T2828是针对连续批产品验收，GB/ T15239针对孤立批产品验收。 2.3.3统计过程控制（SPC） 2.3.3.1概述 （1）历史：休哈特1924年发明控制图，30~60年代世界质量管理以此为基础来控制质量 特性。 （2）统计过程控制的作用： -4- 1）完成QC的重要任务，即“监测”影响质量的全部生产过程的变量和过程参数。 2）确定过程参数和产品特性是在期望的范围内，还是偏离了上述范围。 3）当过程中的问题暴露无遗时，将危及产品特性，因此需要统计过程控制来预见问题即 将出现，从而降低生产费用。 4）了解过程变差，并帮助达到统计控制状态，处于统计控制状态，其性能可预测。 5）改进受控状态。 （3）SPC的应用条件 1）测量系统误差必须能被识别或给予补偿、消除，测量系统误差可按（MSA）去控制。 2）测量过程参数的偏差，都应是随机误差，并且服务正态分布。 3）过程在统计控制之下，均值和标准差近于恒定，分布范围在±3б之内。 2.3.3.2控制图基础知识 （1）控制图的优点 1）简便，便于现场操作者使用 2）有助于稳定过程和成本 3）促进过程信息交流（二、三班制工人间，工艺、质管人员） 4）易识别造成变差的原因，避免混淆、减少时间和资源的浪费 （2）应注意区别以下概念： ·公差（容差）：允许的参数变动范围 ·偏差：与公称值之差 ·变差：一批样本中参数的变动范围 （3）变差的两类原因 1）普通原因 造成随时间推移，稳定且可重复的分布过程的变差原因，对于稳定系统的偶然原因（ 如周期振动），需要采取系统措施： ·消除普遍原因 ·大都由管理人员纠正 ·85%问题属此类 一个稳定系统受到偶然因素干扰，排除干扰则受控。 2）特殊原因（可查明的原因） 不是始终作用于过程的形成变差原因，其影响过程分布改变（如热处理夜班工人睡觉 ），若存在特殊原因，过程将不稳定。 对于特殊原因需要采取局部措施： ·消除特殊原因 ·由与过程直接相关人员实施 ·15%问题属此类 2.3.3.3控制图的构造 观测值 USL上偏差线 （统计量） UCL上控制限 A 警示线（2σ） LCL下控制限 LSL下偏差线 -5- 序号（观测值的顺序号） ·警示线：虽不能表明的问题已发生，但可提供重要信息。短期内有较多的值在警示 线外，应予重视，调查其原因，加以消除。在发生问题之前予以现场警示（2σ对应 于概率95.4%），4.6%将在线外。 A= kσ 我国 A=3σ 合格概率99.93%，不合格概率0.23% 汽车、电子（如焊点PPM） A=6σ 不合格概率2.7‰ 2.3.3.6绘制控制图的一般步骤（随机抽样） （1）收集数据描点——按一定时间间隔，采集样本，测定每一样品特性值 计数 样本容量n 可相同或不同 计量 分组（子组） 相同 子组内ni一般为5 一个样本的样品应当是在基本相同的生产条件下生产的（不能分层） （2）计算控制限 一般无特殊原因不应超出控制线，否则已失控，暴露出问题，应加以消除。 （3）分析 判断是否异常或受控，有经验可遵循 （4）改进 针对普通原因，采取系统措施 2.3.3.5控制图的两类作用 （1）监控 中线CL、UCL、LCL都用以往数据可由试生产、以前生产统计、初次统计得到。 （2）分析 可先测出数据，在计算UCL、LCL、CPK。 2.3.4均值图X、极值图R 2.3.4.1概述 X—R 图 X 过程突变其反应最快 R 较长周期较小波动 2.3.4.2绘图步骤 （1）选择子组： 子组内样本数ni=2—5 子组的作用：子组的均值，比单次测量值更能表征总体。 注意事项： 1）测量误差带来影响，所产生不合格品的概率，要比过程本身大得多（应测量准确足 够精密） 2）nI Xi超过±σ的概率 ni=2 概率为0.21% ni=3 概率为0.01% 意味着ni Xi向中心线靠拢 所以ni 有次序的数组的均值，很有作用。 3）周期性抽样（抽样频率） 应该控制抽样条件一致：机台、模具不变，否则难以分清两类（普通、特殊）原因 。 持续连续过程：几秒钟抽取一个样本，这对研究过程能力很方便而可信。 慢速过程：一般不频繁抽样。 一般的周期可取15、30、60min，这可反映一段时间后过程的变化。潜在的原因： -6- 如换班、操作人员更换等。 初期过程不稳定，抽样频率高，间隔短，生产过程稳定后可放慢。 （2）总样本容量：子组数n一般取n=25（样本数），>20为小样本，>100属大样本。 通常总样本数N=100即n=25，ni=4这样可保证变差的主要原因有机会出现。 （3）绘制X-R图 1）计算Xi 各子组的Xi 的均值 Ri 子组内RI =Rimax—Rimin 2）确定控制表的刻度（纵坐标） X≥2（Ximax—Ximin） R：一般可取X图的2倍 3）计算控制限 UCLX= X+A2R LCLX= X—...
数据分析培训提纲