本文目录一览
- 1、数据挖掘(异常检测)——概述
- 2、控制图识别异常现象如何判断
- 3、性能场景之异常场景
- 4、大数据科学家需要掌握的几种异常值检测方法
- 5、计算机视觉应用场景有哪些
- 6、微服务异常的三种场景和处理方法
数据挖掘(异常检测)——概述
异常检测是做什么： 划分正常数据（预期行为数据）与非正常数据（预期行为差异数据） 实现方法： 统计方法、线性模型、聚类和集成方法。
数据化运营需要关注的指标非常多，如PV、UV、转化率、留存率等等。
异常检测（Outlier Detection） ，顾名思义，是识别与正常数据不同的数据，与预期行为差异大的数据。识别如信用卡欺诈，工业生产异常，网络流里的异常（网络侵入）等问题，针对的是少数的事件。
数据挖掘是从大量数据中自动发现模式、关联、趋势和隐藏信息的过程。它是将统计学、机器学习、人工智能和数据库技术相结合的交叉学科领域。数据挖掘旨在通过分析和解释数据来提取有用的知识，并用于预测、决策支持和战略规划。
数据准备：数据准备包括：选择数据–在大型数据库和数据仓库目标中 提取数据挖掘的目标数据集；数据预处理–进行数据再加工，包括检查数据的完整性及数据的一致性、去噪声，填补丢失的域，删除无效数据等。
数据挖掘一般是指从大量的数据中自动搜索隐藏于其中的有着特殊关系性的信息的过程。主要有数据准备、规律寻找和规律表示3个步骤。数据挖掘的任务有关联分析、聚类分析、分类分析、异常分析、特异群组分析和演变分析等。
控制图识别异常现象如何判断
（3）连续100个点子至多2个点子落在控制界限外。在讨论控制图原理时，已经知道点子出界就判断异常，这是判断异常的最基本的一条准则。为了增加控制图使用者的信心，即使对于在控制界限内的点子也要观察其排列是否随机。
(1)样本点超出控制界限：当数据点超越管理界，一般认为生产过程存在异常现象，此时，就应该追究原因，并采取对策。(2)样本点在控制界限内，但排列异常。排列异常表现为以下八种情况(见判断异常的8种准则)。
点出界就判异。界内点排列不随机。8项准则。（1）1点在A区之外。（2）9点在C区或其外。（3）6点递增或递减。（4）14点上下交替。（5）3点有2点在A区。（6）5点有4点在B区。
利用控制图识别生产过程状态---受控状态或失控状态，是根据图上样本点的位置以及变化趋势进行分析和判断的。
率事件，得到了最基本的判异准则：检验1（1个点子落在A区以外）“点出界就判异”。
当控制图同时满足以下两个条件：一是点子几乎全部落在控制界限之内；二是控制界限内的点子排列没有缺陷。我们就可以认为生产过程基本上处于稳定状态。如果点子的分布不满足其中任何一条，都应判断生产过程为异常。
性能场景之异常场景
但是，如果从业务逻辑异常的角度来看，就没有通用的异常场景了，我们需要针对不同业务设计不同的异常场景。
简单在说，异常场景是就是不是一般情况下发生的，很突然，很少见的，比如突然断电，断网。
异常场景是测试中比较难考虑到的，特别是黑盒测试。
大数据科学家需要掌握的几种异常值检测方法
1、箱体图也是一种比较常见的异常值检测方法，一般取所有样本的25%分位点Q1和75%分位点Q3，两者之间的距离为箱体的长度IQR，可认为小于Q1-5IQR或者大于Q3+5IQR的样本值为异常样本。
2、(1)基于模型的技术：首先建立一个数据模型，异常是那些同模型不能完美拟合的对象；如果模型是簇的 *** ，则异常是不显著属于任何簇的对象；在使用回归模型时，异常是相对远离预测值的对象。
3、可以选择以下方法。 用线性回归的办法求得某一点到直线最远，去除这一点即可。 PS：线性回归是利用数理统计中的回归分析，来确定两种或两种以上变量间相互依赖的定量关系的一种统计分析方法，运用十分广泛。
4、先说一个熟悉的内容，数列与函数。 当然数列也是函数，但它的取值是自然数，取值是离散的， 而一般的函数取值是某一个区间，在这区间内取值往往是可以连续的。
5、基于距离的方法是一种常见的异常检测算法，它基于最邻距离来定义异常值。此类方法不仅适用于多维数值数据，在其他领域，例如分类数据，文本数据，时间序列数据序列数据也有广泛的应用。
计算机视觉应用场景有哪些
1、安防监控：计算机视觉技术可以用于人脸识别、行为分析、异常检测等，从而提高安防系统的效率和准确性。机器人：计算机视觉技术为机器人提供环境感知、物体识别、导航和操控等功能，使其能够在复杂环境中执行任务。
2、计算机视觉的应用包括：自动驾驶、工业制造、医疗诊断、安防监控等。自动驾驶：计算机视觉自动驾驶是指利用计算机视觉技术及各种传感器，实现车辆自动感知周围环境，并进行决策和控制操作的技术。
3、计算机视觉在人脸识别、安防、农业领域、工业领域、医疗领域、无人驾驶等场景都有应用。
4、工业检测。常见的医学成像，比如B超，核磁共振，X光拍片等。随着AI技术的发展，还开始有一些AI诊断的功能，AI根据图像的特征对相关疾病的可能性进行分析。智能识图。智能识图是我们生活中比较常见的计算机视觉的应用了。
5、不是。计算机视觉的六大应用场景当中，智能音响不是计算机视觉的应用场景。计算机视觉技术主要有六大应用场景，分别是人脸识别、安防、农业领域、工业、医疗、无人驾驶。
6、应用场景拓展：计算机视觉技术将在更多领域和场景得到应用，例如自动驾驶、医疗影像分析、智能监控、虚拟现实、增强现实等。
微服务异常的三种场景和处理方法
检查网络连接：确保您的手机已经连接到稳定的网络环境，以确保您能够正常使用健康山西微服务。 测试网络连接：打开山西微服务并进行测试网络连接是否异常。您可以尝试重新启动应用程序，或者尝试在另一个网络环境下访问。
对于 异步通知超时 可以采用 最大努力通知 ，服务端要求客户端在收到异步通知时明确回应服务端接收成功，如果服务端没有收到客户端的回应，服务端重发异步结果。
SimianArmy诞生，在ChaosMonkey的基础上增加了故障注入模式，可以测试更多的故障场景。
，连接查询(join)问题：因为库表分布在不同的机器上，连接查询失效。
异常场景的范围 我理解的异常场景中，基本上采用的就是是宕主机、断网络、宕应用这几种测试手段。
解决办法是微服务的设计需要遵循功能自包含和单职责原则。跨越多个微服务支持分布式事务在微服务架构中不是一个好的设计思路，通常需要重新划定微服务的职责。