目前，基于机器视觉的表面缺陷检测理论研究和实际应用等环节均有可喜的成果。
缺陷的种类繁多
缺陷通常是不规则的，同一工业产品可能存在不同种类的缺陷。例如，手机外观缺陷包括有手机外壳上出现的污点、划痕、边缘缺失、裂纹、水迹水印、气泡、手指纹、异物、油墨、异色等问题。这些缺陷可能单独出现，也可能以组合的形式存在，这使得缺陷检测变得异常复杂。
同类缺陷的差异较大
比如同样是划痕，表现形式各种各样，有的发白，有的发黑，有的吃视角，有的发生在边缘地带等等，出现在不同位置，表现形式都不一样。因此导致一个问题：你很难收集到全部形态的缺陷样本，所以在测试集上很难有一个不错的表现。也就是你的训练集和测试集存在的明显影响性能的偏差，这里的偏差不是标注导致的，而是数据本身导致的。
缺陷所在的背景复杂
产品表面缺陷检测时，往往会受到复杂的背景干扰。例如，产品的背景可能具有复杂的纹理或图案，这些纹理和图案可能与缺陷在视觉上产生混淆，导致系统难以准确区分缺陷和背景。另外，产品的背景颜色和亮度可能因材料、光照条件和表面处理等因素而发生变化，这些变化都可能影响系统准确识别缺陷。
缺陷与背景的对比度低下
比如划痕检测，利用机器视觉进行划痕检测的基本过程分为两个步骤：检测产品表面是否存在划痕、对产品表面划痕进行提取。
如果产品的表面光滑、灰度变化均匀、纹理特征不明显，在这种情况下进行划痕检测时，一般使用基于统计的灰度特征或阈值分割法将划痕部分标记出来。而有些产品图像的灰度值变化较小，对比度并不明显，划痕部分和正常部分相比，缺乏明显的特征，这时候要侦测到划痕，存在着一定的难度。
现场光照对缺陷识别的影响较大
机器视觉中优质的成像是第一步，由于不同材料物体表面反光、折射等问题都会影响被测物体特征的提取，因此光源与成像可以说是机器视觉检测要攻克的第一个难关。例如玻璃、反光表面的划痕检测，由于零件表面的高亮特性，容易产生局部过曝或周围环境映射等问题，给后续图像分析带来较大难度。
缺陷判定的模糊性较大
学术一点来说就是正负样本类间差距较小，无法非黑既白的一刀切，很难有一个一致性的标注将正负样本分开，即便是人工也很难保证。不管用什么手段去描述缺陷，都不能做到明显可分，比如按照面积、灰度值等绘制其直方图，中间过渡区域永远存在一定量的样本，处于灰色地带，模棱两可。不管是多人标注，还是做量化指标，都很难有好的办法改变这一现状。
缺陷标注有一定的误差性
缺陷标注时不可避免会把部分的缺陷类别标注错误，这就造成了所谓机器视觉数据脏的问题。还有一种数据脏的情况是，标注时把OK品判定为NG品或者把NG品判定为OK品。脏数据会对网络训练带来不利的影响，强行训练会有过拟合的风险。因为网络提取通用特征，拟合不到缺陷只能去拟合其他噪声了。所以一般情况下，数据越干净越好。
