手写识别系统不是“把字拍个照让AI猜”那么简单，而是把笔迹轨迹或墨迹图像，通过预处理、特征提取、序列建模、解码输出，还原成可读文本的智能链条。 它和印刷体OCR的本质区别：印刷体结构规整、字符独立，手写体连笔、形变、重叠、风格迥异，识别难度呈指数级跃升。
✍️ 两大输入形态
在线手写识别：设备实时捕捉笔尖轨迹——坐标点序列(x, y, 时间戳、压力、倾角)，如平板手写、签名板。 数据天然带动态顺序，模型直接吃时序，微软Windows Ink、Apple Pencil输入都走这条路。
离线手写识别：扫描或拍摄已有墨迹图像，丢失书写过程，只剩像素矩阵，需先切分字符再识别，难度更大，邮政分拣、古籍数字化是典型场景。
🔧 核心处理四步
预处理：灰度化、二值化、降噪、倾斜校正、尺寸归一化(如归一为64×64或128×32)，在线轨迹做重采样、归一化到统一坐标系;
特征提取：传统用方向梯度直方图(HOG)、网格特征;深度学习用CNN(卷积神经网络)自动学笔画纹理，或CNN+RNN混合提取空间-时序特征;
序列建模：用双向LSTM/GRU或Transformer处理字符间依赖，捕捉上下文语义，比如“的”和“得”的区分靠前后字;
解码输出：CTC(Connectionist Temporal Classification)损失+贪心解码，或Beam Search结合语言模型(n-gram或BERT)挑最优序列，纠正“未/末”“已/己”等形近字。
🧠 技术栈选型
传统方案：模板匹配(DTW动态时间规整)、隐马尔可夫模型(HMM)，适合小词汇量、固定书写人;
深度学习方案：CNN+RNN+CTC(CRNN)是2010s主流，Transformer架构(如Vision Transformer、TrOCR)正成为新SOTA，尤其离线识别;
开源工具：Tesseract(老牌OCR，对手写支持弱)、EasyOCR(基于CRNN)、PaddleOCR(中文手写优化)、MyScript(商用SDK，在线识别强)。
🆚 与OCR的分界
OCR(Optical Character Recognition)是统称，印刷体OCR成熟(准确率>99%)，手写OCR是子集且难得多。 说“手写识别”时别混用“OCR”一词，否则会把“拍书页”和“认潦草处方”当成同一难度。
⚠️ 避坑铁律
训练数据必须覆盖多书写风格——同一字让100人写，否则模型只认“印刷体式手写”;中文手写识别难点在形近字(未/末、已/己/巳)、连笔省笔，语言模型权重不能太低;在线识别别丢笔序信息，离线别指望切分百分百准，用整体序列识别(无需切字)更鲁棒;实时场景(如平板输入法)延迟要<100ms，模型需量化或蒸馏;医疗处方识别要过《医疗器械软件注册审查指导原则》，不能当普通App上线。
