针对夜间动态背景下的行人检测中分割算法受光照条件影响大、误识别多等问题，提出双阈值分割算法和以多目标跟踪为核心的算法框架。新的分割算法解决了行人亮度分布不均时的分割问题，同时在新的框架下可以综合多帧的处理结果进行综合判断，通过将基于支持向量机的识别算法和多目标跟踪算法的融合，降低了系统的计算量，且比一般的系统具有更高的识别率。