视频监控场景下的数字人映射
项目简介
该项目主要针对监控视频场景的实时数字李生开展研究和设计工作，基于 3D Gaussian Splatting 算法 和 UE5 引擎实现监控视频场景下的实时数字孪生。在人体位置识别上，采用 YOLOv4和 DeepSort 算法对监控视频数据流进行推理，实现人体目标检测和跟踪，使用相机标定、坐标拟合等方法实现图像坐标到真实3D坐标的映射；在场景重建和渲染上，利用 3D Gaussian Splatting 算法重建监控视频下的场景，在 UE5 引擎中实现场景导入;并使用 UE5 引擎中的蓝图编程实现对数字人的控制，通过WebSocket实时接收人体位置信息进而实现目标的孪生映射