Al fine di adattarsi all'ambiente urbano aperto, i corpi intelligenti devono catturare i movimenti del corpo delle persone circostanti e la struttura della scena in tempo reale. La percezione tradizionale significa basarsi su sensori e telecamere inerziali, che hanno i problemi della deriva dei dati di lunga data e della sensibilità ai cambiamenti dinamici della luce e dell'ambiente, rispettivamente, sono difficili da soddisfare la domanda di movimento del corpo umano e cattura della scena in ambienti complessi nell'applicazione Campi di guida intelligente, robotica di servizio e allenamento sportivo.
Dal 2022, il team del Prof. Cheng Wang e del Prof. Chenglu Wen è stato il primo a proporre la tecnologia di cattura di movimento umano Lidar nell'arena internazionale (Lidarcap, CVPR 2022; HSC4D, CVPR 2022; Sloper4d, CVPR 2023). In questa pubblicazione, Hisc4d, il team sfuma un metodo per catturare diversi movimenti di interazione a due persone e scene 3D in prima persona in scene aperte interne e esterne su larga scala. Il metodo costruisce un quadro di ottimizzazione articolare in più fasi fondendo la guida inerziale e i dati LIDAR, che risolve efficacemente il problema della deriva causato dalla guida inerziale e migliora significativamente l'accuratezza della ricostruzione della scena e estende la gamma di movimenti spaziali, umani e cattura di interazione. Allo stesso tempo, viene rilasciato il primo set di dati di interazione a due persone multimodale, che copre diversi tipi di scena e movimenti umani diversificati, fornendo risorse di dati di formazione per i settori di ricerca correlati. La tecnologia Hisc4D utilizza Lidar come sensore principale per ricostruire i movimenti umani e le scene 3D a Lo stesso tempo, che apre un nuovo modo di pensare per l'intelligenza incarnata per andare ai vasti all'aperto e integrarsi tra la folla.
