南京航空航天大学主页平台管理系统 Mingqiang Wei--Home-- Object Detection and Tracking under Occlusion for Object-Level RGB-D Video Segmentation

Paper Publications

Object Detection and Tracking under Occlusion for Object-Level RGB-D Video Segmentation

Hits:

Affiliation of Author(s):机电学院

Journal:IEEE Trans Multimedia

Abstract:RGB-D video segmentation is important for many applications, including scene understanding, object tracking, and robotic grasping. However, to segment RGB-D frames over a long video sequence into globally consistent segmentation is still a challenging problem. Current methods often lose pixel correspondences between frames under occlusion and, thus, fail to generate consistent and continuous segmentation results. To address this problem, we propose a novel spatiotemporal RGB-D video segmentation framework that automatically segments and tracks objects with continuity and consistency over time. Our approach first produces consistent segments in some keyframes by region clustering, and then propagates the segmentation result to a whole video sequence via a mask propagation scheme in bilateral space. Instead of exploiting local optical, flow information to establish correspondences between adjacent frames, we leverage scale-invariant feature transform (SIFT) flow and bilateral representation to solve inconsistency under occlusion. Moreover, our method automatically extracts multiple objects of interest and tracks them without any user input hint. A variety of experiments demonstrates effectiveness and robustness of our proposed method. © 1999-2012 IEEE.

ISSN No.:1520-9210

Translation or Not:no

Date of Publication:2018-03-01

Co-author:谢乾,Remil, Oussama,Guo, Yanwen,Wang, Meng,Jun Wang

Correspondence Author:Jun Wang,Mingqiang Wei

Pre One:Automatic 3D reconstruction of electrical substation scene from LiDAR point cloud

Next One:Urban building reconstruction from raw LiDAR point data

Profile

研究方向：

深度学习，多模态预训练模型，3D视觉，3D AIGC，计算机视觉，计算机图形学，几何深度学习，图形与图像处理，大型飞机外形三维测量与几何处理，大模型技术(Deep Learning, Cross-modal Multimedia Processing, 3D Vision, Geometric Deep Learning, Graphics and Image Processing)

（1）国家级青年人才（2023）、江苏省双创博士（2018）、南航长空之星（2020）

（2）CCF A/B类期刊 IEEE Transactions on Image Processing (IEEE TIP)、IEEE Transactions on Geoscience and Remote Sensing (IEEE TGRS)、ACM Transactions on Multimedia Computing, Communications, and Applications (ACM TOMM)、《计算机辅助设计与图形学学报》等编委（AE）

（3）Senior Member, IEEE

（4）江苏省智能制造工程学会常务理事

（5）CVPR/ICCV/ECCV/NeurIPS/AAAI/IJCAI/ACM MM 等CCF A/B类国际会议程序委员会委员

（6）IEEE Transactions on Multimedia、The Visual Computer客座编辑（Lead Guest Editor）

（7）《大模型原理与技术》（电子工业出版社 2024）、《人工智能通识基础》（机械工业出版社 2025）

论文发表：在IEEE TPAMI、ACM TOG、IEEE TIP、IJCV、CVPR、ICCV等权威期刊和会议发表百余篇论文。

获奖：

2014年香港中文大学青年学者最佳博士毕业论文奖
2025年中国软件杯大赛一等奖
2025年挑战杯大赛特等奖
2025年第28届中国计算机辅助设计与图形学大会（CAD/CG）最佳论文提名奖
江苏航空航天学会青年科学家奖
2020年中国机器人大赛3D视觉大赛一等奖（指导教师）
2019年南航本科学学术论文一等奖（江苏省二等奖）、二等奖（指导教师）
江苏省计算机学会计算机学会青年科技奖
第14届中国计算机图形学大会最佳论文奖(Best paper award)

承担的科研项目情况：

国家自然科学基金优秀青年科学基金，大型航空装备外形几何处理与分析，在研，主持
国家自然科学基金面上项目，面向数字化装配的航空大型复合材料构件三维测量技术研究，在研，主持
国家自然科学基金重点项目，面向3D对象分析与生成的深度学习理论与方法、62032011、在研，联合主持（南大-南航-浙大）
国家自然科学基金面上项目，面向大型飞机外形分析的大规模点云几何深度学习问题研究，62172218，在研，主持
国家重点研发计划子课题（运-20相关），***，在研，主持
国防基础项目（军事智能相关），***，在研，联合主持
中央扶持地方自由探索项目，点云驱动的飞机几何分析问题研究，在研， 2021Szvup060，主持
江苏省文化和旅游科研课题重点项目，面向室外场景文化遗产保护的点云处理、20ZD06、在研，主持
国家自然科学青年基金项目，青铜器缺块数字化补配的关键技术研究、61502137、结题、主持

欢迎校内外本科生（尤其推免生，英语四级成绩》550分或六级成绩》520分）/硕士研究生报考我的硕士研究生/博士研究生职位，并有若干博士后职位。

备注：

提供国内外学术交流机会，表现优异者，可推荐到香港中文大学、香港大学、香港科技大学、香港城市大学、香港理工大学和香港教育大学等攻读博士学位。 Feel free to contact me by：mqwei@nuaa.edu.cn / mingqiang.wei@gmail.com