ارائه ی بازنمایی جدید برای شناسایی فعالیت های انسانی در ویدیو با استفاده از نقشه ی برجستگی

امروزه با توجه به گسترش سریع دوربین ها و داده های ویدیویی در تمامی جوانب زندگی، درک و استخراج اطلاعات از تصاویر و ویدیوها از اهمیت به سزایی برخوردار شده است. در دهه های اخیر، محققین زیادی به ارائه ی الگوریتم هایی برای تجزیه و تحلیل محتوایی این داده ها برای کاربردهای مختلف پرداخته اند. این مسئله زمینه ی توسعه ی روش هایی که توانایی شناسایی فعالیت های رخ داده در یک توالی ویدیویی را دارند، فراهم ساخته است. در این مقاله نیز مسئله ی شناسایی فعالیت های انسانی با ارائه ی روشی جدید برای بازنمایی ویدیو مورد بررسی قرار گرفته است. با استفاده ی همزمان از اطلاعات ظاهری و حرکتی درون ویدیو، روشی برای استخراج نواحی بالقوه ی رخداد فعالیت ارائه شده، که توانایی استخراج مناطق پیش زمینه مرتبط با فعالیت را داشته و بازنمایی جدیدی ارائه شده که می تواند از این اطلاعات در ترکیب با اطلاعات و ساختار کلی پس زمینه، با میزان اهمیت های متفاوت استفاده کند. در مدل پیشنهادی برای شناسایی فعالیت، از یک معماری دو جریانه از شبکه های عصبی پیچشی (cnn) برای اطلاعات مکانی و زمانی، به منظور استخراج ویژگی های فریمی، استفاده شده و سپس این ویژگی ها برای ادغام بهینه با در نظر گرفتن روابط زمانی، برای تولید بازنمایی نهایی ویدیو و برچسب زنی، در اختیار یک شبکه ی حافظه ای طولانی کوتاه-مدت (lstm) قرار می گیرند. برای ارزیابی مدل پیشنهادی از مجموعه داده ی معتبر و چالشی jhmdb استفاده شده و نشان خواهیم داد که روش پیشنهادی توانسته از دقت بهتری نسبت به سایر روش های موجود بر روی این مجموعه داده برخوردار باشد.