مروری بر مباحث مطرح در داده های بزرگ

امروزه با رشد نمایی حجم داده و اطلاعات، دستیابی به فناوری های مرتبط با حجم زیاد داده نیز به عرصه رقابت اضافه شده است (سرگلریزان جوان مرتضی، اکبری محمد کاظم،). تعریف کوتاهی می تواند این باشد که داده های بزرگ به مجموعه های داده ای اشاره دارند که اندازه آن فراتر از توانایی ابزار های نرم افزاری استاندارد پایگاه داده برای ضبط، ذخیره، مدیریت و تجزیه و تحلیل است yen, kaynak okyay, shin، 2015). هم اکنون مهم ترین چالش در یک موتور جست و جو، وجود حجم زیاد اطلاعات برای پردازش می باشد. برای مثال در حال حاضر بیش از پانصد میلیون سند وب در پارسی جو وجود دارد که می بایست در زمان مناسب پردازش و نمایه سازی شوند. هم چنین تعداد واژه های موجود بیش از پانصد میلیون می باشد که مدیریت این داده ها نیازمند به یک سیستم بهینه برای پردازش داده ها می باشد (زارع بیدکی علی محمد، کاوه یزدی فاطمه،). داده های حجیم یک اصطلاح برای مجموعه داده های خیلی بزرگ است که از نظر ساختار، پیچیدگی و منابع تولید بسیار متنوع هستند و ذخیره و آنالیز آن ها کار پیچیده ای است (عنایتی الهام، 1395).