راه اندازی شبکه های اجتماعی مانند تلگرام، توییتر، واتساپ و یا اینستاگرام، مستلزم آشنایی و شناخت مفهومی به نام کلان داده و یا Big Data است. داده های با نرخ بالا و دارای تنوع نوع. مسلما این حجم او اطلاعات نیازمند پلتفرم ها، دیتابیس ها و تکنولوژی ذخیره سازی پیشرفته ای خواهد بود.
کلان داده ها در ایران!
کلان داده ها اصولا دارای کاربردهای متنوعی هستند. از همی رو در کشور ایران نیز پروژه های بسیاری مبتنی بر این مفهوم پیاده سازی شده اند که متاسفانه بعضا با شکست مواجه شده اند. دلایل این شکست ها را میتوان عواملی از قبیل در نظر نگرفتن استراتژی های مناسب برای پروژه، عدم تشخیص صحیح خواسته های کارفرما، عدم تحلیل صحیح از نیازها و... نام برد که علاوه بر هدر دادن منابع مالی، زمانی و انسانی منجر به کاهش اعتماد شرکت ها به قابلیت های داده نیز شده است.
شاید استفاده از یک معماری طراحی شده به منظور مدیریت پروژه های کلان داده، مشکلات و ایرادات این پروژه ها را بهبود ببخشد. در اینجا سعی کرده ایم معماری را معرفی کنیم که به عنوان یک مرجع استاندارد و منطبق با اکوسیستم آپاچی معرفی شده است. این اکوسیستم مرجع کلان داده به منظور مدیریت پروژه های کلان داده است. معماری کلان داده که در این بخش به معرفی ان خواهیم پرداخت شامل 10 لایه است:
لایههای معماری کلان داده:
1- لایه منابع داده (Data Sources)
2- لایه فروبری داده (Ingestion Layer)
3- لایه زیرساخت هدوپ (Hadoop Infrastructure Layer)
4- لایه ذخیرهسازی هدوپ (Hadoop Storage Layer)
5- لایه مدیریت سکو هدوپ (Hadoop Platform Management Layer)
6- لایه انبار داده (Data Warehouses)
7- لایه موتورهای تحلیلی (Analytics Engines)
8- لایه مصورسازی (Visualization Layer)
9- لایه امنیت (Security Layer)
10- لایه نظارت (Monitoring Layer)
متذکر می شویم که در هر یک از لایه های فوق می بایست امکان سنجی و تحلیل نیاز ه ظور کامل و دقیق انجام شود.
نکته دیگری که قابل توجه هست آمار موسسه گارتنر در سطح جهانی است. این آمار نشان می دهد که بیش از 60 درصد از پروژه های کلان داده در سال 2017 با شکست مواجه شده است. این آمار نشان دهنده آن است که داستان Big Data بسیار پیچیده و اساسی تر از آن است که در تعاریف گنجانده شود. همچنین میتوان امیدوار بود که کشور ایران چندان نیز از سطح جهانی عقب نمانده و با کمی تلاش، تحقیق و بررسی نکات مربوط میتواند پروژه های موفق تری را ارائه دهد.