احسان رضایی

یک توسعه دهنده، شاید هم نه.

کتاب الگوهای طراحی به بیان ساده(design patterns/دیزاین پترن)

در مهندسی نرم افزار، design patterns(الگوهای طراحی) راه حل‌های قابل استفاده برای مشکلاتی هستند که معمولاً در طراحی نرم‌افزار اتفاق می افتند.

طرح های از پیش ساخته شده‌ای که می‌توانید برای حل مشکلات آن‌ها را سفارشی کنید. شما نمی‌توانید یک الگو را با جستجو در stackoverflow پیدا و در برنامه خود کپی کنید. الگو ها یک قطعه کد خاص نیستند، مفاهیم کلی برای حل مشکلات خاص هستند. شما باید با درک این مفاهیم آن‌ها را در برنامه خود پیاده‌سازی کنید.



Elasticsearch-Hadoop، جستجو و تحلیل real time دادهای Hadoop

در big data , پایگاه داده , / تاریخ ارسال 1395/09/24 - 18:21 / 0 نظر / 1762 بازدید / آخرین ویرایش 1399/05/02 - 01:23
مهم!
از تاریخ انتشار این مطلب زمان زیادی میگذره و میدونیم در حرفه ما سرعت پیشرفت و توسعه چقدر زیاده. من این مطلب قدیمی رو پاک نکردم چون ممکنه همچنان برای شما مفید باشه اما به خاطر داشته باشید در حال حاضر شاید نسخه های جدید و تغییرات این نوشته رو از دور خارج کرده باشن.

در کنار داده های بسیار زیادی که در hadoop دارید میتونید یک موتور جستجو و تحلیل گر real-time هم داشته باشید.

با استفاده از کتابخانه هایی که elasticsearch برای این موضوع آماده کرده امکان اتصال hadoop و elasticsearch فراهم شده.

با ادغام elasticsearch و یکی از component های hadoop داده ها به طور مستقیم در elasticsearch شاخص گذاری(index) میشوند و همچنین میتوان از HDFS به عنوان یک archive بلند مدت برای elasticsearch استفاده کرد.

در hadoop امکان جستجو یا تجزیه و تحلیل محتوا وجود داره اما سریع ترین روش نیست. ES-Hadoop با فراهم کردن شاخص گذاری داده های hadoop در elasticsearch سریعتر از همیشه این کارُ انجام میده.

قابلیت ادغام با محبوب ترین component های hadoop وجود داره، hadoop پیوسته در حال توسعه است و ES-Hadoop با component های برگزیده و محبوب آن تعامل داره و خواهد داشت.

برای data visualization(مصورسازی داده ها)  elasticsearch از kibana استفاده میکنه.

مدیریت اشخاصی که به اطلاعات شما دسترسی دارن و جلوگیری از جاسوسی برای حفظ محرمانگی اطلاعات انجام میشه. امنیت ES-Hadoop شامل احراز هویت HTTP، پشتیبانی از SSL/TLS برای ارتباط بین elasticsearch و hadoop clusters، کار کردن با Kerberos فعال در hadoop و X-Pack قابل استفاده در elasticsearch cluster میشه.

و در آخر، با هر گونه از توزیع های hadoop مانند Cloudera، Mapr، Hortonworks، Databricks و ... به خوبی کار میکنه.

پیشنهاد

ارسال نظر