مجموعه شروع کننده هدوپ

ضبط شده

یادگیری Hadoop به آسانی و با لذت. HDFS، MapReduce و مقدمه‌ای بر Pig و Hive را با دسترسی رایگان به کلاستر یاد بگیرید.

امتیاز دوره

هنوز امتیاز ندارد

زیرنویس فارسی و انگلیسی

ماراد، مرکز آموزش از راه دور

زندگی فعال
15 اپیزود
3 ساعت و 28 دقیقه
سطح مقدماتی

درباره دوره اپیزود ها توضیحات تکمیلی اطلاعات استاد کامنت ها

در این دوره چه چیز هایی می آموزید؟

درک مسئله داده‌های کلان از نظر ذخیره‌سازی و محاسبات

نیاز به یک سیستم فایل دیگر مانند HDFS را درک کنید.

معماری HDFS را درک کنید

مراحل را در MapReduce درک کنید

برای نوشتن یک برنامه MapReduce با درک کامل از ساختارهای برنامه، به این موارد توجه کنید:

ایجاد و پرس و جو جداول هایو

درک کنید که چگونه Hadoop به مسئله داده‌های بزرگ نزدیک می‌شود و راه‌حلی برای این مشکل ارائه می‌دهد.

کار با HDFS

فهمیدن مدل برنامه‌نویسی MapReduce

تصور کنید یک مشکل در MapReduce وجود دارد.

نوشتن دستورالعمل‌های پیک لاتین

اپیزودها

اپیزود 1 معرفی دوره

3 دقیقه

در این ویدئو کوتاه، ما یک مرور کلی از دوره ارائه خواهیم داد و به بررسی هر بخش از این دوره خواهیم پرداخت.

اپیزود 2 Big Data چیست؟

18 دقیقه

در این درس، ما یاد خواهیم گرفت - بیگ دیتا چیست و چند نمونه از بیگ دیتا مسائلی که با بیگ دیتا از نظر ذخیره‌سازی و محاسبات به وجود می‌آید هتیوپ چه راه‌حل‌هایی برای مشکلات بیگ دیتا ارائه می‌دهد مقایسه راه‌حل‌های سنتی با هتیوپ

اپیزود 3 درک مشکل داده‌های کلان

15 دقیقه

در این درس ما - یک نمونه از یک مسئله کلان‌داده را بررسی خواهیم کرد، مسئله را تحلیل کرده و پیچیدگی‌های مرتبط با ذخیره‌سازی و محاسبات را درک خواهیم کرد در نهایت، ما به‌طور مشترک بر روی یک راه‌حل کار خواهیم کرد

اپیزود 4 HDFS - چرا یک سیستم فایل دیگر؟

14 دقیقه

در این درس، ما خواهیم آموخت - سیستم فایل چیست و ویژگی‌های آن سیستم‌های فایل موجود محدودیت‌های سیستم‌های فایل موجود در محاسبات توزیع شده چگونه HDFS با سیستم فایل محلی متفاوت است مبانی HDFS مزایای HDFS

اپیزود 5 کار کردن با HDFS

18 دقیقه

در این درس، ما موارد زیر را بررسی خواهیم کرد - تفاوت‌های عملی بین HDFS و سیستم فایل محلی مدیریت فایل‌ها و دایرکتوری‌ها در HDFS دستوراتی برای بررسی یا به‌روزرسانی دسترسی‌ها، تکرارها و بررسی سیستم فایل محل بلوک‌های فیزیکی و پیش‌نمایش در hdfs-site.xml محل دستورات HDFS در خوشه - /hirw-starterkit/hdfs/commands

اپیزود 6 معماری HDFS

13 دقیقه

در این درس، ما درباره موارد زیر یاد خواهیم گرفت - نود داده نود نام اطلاعات نگهداری شده توسط نود نام فایل‌های پیکربندی HDFS تدوین - نود، رک، کلاستر

اپیزود 7 مقدمه‌ای بر MapReduce

9 دقیقه

در این درس ما با استفاده از یک مثال خوب، MapReduce را یاد خواهیم گرفت. ما قول می‌دهیم که با مسئله شمارش کلمات خسته نخواهید شد !!! این درس شامل موارد زیر است - مبانی MapReduce معرفی مراحل MapReduce معرفی اصطلاحات فنی مانند Mapper، Reducer، InputSplit و غیره.

اپیزود 8 تجزیه و تحلیل اجزای MapReduce

19 دقیقه

در این درس ما - به طور عمیق‌تری به هر مرحله از MapReduce می‌پردازیم تفاوت بین InputSplit و Block را یاد می‌گیریم اهمیت مرحله Shuffle Partitioner، Combiner و غیره

اپیزود 9 تحلیل برنامه MapReduce (قسمت ۱)

13 دقیقه

در این درس، ما یک برنامه MapReduce به زبان جاوا می‌نویسیم تا حداکثر قیمت پایانی نماد سهام را از یک مجموعه داده‌های سهام محاسبه کنیم. ما هر خط کد را مرور خواهیم کرد و مفاهیم برنامه‌نویسی مرتبط با نوشتن کد MapReduce را درک خواهیم کرد. مکان کد، فایل jar، و فایل readme در کلاستر - /hirw-starterkit/mapreduce/stocks

اپیزود 10 بررسی برنامه MapReduce (قسمت ۲)

18 دقیقه

در این درس یک برنامه MapReduce به زبان جاوا می‌نویسیم تا حداکثر قیمت پایانی نماد سهام را از یک دیتاست سهام محاسبه کنیم. ما هر خط کد را بررسی خواهیم کرد و مفاهیم برنامه‌نویسی موجود در نوشتن کد MapReduce را درک خواهیم کرد. محل کد، فایل jar، و فایل readme در کلاستر - /hirw-starterkit/mapreduce/stocks

اپیزود 11 مقدماتی بر آپاچی پیگ

13 دقیقه

این درس مقدمه بسیار خوبی به آپاچی پیگ ارائه می‌دهد. ما دستورالعمل‌های پیگ لَتین را برای محاسبه حداکثر قیمت پایانی نماد سهام از یک مجموعه داده‌های سهام خواهیم نوشت. مکان اسکریپت پیگ و فایل راهنما در خوشه - /hirw-starterkit/pig/stocks

اپیزود 12 مقدمه‌ای بر آپاچی هایو

9 دقیقه

این درس مقدمه بسیار خوبی بر Apache Hive به شما خواهد داد. ما یک جدول Hive ایجاد خواهیم کرد و حداکثر قیمت پایانی نمادهای سهام را از یک مجموعه داده سهام با یک پرس و جو ساده محاسبه خواهیم کرد. مکان اسکریپت Hive در خوشه - /hirw-starterkit/pig/stocks

اپیزود 13 مدیر کلودرا - مقدمه

14 دقیقه

در این سخنرانی ما درباره‌ی مزایای Cloudera Manager، تفاوت‌های بین Packages و Parcels و چرخه‌ی حیات Parcels یاد خواهیم گرفت.

اپیزود 14 مدیر کلودرا - نصب

25 دقیقه

در این سخنرانی ما خواهیم دید که چگونه یک خوشه ۳نودی Hadoop را بر روی AWS با استفاده از Cloudera Manager نصب کنیم

اپیزود 15 پیشکشت: دوره هاداپ در دنیای واقعی: تبدیل شدن به یک توسعه‌دهنده متخصص هاداپ

7 دقیقه

اکشن های دوره

شرکت در دوره : 34,000 تومان

توضیحات دوره

هدف این دوره این است که شما را قدم به قدم با تمام اجزای اصلی در هادوپ آشنا کند، اما مهم‌تر اینکه تجربه یادگیری هادوپ را آسان و سرگرم‌کننده کند.

با ثبت‌نام در این دوره، شما همچنین می‌توانید به کلاستر آموزش هادوپ با چند گره ما به صورت رایگان دسترسی پیدا کنید تا به سرعت آنچه را که یاد گرفته‌اید در یک محیط توزیع‌شده واقعی آزمایش کنید.

درباره مدرس(ها)

ما گروهی از مشاوران هادوپ هستیم که به تکنولوژی‌های هادوپ و داده‌های کلان علاقه‌مندیم. ۴ سال پیش وقتی به دنبال مشاوران داده‌های کلان برای کار در پروژه‌های خود بودیم، نتوانستیم کاندیدای مناسب پیدا کنیم زیرا صنعت داده‌های کلان بسیار جدید بود و به همین دلیل تصمیم گرفتیم خودمان می‌خواهیم کاندیداهای واجد شرایط را در زمینه داده‌های کلان آموزش دهیم و بینش عمیق و واقعی در مورد هادوپ ارائه دهیم.

شما در این دوره چه یاد خواهید گرفت

در بخش اول، شما درباره داده‌های کلان و مثال‌های آن یاد خواهید گرفت. ما عوامل را بررسی خواهیم کرد که هنگام بررسی اینکه آیا یک مسئله داده‌های کلان است یا خیر، باید در نظر گرفته شوند. ما درباره چالش‌های موجود با تکنولوژی‌های فعلی در محاسبات داده‌های کلان صحبت خواهیم کرد. ما مشکل داده‌های کلان را از نظر ذخیره‌سازی و محاسبه تحلیل خواهیم کرد و درک خواهیم کرد که هادوپ چگونه به این مشکل نزدیک می‌شود و برای آن راه حلی ارائه می‌دهد.

در بخش HDFS، شما درباره نیاز به یک سیستم فایل دیگر مانند HDFS یاد خواهید گرفت. ما HDFS را با سیستم‌های فایل سنتی مقایسه خواهیم کرد و مزایای آن را بررسی خواهیم کرد. همچنین با HDFS کار خواهیم کرد و معماری HDFS را مورد بحث قرار خواهیم داد.

در بخش MapReduce، شما با اصول اولیه MapReduce و مراحل مرتبط با آن آشنا خواهید شد. ما به تفصیل هر مرحله را بررسی خواهیم کرد و درک خواهیم کرد که در هر مرحله چه اتفاقی می‌افتد. سپس یک برنامه MapReduce در جاوا برای محاسبه حداکثر قیمت پایانی نمادهای سهام از یک مجموعه داده سهام خواهیم نوشت.

در دو بخش بعدی، شما را با آپاچی پیگ و هایو آشنا خواهیم کرد. ما سعی خواهیم کرد... برای محاسبه حداکثر قیمت پایانی برای نمادهای سهام از یک مجموعه داده سهام با استفاده از پیگ و هایو.

دانشجویان دیگر خریده اند