کیت شروع هدوپ Hadoop

ضبط شده

یادگیری Hadoop به آسانی و با لذت. HDFS، MapReduce و مقدمه‌ای بر Pig و Hive را با دسترسی رایگان به کلاستر یاد بگیرید.

امتیاز دوره ( 5 نفر)

4.8 از 5

زیرنویس فارسی و انگلیسی

ماراد، مرکز آموزش از راه دور

زندگی فعال
15 اپیزود
3 ساعت و 28 دقیقه
سطح مقدماتی

درباره دوره اپیزود ها توضیحات تکمیلی اطلاعات استاد کامنت ها

در این دوره چه چیز هایی می آموزید؟

درک مسئله داده‌های کلان از نظر ذخیره‌سازی و محاسبات

نیاز به یک سیستم فایل دیگر مانند HDFS را درک کنید.

معماری HDFS را درک کنید

مراحل را در MapReduce درک کنید

برای نوشتن یک برنامه MapReduce با درک کامل از ساختارهای برنامه، به این موارد توجه کنید:

ایجاد و پرس و جو جداول Hive

درک کنید که چگونه Hadoop به مسئله داده‌های بزرگ نزدیک می‌شود و راه‌حلی برای این مشکل ارائه می‌دهد.

کار با HDFS

فهمیدن مدل برنامه‌نویسی MapReduce

تصور کنید یک مشکل در MapReduce وجود دارد.

نوشتن دستورالعمل‌های Pig Latin

اپیزودها

اپیزود 1 معرفی دوره

3 دقیقه

در این ویدئو کوتاه، ما یک مرور کلی از دوره ارائه خواهیم داد و به بررسی هر بخش از این دوره خواهیم پرداخت.

اپیزود 2 Big Data چیست؟

18 دقیقه

در این درس، ما یاد خواهیم گرفت - بیگ دیتا چیست و چند نمونه از بیگ دیتا مسائلی که با بیگ دیتا از نظر ذخیره‌سازی و محاسبات به وجود می‌آید هتیوپ چه راه‌حل‌هایی برای مشکلات بیگ دیتا ارائه می‌دهد مقایسه راه‌حل‌های سنتی با هتیوپ

اپیزود 3 درک مشکل داده‌های کلان

15 دقیقه

در این درس ما - یک نمونه از یک مسئله کلان‌داده را بررسی خواهیم کرد، مسئله را تحلیل کرده و پیچیدگی‌های مرتبط با ذخیره‌سازی و محاسبات را درک خواهیم کرد در نهایت، ما به‌طور مشترک بر روی یک راه‌حل کار خواهیم کرد

اپیزود 4 HDFS - چرا یک سیستم فایل دیگر؟

14 دقیقه

در این درس، ما خواهیم آموخت - سیستم فایل چیست و ویژگی‌های آن سیستم‌های فایل موجود محدودیت‌های سیستم‌های فایل موجود در محاسبات توزیع شده چگونه HDFS با سیستم فایل محلی متفاوت است مبانی HDFS مزایای HDFS

اپیزود 5 کار کردن با HDFS

18 دقیقه

در این درس، ما موارد زیر را بررسی خواهیم کرد - تفاوت‌های عملی بین HDFS و سیستم فایل محلی مدیریت فایل‌ها و دایرکتوری‌ها در HDFS دستوراتی برای بررسی یا به‌روزرسانی دسترسی‌ها، تکرارها و بررسی سیستم فایل محل بلوک‌های فیزیکی و پیش‌نمایش در hdfs-site.xml محل دستورات HDFS در خوشه - /hirw-starterkit/hdfs/commands

اپیزود 6 معماری HDFS

13 دقیقه

در این درس، ما درباره موارد زیر یاد خواهیم گرفت - نود داده نود نام اطلاعات نگهداری شده توسط نود نام فایل‌های پیکربندی HDFS تدوین - نود، رک، کلاستر

اپیزود 7 مقدمه‌ای بر MapReduce

9 دقیقه

در این درس ما با استفاده از یک مثال خوب، MapReduce را یاد خواهیم گرفت. ما قول می‌دهیم که با مسئله شمارش کلمات خسته نخواهید شد !!! این درس شامل موارد زیر است - مبانی MapReduce معرفی مراحل MapReduce معرفی اصطلاحات فنی مانند Mapper، Reducer، InputSplit و غیره.

اپیزود 8 تجزیه و تحلیل اجزای MapReduce

19 دقیقه

در این درس ما - به طور عمیق‌تری به هر مرحله از MapReduce می‌پردازیم تفاوت بین InputSplit و Block را یاد می‌گیریم اهمیت مرحله Shuffle Partitioner، Combiner و غیره

اپیزود 9 تحلیل برنامه MapReduce (قسمت ۱)

13 دقیقه

در این درس، ما یک برنامه MapReduce به زبان جاوا می‌نویسیم تا حداکثر قیمت پایانی نماد سهام را از یک مجموعه داده‌های سهام محاسبه کنیم. ما هر خط کد را مرور خواهیم کرد و مفاهیم برنامه‌نویسی مرتبط با نوشتن کد MapReduce را درک خواهیم کرد. مکان کد، فایل jar، و فایل readme در کلاستر - /hirw-starterkit/mapreduce/stocks

اپیزود 10 تحلیل برنامه MapReduce (قسمت ۲)

18 دقیقه

در این درس یک برنامه MapReduce به زبان جاوا می‌نویسیم تا حداکثر قیمت پایانی نماد سهام را از یک دیتاست سهام محاسبه کنیم. ما هر خط کد را بررسی خواهیم کرد و مفاهیم برنامه‌نویسی موجود در نوشتن کد MapReduce را درک خواهیم کرد. محل کد، فایل jar، و فایل readme در کلاستر - /hirw-starterkit/mapreduce/stocks

اپیزود 11 مقدماتی بر Apache Pig

13 دقیقه

این درس مقدمه بسیار خوبی به آپاچی پیگ ارائه می‌دهد. ما دستورالعمل‌های پیگ لَتین را برای محاسبه حداکثر قیمت پایانی نماد سهام از یک مجموعه داده‌های سهام خواهیم نوشت. مکان اسکریپت پیگ و فایل راهنما در خوشه - /hirw-starterkit/pig/stocks

اپیزود 12 مقدمه‌ای بر Apache Hive

9 دقیقه

این درس مقدمه بسیار خوبی بر Apache Hive به شما خواهد داد. ما یک جدول Hive ایجاد خواهیم کرد و حداکثر قیمت پایانی نمادهای سهام را از یک مجموعه داده سهام با یک پرس و جو ساده محاسبه خواهیم کرد. مکان اسکریپت Hive در خوشه - /hirw-starterkit/pig/stocks

اپیزود 13 مدیر کلودرا - مقدمه

14 دقیقه

در این سخنرانی ما درباره‌ی مزایای Cloudera Manager، تفاوت‌های بین Packages و Parcels و چرخه‌ی حیات Parcels یاد خواهیم گرفت.

اپیزود 14 مدیر کلودرا - نصب

25 دقیقه

در این سخنرانی ما خواهیم دید که چگونه یک خوشه ۳نودی Hadoop را بر روی AWS با استفاده از Cloudera Manager نصب کنیم

اپیزود 15 جایزه: دوره هاداپ در دنیای واقعی: تبدیل شدن به یک توسعه‌دهنده متخصص هاداپ

7 دقیقه

اکشن های دوره

شرکت در دوره : 34,000 تومان

توضیحات دوره

هدف این دوره این است که شما را قدم به قدم با تمام اجزای اصلی در هدوپ آشنا کند، اما مهم‌تر اینکه تجربه یادگیری هدوپ را آسان و سرگرم‌کننده کند.

با ثبت‌نام در این دوره، شما همچنین می‌توانید به کلاستر آموزش هادوپ با چند گره ما به صورت رایگان دسترسی پیدا کنید تا به سرعت آنچه را که یاد گرفته‌اید در یک محیط توزیع‌شده واقعی آزمایش کنید.

درباره مدرس(ها)

ما گروهی از مشاوران هدوپ هستیم که به تکنولوژی‌های هدوپ و داده‌های کلان علاقه‌مندیم. ۴ سال پیش وقتی به دنبال مشاوران داده‌های کلان برای کار در پروژه‌های خود بودیم، نتوانستیم کاندیدای مناسب پیدا کنیم زیرا صنعت داده‌های کلان بسیار جدید بود و به همین دلیل تصمیم گرفتیم خودمان کاندیداهای واجد شرایط را در زمینه داده‌های کلان آموزش دهیم و بینش عمیق و واقعی در مورد هدوپ ارائه دهیم.

شما در این دوره چه یاد خواهید گرفت

در بخش اول، شما درباره داده‌های کلان و مثال‌های آن یاد خواهید گرفت. ما عوامل را بررسی خواهیم کرد که هنگام بررسی اینکه آیا یک مسئله داده‌های کلان است یا خیر، باید در نظر گرفته شوند. ما درباره چالش‌های موجود با تکنولوژی‌های فعلی در محاسبات داده‌های کلان صحبت خواهیم کرد. ما مشکل داده‌های کلان را از نظر ذخیره‌سازی و محاسبه تحلیل خواهیم کرد و درک خواهیم کرد که هدوپ چگونه به این مشکل نزدیک می‌شود و برای آن راه حلی ارائه می‌دهد.

آموزش هدوپ Hadoop

در بخش HDFS، شما درباره نیاز به یک سیستم فایل دیگر مانند HDFS یاد خواهید گرفت. ما HDFS را با سیستم‌های فایل سنتی مقایسه خواهیم کرد و مزایای آن را بررسی خواهیم کرد. همچنین با HDFS کار خواهیم کرد و معماری HDFS را مورد بحث قرار خواهیم داد.

در بخش MapReduce، شما با اصول اولیه MapReduce و مراحل مرتبط با آن آشنا خواهید شد. ما به تفصیل هر مرحله را بررسی خواهیم کرد و درک خواهیم کرد که در هر مرحله چه اتفاقی می‌افتد. سپس یک برنامه MapReduce در جاوا برای محاسبه حداکثر قیمت پایانی نمادهای سهام از یک مجموعه داده سهام خواهیم نوشت.

در دو بخش بعدی، شما را با Apache Pig و Hive آشنا خواهیم کرد. ما سعی خواهیم کرد... برای محاسبه حداکثر قیمت پایانی برای نمادهای سهام از یک مجموعه داده سهام با استفاده از Pig و Hive.

دانشجویان دیگر خریده اند