(قابل للنقر)
(قابل للنقر)
الايجابيات: PowerQuery هي واحدة من أقوى الأدوات، من ناحية وظائف واسعةمن ناحية أخرى، من الصعب جدًا إتقان التحليل ويستخدمه المحللون بشكل أساسي. يعمل مثل مع نماذج جدوليةومع متعددة الأبعاد. قادرة على توصيل مصادر إضافية
السلبيات: غير مناسب للمستخدمين "العاديين"، ويصعب تعلمه، وبطيء نوعًا ما. لا توجد إمكانية لمشاركة الوصول، أو فرض قيود على حجم الملفات/السجلات، وما إلى ذلك.
مواد إضافية
الخصائص الرئيسية:
مثال مع الاستعلامات والجمع بين المصادر: الجمع بين المصادر من بورصة نيويورك والمؤشر المالي S&P 500.
(قابل للنقر)
الايجابيات: جديد منتج حديثواجهة سهلة الاستخدام، سهلة التعلم، حل عبر الإنترنت.
السلبيات: الحل "خام" (بعض المكونات قد تكون غير مستقرة)، لا يعمل معه مكعبات OLAP، انخفاض الوظائف مقارنة بالمنافسين.
مواد إضافية:
فيديو تمهيدي:
(قناة يوتيوب الهرم التحليلات)
تتمتع المنصة بالقدرة على تحليل البيانات ووضع نماذج لها بشكل مشترك، بالإضافة إلى عدد من الميزات المفيدة الأخرى:
PyramidAnalytics هو الأكثر أداة قويةمن تلك التي نستخدمها.
الايجابيات: سهل التعلم، ويعمل مع كمية كبيرةمصادر، وظائف واسعة جدا.
السلبيات: سعر.
خادم قاعدة البياناتتكامل الخدمات- ترحيل البيانات وتكاملها. اقرأ أكثر.
خدمات تحليل خادم SQLأولاب و بيانات التعدينداخل خادم قاعدة البيانات. اقرأ أكثر.
Datazen هو حل متعدد المنصات يسمح لك بإنشاء التقارير، بغض النظر عن النظام الأساسي (الكمبيوتر الشخصي، iOS، Android، هاتف ويندوز). سمة مميزةالمنتج هو التكامل والقدرة على نطاق واسع عمل كاملمنصة تحليلية عبر الأجهزة المحمولة.
الايجابيات: يدعم مجموعة واسعة من المنصات، التي يدعمها ويطورها MS، ويعمل معها كمية كبيرةمصادر.
السلبيات: لا يعمل مع OLAP مباشرة (تحتاج إلى إنشاء استعلامات MDX بنفسك)، وله عدد من القيود (بدءًا من إمكانيات الواجهة إلى تخصيص الوظائف)، ولا يتم بيعه بشكل منفصل، ويأتي مزودًا بـ MS SQL Enterprise Edition.
في المقالة التالية سنلقي نظرة على Datazen وPyramid Analytics بالتفصيل، وسنتعرف أيضًا على كيفية إنشاء التقارير بناءً عليهما.
تحليل البيانات بلغة SQL
تعد لغة SQL أقوى أداة لمعالجة البيانات اخترعها الإنسان. لغة الاستعلام البسيطة والمعبرة هذه مدعومة من قبل جميع قواعد البيانات الحديثة (بما في ذلك بما في ذلك مايكروسوفتو Oracle و IBM) وأدوات التحليل والبرمجة (بما في ذلك Excel).
على هذه الدورةسوف تصبح على دراية بقواعد بيانات اللغة استعلامات SQL. الهدف من الدورة هو تعلم كيفية استخدام قواعد البيانات الحديثة بطلاقة وثقة، بما في ذلك تحليل البيانات وبناء التقارير.
جمهور الدورة:المحللون ومطورو التقارير الذين يعملون مع قواعد البيانات.
عند الانتهاء من الدورة سوف تكون قادرا على:
هناك طلب كبير حاليًا على المتخصصين الذين يتمتعون بهذه المعرفة والمهارات. معظم خريجي الدورة لدينا يفعلون ذلك مهنة ناجحةويحظى باحترام أصحاب العمل.
مدة الدورة - 24 ف. ح.
الوحدة 1: قواعد البيانات العلائقية
الوحدة 2. عمليات بسيطةمع طاولة واحدة
الوحدة 3: تحويل الجدول
الوحدة 4. تعديل البيانات
الوحدة 5: عمليات الجداول المتعددة
الوحدة 6. بناء التقارير
الوحدة 7. العمل مع مستودعات البيانات وأسواق البيانات
عند الانتهاء من الدورة، الامتحان النهائي. يتم إجراء الشهادة في شكل اختبار في الدرس الأخير أو على أساس الدرجات العمل التطبيقييتم تنفيذها خلال الدورة.
إذا كنت تريد أن تصبح عالم بيانات، فلا يمكنك الاستغناء عن SQL. لا يمكن استخدام هذه اللغة من قبل المحللين أو العلماء فحسب، بل أيضًا من قبل أي شخص يمكنه قضاء بضعة أيام فيها تعلم SQLالطلبات:
SQL تعني لغة الاستعلام الهيكلية، والتي تُترجم إلى " لغة الاستعلام الهيكلية».
لكني أحب وصفًا آخر: إنه Excel المنشط. إليك ما تبدو عليه مجموعة البيانات نفسها في Excel وSQL:
كما نرى، SQL وExcel متشابهان تمامًا. يقدم كلاهما البيانات كجدول ثنائي الأبعاد يحتوي على أعمدة وصفوف. كلاهما منظم للغاية وسهل الفهم.
ولكن هناك عدد من الاختلافات بينهما:
عندما تتقن استعلامات SQL للمبتدئينستدرك أن العمل به أكثر شفافية وكفاءة من استخدام Excel. بالإضافة إلى ذلك، في SQL، يكون الأمر أكثر ملاءمة لأتمتة عملك واستخدام التطورات السابقة.
عند تحليل البيانات، ستستخدم لغة SQL لمهام بسيطة إلى حد ما: التلخيص، والجمع بين مجموعات البيانات، والتحليلات الإحصائية البسيطة الأساليب الرياضية. ولكن مع SQL، سيصبح عملك أكثر كفاءة وستتمكن من استخدام مجموعات بيانات أكبر من ذي قبل.
عندما تبدأ في استخدام هذه اللغات لتحليل البيانات، ستدرك أن Python وR جيدان لشيء واحد، وSQL لشيء آخر. يكمن الاختلاف الرئيسي بين هذه اللغات في بناء الجملة و"الوظائف" والأداء. حسنًا، لننتقل الآن إلى الجزء العملي!
سأستخدم PostgreSQL. هناك أنواع أخرى من SQL DBMS. لكنها كلها متشابهة، لذلك إذا تعلمت postgreSQL، فإن التكيف مع لغة أخرى لن يستغرق سوى بضع ساعات (أو حتى دقائق).
على هذه اللحظةيجب أن يكون لديك ثلاثة أشياء:
ملاحظة: سأستخدم SQL Workbench كأداة SQL الخاصة بي.
تحتاج أولاً إلى الوصول إلى قاعدة البيانات من سطر الأوامر. سأوضح لك كيفية القيام بذلك، وفي المستقبل سوف تحتاج إلى القيام بنفس الشيء:
في حالتي أدخل:
سش تومي@[my_ip_address]
psql -U tomi -d postgres
psql هو الأمر نفسه، -U يشير إلى اسم المستخدم ( في حالتي هو "تومي")، و -d يحدد اسم قاعدة البيانات ( في حالتي postgres، مثل حالتك). يجب أن يتغير موجه الأوامر إلى ما يلي:
مستعد! الآن لديك الوصول الكاملإلى القاعدة بيانات SQL .
ستظهر قائمة بجميع جداول البيانات على الشاشة. حتى الآن هناك واحد فقط. لكن هذا سيتغير قريباً:
ملحوظة: تسمى قواعد بيانات SQL أيضًا " قواعد البيانات العلائقيةبيانات».
في هذا القسم سوف نعمل مع مجموعة صغيرةبيانات تسمى حديقة الحيوان ("حديقة الحيوان"). يمكنك تحميله من هنا على تنسيق النص.tsv.
ولكن دعونا نواصل مع مثال استعلام SQL:
1) إنشاء جدول:
إنشاء حديقة حيوانات الجدول (حيوان varchar(10)، عدد صحيح uniq_id المفتاح الأساسي، water_need عدد صحيح)؛
2) تأكد من إنشاء الجدول بالتأكيد:
لدينا طاولة جديدةالبيانات: حديقة الحيوان!
3) تحميل البيانات!
انسخ الطلب:
أدخل في حديقة الحيوان (animal,uniq_id,water_need) القيم ("فيل"،1001,500)، ("فيل"،1002,600)، ("فيل"،1003,550)، ("نمر"،1004,300) , ("النمر"،1005,320)، ("النمر"،1006,330)، ("النمر"،1007,290)، ("النمر"،1008,310)، ("الحمار الوحشي"، 1009,200) ، ("حمار وحشي"،1010،220)، ("حمار وحشي"،1011،240)، ("حمار وحشي"،1012،230)، ("حمار وحشي"،1013،220)، ("حمار وحشي"،1014،100) ، ("حمار وحشي"،1015،80)، ("أسد"،1016،420)، ("أسد"،1017،600)، ("أسد"،1018،500)، ("أسد"،1019،390) ، ("الكنغر"،1020،410)، ("الكنغر"،1021،430)، ("الكنغر"،1022،410)؛
إذا سارت الأمور على ما يرام، ستتلقى الرسالة التالية:
حان الوقت للاستكشاف المشغل الرئيسي لغة الاستعلام SQL. هنا هو:
اختر * من اسم الجدول؛
سنستخدم SELECT في كل مرة نحتاج فيها إلى قراءة البيانات وتصفيتها وتحويلها وتلخيصها. في البداية، دعونا نختار ( كلمة انجليزيةيتم ترجمة التحديد تمامًا كـ "تحديد") كل ما هو موجود في جدول حديقة الحيوان.
اختر * من حديقة الحيوان؛
أعاد عامل الهاتف لي الجدول بأكمله.
اختر * من حديقة الحيوان؛
SELECT هو البيان الأساسي الذي يخبر SQL أننا نريد قراءة البيانات من الجدول.
* - يشير إلى أننا نريد تحديد كافة الأعمدة.
يخبر FROM SQL بأننا سنقوم بتحديد جدول لقراءة البيانات منه.
حديقة الحيوان هو اسم الجدول. يمكن استبداله بأي شيء آخر إذا كان لديك عدة جداول.
; هذا هو بناء الجملة المطلوب من قبل SQL. يجب أن ينتهي كل استعلام بفاصلة منقوطة. إذا قمت بتخطيه عن طريق الخطأ، فسوف ينتظر SQL حتى يستمر الاستعلام ولن يعرض أي شيء.
سوف نستخدم التعبير الذي تمت مناقشته أعلاه بانتظام عند العمل معه استعلامات معقدة SQL.
يمكن استبدال العلامة * بأسماء الأعمدة. خذ بعين الاعتبار الاستعلام التالي كمثال:
حدد الحيوان الذي يحتاج إلى الماء من حديقة الحيوان؛
لقد حصلنا على ما توقعناه بالضبط: هناك عمودان "animal" و"water_need" على الشاشة، ولكن لم يعد "uniq_id".
بنفس الطريقة، يمكنك تحديد أي أعمدة؛ ما عليك سوى تحديد أسمائها، مفصولة بفاصلة. يمكنك أيضًا القيام بشيء مثل هذا:
حدد الحيوان، الحيوان، الحيوان من حديقة الحيوان؛
سيتم تكرار نفس العمود عدة مرات... ولكن بما أن هذا لا معنى له، فلا يستحق القيام بذلك.
نعمل حاليًا على جدول بيانات يتكون من 22 صفًا. لقصر التحديد على الصفوف القليلة الأولى، سنستخدم التعليمة LIMIT - وهي "امتداد" صغير للاستعلام الأساسي:
اختر * من حديقة الحيوان LIMIT 10؛
سيتم عرض الأسطر العشرة الأولى فقط على الشاشة.
باستخدام جملة WHERE، يمكنك تحديد صفوف معينة بناءً على قيمها. مثال لاستعلام SQL:
"اختر * من حديقة الحيوان -" هذا هو "الاستعلام الأساسي"
أين - يخبر SQL أنك تريد تصفية شيء ما.
"الحيوان = "الفيل" -" الحيوان هو اسم العمود الذي نبحث فيه القيمة المطلوبة، والفيل هو المعنى نفسه. في SQL نحتاج دائمًا إلى إضافة عمود نبحث فيه عن القيمة المطلوبة.
; – “لا تنسى الفاصلة المنقوطة!
هذه مقالة تمهيدية، وبالتالي فإن المهمة الأولى ستكون أيضًا بسيطة جدًا:
يختار اول ثلاثةالحمير الوحشية ( الحمار الوحشي) من حديقة الحيوان الجدول .
إذا كنت تريد أن تصبح عالم بيانات، فلا يمكنك الاستغناء عن SQL. يمكن استخدام هذه اللغة ليس فقط من قبل المحللين أو العلماء، ولكن أيضًا من قبل أي شخص يمكنه قضاء بضعة أيام في دراسة استعلامات SQL:
SQL تعني لغة الاستعلام الهيكلية، والتي تُترجم إلى " لغة الاستعلام الهيكلية».
لكني أحب وصفًا آخر: إنه Excel المنشط. إليك ما تبدو عليه مجموعة البيانات نفسها في Excel وSQL:
كما نرى، SQL وExcel متشابهان تمامًا. يقدم كلاهما البيانات كجدول ثنائي الأبعاد يحتوي على أعمدة وصفوف. كلاهما منظم للغاية وسهل الفهم.
ولكن هناك عدد من الاختلافات بينهما:
عندما تتقن استعلامات SQL للمبتدئينستدرك أن العمل به أكثر شفافية وكفاءة من استخدام Excel. بالإضافة إلى ذلك، في SQL، يكون الأمر أكثر ملاءمة لأتمتة عملك واستخدام التطورات السابقة.
في تحليل البيانات، ستستخدم SQL لمهام بسيطة إلى حد ما: التلخيص، والجمع بين مجموعات البيانات، والأساليب الإحصائية والرياضية البسيطة. ولكن مع SQL، سيصبح عملك أكثر كفاءة وستتمكن من استخدام مجموعات بيانات أكبر من ذي قبل.
عندما تبدأ في استخدام هذه اللغات لتحليل البيانات، ستدرك أن Python وR جيدان لشيء واحد، وSQL لشيء آخر. والفرق الرئيسي بين هذه اللغات هو في بناء الجملة، " المهام"والإنتاجية. حسنًا، لننتقل الآن إلى الجزء العملي!
سأستخدم PostgreSQL. هناك أنواع أخرى من SQL DBMS. لكنها كلها متشابهة، لذلك إذا تعلمت postgreSQL، فإن التكيف مع لغة أخرى لن يستغرق سوى بضع ساعات (أو حتى دقائق).
في هذه المرحلة يجب أن يكون لديك ثلاثة أشياء:
ملاحظة: سأستخدم SQL Workbench كأداة SQL الخاصة بي.
تحتاج أولاً إلى الوصول إلى قاعدة البيانات من سطر الأوامر. سأوضح لك كيفية القيام بذلك، وفي المستقبل سوف تحتاج إلى القيام بنفس الشيء:
في حالتي أدخل:
سش تومي@[my_ip_address]
psql هو الأمر نفسه، -U يشير إلى اسم المستخدم ( في حالتي هو "تومي")، و -d يحدد اسم قاعدة البيانات ( في حالتي postgres، مثل حالتك). يجب أن يتغير موجه الأوامر إلى ما يلي:
بوستجرس=>
مستعد! لديك الآن حق الوصول الكامل إلى قاعدة بيانات SQL .
ستظهر قائمة بجميع جداول البيانات على الشاشة. حتى الآن هناك واحد فقط. لكن هذا سيتغير قريباً:
ملحوظة: تسمى قواعد بيانات SQL أيضًا " قواعد البيانات العلائقية ».
في هذا القسم، سنعمل مع مجموعة بيانات صغيرة تسمى حديقة الحيوان(" حديقة حيوان"). يمكنك تنزيله من هنا بتنسيق نص .tsv.
ولكن دعونا نواصل مع مثال استعلام SQL:
1) إنشاء جدول:
إنشاء جدول حديقة الحيوان (animal varchar (10)، uniq_id integer PRIMARY KEY، water_need integer)؛
2) تأكد من إنشاء الجدول بالتأكيد:
لدينا جدول بيانات جديد: حديقة الحيوان!
3) تحميل البيانات!
انسخ الطلب:
أدخل في حديقة الحيوان (animal,uniq_id,water_need) القيم ("فيل"،1001,500)، ("فيل"،1002,600)، ("فيل"،1003,550)، ("نمر"،1004,300) , ("النمر"،1005,320)، ("النمر"،1006,330)، ("النمر"،1007,290)، ("النمر"،1008,310)، ("الحمار الوحشي"، 1009,200) ، ("حمار وحشي"،1010،220)، ("حمار وحشي"،1011،240)، ("حمار وحشي"،1012،230)، ("حمار وحشي"،1013،220)، ("حمار وحشي"،1014،100) ، ("حمار وحشي"،1015،80)، ("أسد"،1016،420)، ("أسد"،1017،600)، ("أسد"،1018،500)، ("أسد"،1019،390) ، ("الكنغر"،1020،410)، ("الكنغر"،1021،430)، ("الكنغر"،1022،410)؛
إذا سارت الأمور على ما يرام، ستتلقى الرسالة التالية:
أدخل 0 22
حان الوقت لدراسة المشغل الرئيسي لغة الاستعلام SQL. هنا هو:
اختر * من اسم الجدول؛
سنستخدم SELECT في كل مرة نحتاج فيها إلى قراءة البيانات وتصفيتها وتحويلها وتلخيصها. في البداية، دعونا نختار ( تتم ترجمة الكلمة الإنجليزية "select" تمامًا إلى "choose") كل ما هو موجود في جدول حديقة الحيوان.
اختر * من حديقة الحيوان؛
أعاد عامل الهاتف لي الجدول بأكمله.
اختر * من حديقة الحيوان؛
SELECT هو البيان الأساسي الذي يخبر SQL أننا نريد قراءة البيانات من الجدول.
* - يشير إلى أننا نريد تحديد كافة الأعمدة.
يخبر FROM SQL بأننا سنقوم بتحديد جدول لقراءة البيانات منه.
حديقة الحيوان هو اسم الجدول. يمكن استبداله بأي شيء آخر إذا كان لديك عدة جداول.
; هذا هو بناء الجملة المطلوب من قبل SQL. يجب أن ينتهي كل استعلام بفاصلة منقوطة. إذا قمت بتخطيه عن طريق الخطأ، فسوف ينتظر SQL حتى يستمر الاستعلام ولن يعرض أي شيء.
سوف نستخدم التعبير الذي تمت مناقشته أعلاه بانتظام عند العمل مع استعلامات SQL المعقدة.
يمكن استبدال العلامة * بأسماء الأعمدة. خذ بعين الاعتبار الاستعلام التالي كمثال:
حدد الحيوان الذي يحتاج إلى الماء من حديقة الحيوان؛
لقد حصلنا على ما توقعناه بالضبط: هناك عمودان "animal" و"water_need" على الشاشة، ولكن لم يعد "uniq_id".
بنفس الطريقة، يمكنك تحديد أي أعمدة؛ ما عليك سوى تحديد أسمائها، مفصولة بفاصلة. يمكنك أيضًا القيام بشيء مثل هذا:
حدد الحيوان، الحيوان، الحيوان من حديقة الحيوان؛
سيتم تكرار نفس العمود عدة مرات... ولكن بما أن هذا لا معنى له، فلا يستحق القيام بذلك.
نعمل حاليًا على جدول بيانات يتكون من 22 صفًا. لقصر التحديد على الصفوف القليلة الأولى، سنستخدم تعليمات LIMIT - علامة صغيرة " توسع» للاستعلام الأساسي:
اختر * من حديقة الحيوان LIMIT 10؛
سيتم عرض الأسطر العشرة الأولى فقط على الشاشة.
باستخدام جملة WHERE، يمكنك تحديد صفوف معينة بناءً على قيمها. مثال لاستعلام SQL:
اختر * من حديقة الحيوان حيث الحيوان = "الفيل"؛
اختر * من حديقة الحيوان – "هذا" الطلب الأساسي»
أين - يخبر SQL أنك تريد تصفية شيء ما.
الحيوان = "الفيل" –» الحيوان هو اسم العمود الذي نبحث فيه عن القيمة المطلوبة، والفيل هو القيمة نفسها. في SQL نحتاج دائمًا إلى إضافة عمود نبحث فيه عن القيمة المطلوبة.
; – “لا تنسى الفاصلة المنقوطة!
هذه مقالة تمهيدية، وبالتالي فإن المهمة الأولى ستكون أيضًا بسيطة جدًا:
حدد الحمير الوحشية الثلاثة الأولى ( الحمار الوحشي) من حديقة الحيوان الجدول .
في الواقع، سيكون حل هذه المشكلة نتيجة مقال اليوم.
مستعد؟
هذا هو الحل الخاص بي:
اختر * من حديقة الحيوان حيث الحيوان = "حمار وحشي" الحد 3؛
موافق، SQL سهل .
بطريقة ما ليس جدًا... سيكون الأمر أفضل هكذا:
Postgres=> SELECT * من حديقة الحيوان؛
يعمل نفس
اختر * من حديقة الحيوان؛
تعتمد حساسية حالة أسماء الجداول وأسماء الأعمدة وقيمها على الإعدادات. في حالنا ( في باستخدام PostgreSQL ) أسماء الجداول والأعمدة ليست حساسة لحالة الأحرف، على عكس قيم الحقول. على سبيل المثال:
اختر * من حديقة الحيوان حيث الحيوان = "الفيل"؛ -" اختيار الأعمال * من حديقة الحيوان حيث الحيوان = 'الفيل'؛ –» الأعمال اختر * من حديقة الحيوان حيث الحيوان = "الفيل"؛ -" لا يعمل
لاحظ أن معظم الأشخاص يكتبون بلغة استعلام SQL الكلمات الدالة بالحروف الكبيرة (اختر، أين، الحد، الخ... )، مما يزيد من إمكانية قراءة التعليمات البرمجية.
لقد اتخذنا الخطوة الأولى نحو باستخدام SQLلتحليل البيانات! تهانينا! الآن يمكنك كتابة الاستعلامات الأساسية. ولكن هذا هو مجرد بداية!
ترجمة المقال " SQL لتحليل البيانات – برنامج تعليمي للمبتدئين – الحلقة 1تم إعداده من قبل الفريق الودود لمشروع بناء الموقع من الألف إلى الياء.