أحد خيارات تنفيذ مستودع البيانات عمليًا هو إنشاء أسواق بيانات (سوق البيانات).يطلق عليها أحيانًا أيضًا أسواق البيانات. سوق البيانات عبارة عن مجموعة من البيانات الموجهة نحو الموضوع ولها تنظيم محدد. يهدف محتوى أسواق البيانات، كقاعدة عامة، إلى حل مجموعة معينة من المشكلات المتجانسة في واحد أو أكثر من المجالات ذات الصلة، أو لأداء وظائف عمل محددة، أو لأقسام محددة. على سبيل المثال، لحل المشكلات المتعلقة بتحليل خدمات الائتمان البنكي، يتم استخدام حالة عرض واحدة، ولتحليل أنشطة البنك في سوق الأوراق المالية، يتم استخدام حالة أخرى.

ولذلك، فإن سوق البيانات عبارة عن مستودع بيانات صغير ومتخصص نسبيًا يحتوي فقط على بيانات خاصة بموضوع معين ومخصص للاستخدام من قبل وحدة وظيفية محددة. لذلك، فإن أسواق البيانات الموجهة للوظيفة هي هياكل بيانات توفر حلولاً للمشاكل التحليلية في مجال وظيفي محدد أو قسم من الشركة، على سبيل المثال، إدارة الربحية، وتحليل السوق، وتحليل الموارد، وتحليل التدفق النقدي، وتحليل قاعدة العملاء، وأبحاث السوق، إدارة الأصول والخصوم، وما إلى ذلك. وبالتالي، يمكن اعتبار أسواق البيانات بمثابة مستودعات موضوعية صغيرة يتم إنشاؤها لغرض دعم المعلوماتالمهام التحليلية لأقسام الإدارة المحددة للشركة.

يتم تحديد تنظيم البيانات في العرض من خلال الحاجة إلى توفير القدرة على تحليل البيانات من مجال موضوع معين باستخدام أفضل الوسائل.

تختلف أسواق البيانات ومستودعات البيانات تمامًا عن بعضها البعض. يتم إنشاء مستودع بيانات لحل مشاكل الشركة الموجودة في نظام معلومات الشركة. عادةً، يتم إنشاء مستودعات البيانات والحصول عليها بواسطة مؤسسات ذات موقع مركزي، مثل المؤسسات الكلاسيكية تقنيات المعلومات، على سبيل المثال البنك. يتم تجميع مستودع البيانات من قبل الشركة بأكملها.

تم تطوير سوق البيانات لتلبية احتياجات حل مجموعة محددة متجانسة من المشاكل. لذلك، قد يكون لدى شركة واحدة العديد من أسواق البيانات المختلفة، ولكل منها شكلها ومظهرها الخاص.

والفرق التالي هو دقة البيانات، حيث أن سوق البيانات يحتوي على بيانات مجمعة بالفعل. على العكس من ذلك، يحتوي مستودع البيانات على البيانات الأكثر تفصيلا.

نظرًا لأن مستوى التكامل في أسواق البيانات أعلى منه في المستودعات، لا يمكن تحليل تفاصيل سوق البيانات بسهولة إلى تفاصيل المستودع. ولكن يمكنك دائمًا السير في الاتجاه المعاكس وتجميع البيانات الفردية في مؤشرات عامة.

على عكس المستودع، يحتوي سوق البيانات على كمية صغيرة فقط من المعلومات التاريخية، المرتبطة فقط بفترة زمنية قصيرة وتكون مهمة فقط في اللحظة التي تلبي فيها متطلبات حل المشكلة. يمكن اعتبار أسواق البيانات بمثابة مجموعات فرعية منفصلة منطقيًا أو فعليًا لمستودع البيانات. في التين. يوضح الشكل 2.20 العلاقة بين أسواق البيانات ومستودعات البيانات باستخدام الصناعة المصرفية كمثال.

أرز. 2.20.

تتم استضافة أسواق البيانات عادةً في تقنية متعددة الطبقات، وهي مثالية لمرونة التحليل ولكنها ليست مثالية لكميات كبيرة من البيانات.

يركز هيكل أسواق البيانات أيضًا على التنظيم متعدد الأبعاد للبيانات في شكل مكعب. ومع ذلك، فإن بنائها، بسبب نطاق المعلومات المحدود الذي يلبي احتياجات مجال وظيفي واحد، هو أبسط بكثير وأكثر ربحية.

هناك نوعان من أسواق البيانات - التابعة والمستقلة. سوق البيانات التابع -فهو الذي مصدره مستودع البيانات. مصدر سوق البيانات المستقلةهي بيئة تطبيقات البرمجيات الأساسية. أسواق البيانات التابعة مستقرة ولها بنية قوية. أسواق البيانات المستقلة غير مستقرة ولها بنية غير مستقرة، وفقًا لـ على الأقلعند إرسال البيانات.

تجدر الإشارة إلى أن أسواق البيانات موجودة حل مثاليالصراع الأكثر أهمية في تصميم مستودع البيانات هو الأداء مقابل المرونة. بشكل عام، كلما كان نموذج مستودع البيانات أكثر توحيدًا ومرونة، كلما كان أقل كفاءة في الاستجابة للاستفسارات. ويرجع ذلك إلى حقيقة أن الطلبات التي تدخل في نظام مصمم بشكل قياسي تتطلب عمليات أولية أكثر بكثير مما تتطلبه في نظام مصمم على النحو الأمثل. من خلال توجيه جميع طلبات المستخدم إلى أسواق البيانات، ودعم نموذج مستودع البيانات المرن، يمكن للمطورين تحقيق المرونة والاستقرار على المدى الطويل لهيكل المستودع، بالإضافة إلى الأداء الأمثللطلبات المستخدمين.

يمكن توزيع البيانات، بمجرد تخزينها، بين العديد من أسواق البيانات للوصول إليها عن طريق استعلامات المستخدم. يمكن أن تقبل أسواق البيانات هذه أشكال متعددة- من قواعد بيانات خادم العميل إلى قواعد بيانات سطح المكتب، أوباب-مكعبات أو حتى ديناميكية جداول البيانات. يمكن أن يكون اختيار الأدوات لاستعلامات المستخدم واسعًا ويعكس التفضيلات والخبرة مستخدمين محددين. اختيار واسعهذه الأدوات وسهولة استخدامها ستجعل منها الجزء الأقل تكلفة في تنفيذ مشروع مستودع البيانات. إذا كانت البيانات الموجودة في المستودع منظمة بشكل جيد وذات جودة مثبتة، فإن نقلها إلى أسواق بيانات أخرى سيصبح عملية روتينية ومنخفضة التكلفة.

يتيح لنا استخدام تقنيات Data Mart، سواء التابعة أو المستقلة، حل مشكلة دمج البيانات من مصادر متعددةفى المعظم حل فعالمهام تحليل البيانات. في هذه الحالة، يمكن أن تكون المصادر أنظمة محاسبية ومرجعية مختلفة تختلف في البنية والوظيفة، ولا سيما الأنظمة المتفرقة جغرافيًا.

أسئلة التحكم

• 1. صياغة مفهوم دعم المعلومات. ما هي أهدافه وغاياته؟
• 2. ما هو هيكل النظام الفرعي "دعم المعلومات"؟
• 3. كيف يمكننا تحديد مفهوم دعم المعلومات خارج الجهاز وداخل الجهاز؟
• 4. ما الذي يتضمنه دعم المعلومات خارج الجهاز؟
• 5. ما المقصود بنظام التصنيف ولماذا يعتبر التصنيف ضروريا؟
• 6. ما هي الخصائص التي يتميز بها أي نظام تصنيف؟
• 7. ما هي السمات الرئيسية لنظام تصنيف الجوانب؟
• 8. ما هي المتطلبات التي يجب مراعاتها أثناء التصنيف؟
• 9. اذكر السمات الرئيسية لنظام التصنيف الهرمي.
• 10. لأي غرض تم تطوير المصنفات وما هي؟
• 11. متى يتم استخدام أنظمة ترميز التسجيل؟ ما هي الأنظمة التي تنتمي إلى هذه الفئة؟
• 12. ما هي أنظمة ترميز التصنيف المستخدمة؟ ما هي الأنظمة المضمنة في هذه المجموعة؟
• 13. ما هو جوهر الباركود؟
• 14. إعطاء تعريفات للوثيقة، نظام توثيق موحد.
• 15. ما هي الرسوم البيانية تدفقات المعلوماتوما هو الغرض الرئيسي منها؟
• 16. ما هي الطرق الرئيسية لتنظيم دعم المعلومات داخل الآلة؟
• 17. اذكر العيوب الرئيسية لأنظمة تنظيم الملفات.
• 18. تحديد قاعدة بيانات. ما هي مميزاته؟
• 19. ما هي الوحدات الهيكلية الرئيسية لقاعدة البيانات والعلاقات بينها؟
• 20. قم بإدراج ووصف المراحل الرئيسية لدورة حياة قاعدة البيانات.
• 21. التوسع في المراحل الرئيسية لتصميم قاعدة البيانات.
• 22. ما هو جوهر التصميم المفاهيمي؟
• 23. ما هو الموديل 7 المستخدم؟ ما هو جوهرها ومزاياها؟
• 24. وصف الأنواع الرئيسية لنماذج البيانات المنطقية.
• 25. وصف نماذج البيانات الهرمية والشبكية.
• 26. شرح الغرض من الحقول الرئيسية في قاعدة البيانات العلائقية.
• 27. ما هي أنواع الروابط بين الأشياء التي تعرفها؟
• 28. ما هي الأشكال الطبيعية التي تعرفها؟ وصف خصائصها الرئيسية والغرض منها.
• 29. ما هو الموقف في النموذج العلائقي؟ اذكر الخصائص الرئيسية للعلاقة.
• 30. حدد المفاهيم التالية: العلاقة، الصف، السمة، المجال.
• 31. ما هو مبدأ تطبيع العلاقات؟
• 32. ما هي مميزات قواعد البيانات ما بعد العلائقية؟
• 33. ما هي السمات الرئيسية لتقنية مستودع البيانات؟
• 34. تحديد مستودع البيانات وسوق البيانات. ما هو الفرق بينهما؟
• 35. ما هي الأنواع الرئيسية لسوق البيانات التي تعرفها؟
• 36. ما هو جوهر مفهوم "المكعب متعدد الأبعاد"؟
• 37. وصف الرئيسي كتل الوظيفةنظام إدارة "مستودع البيانات".
• 38. وصف الهيكل متعدد الأبعاد لمستودعات بيانات النجوم وندفات الثلج.
• 39. ما هي المصادر الرئيسية للبيانات التي تدخل إلى مستودع المعلومات؟

دلالات

التقنيات البيانات الكبيرةتم إنشاؤها كإجابة على السؤال "كيفية المعالجة الكثير منبيانات." ولكن ماذا لو لم يكن حجم المعلومات هو المشكلة الوحيدة؟ في الصناعة والتطبيقات الجادة الأخرى، غالبًا ما يتعين علينا التعامل مع بيانات كبيرة ذات بنية معقدة ومتغيرة ومصفوفات متباينة من المعلومات. هناك مشاكل لا يعرف أسلوب حلها مسبقا، ويحتاج المحلل إلى وسيلة لدراسة البيانات المصدرية أو نتائج الحسابات المبنية عليها دون الاستعانة بمبرمج. نحن بحاجة إلى أدوات تجمع بين القوة الوظيفية لأنظمة ذكاء الأعمال (أو الأفضل من ذلك، تجاوزها) مع القدرة على معالجة كميات هائلة من المعلومات.

إحدى الطرق للحصول على مثل هذه الأداة هي الإنشاء سوق البيانات المنطقية. سنتحدث في هذه المقالة عن مفهوم هذا الحل وسنعرض أيضًا نموذجًا أوليًا للبرنامج.

بالنسبة للقصة، نحتاج إلى مثال بسيط لمشكلة معقدة. دعونا نفكر في مجمع صناعي معين كمية كبيرةالمعدات المعلقة بمقاييس وأجهزة استشعار مختلفة توفر معلومات حول حالتها بانتظام. للتبسيط، سننظر في وحدتين فقط، المرجل والخزان، وثلاثة أجهزة استشعار: درجة حرارة المرجل والخزان، وكذلك الضغط في المرجل. يتم التحكم في هذه المستشعرات بواسطة نظام التحكم الآلي الشركات المصنعة المختلفةوتوفير المعلومات لمخازن مختلفة: يتم إرسال معلومات حول درجة الحرارة والضغط في الغلاية إلى HBase، وتتم كتابة البيانات حول درجة الحرارة في الخزان لتسجيل الملفات الموجودة في HDFS. ويوضح الرسم البياني التالي عملية جمع البيانات.

بالإضافة إلى قراءات أجهزة الاستشعار المحددة، من الضروري للتحليل أن يكون لديك قائمة بأجهزة الاستشعار والأجهزة التي تم تركيبها عليها. دعونا نقدر ترتيب الرقم كيانات المعلومات، والتي سوف نتعامل معها في مؤسسة حقيقية:

طرق تخزين البيانات أنواع مختلفةتعتمد على حجمها وبنيتها ووضع الوصول المطلوب. في هذه الحالة، اخترنا هذه الأدوات فقط لإنشاء "الخلاف"، ولكن في المؤسسات الحقيقية، في أغلب الأحيان لا توجد فرصة لاختيارها بحرية - كل هذا يتوقف على المشهد الحالي لتكنولوجيا المعلومات. يحتاج النظام التحليلي إلى جمع "حديقة الحيوان" بأكملها تحت سقف واحد.

لنفترض أننا نريد تزويد أحد المحللين بالقدرة على إجراء استعلامات من هذا النوع:

• ما هي قطع المعدات المملوءة بالنفط التي كانت تعمل في درجات حرارة أعلى من 300 درجة في الأسبوع الماضي؟
• ما هي المعدات خارج نطاق التشغيل؟

لن يكون من الممكن إنشاء وبرمجة جميع هذه الاستعلامات مسبقًا. ويتطلب تنفيذ أي منها ربط البيانات من مصادر مختلفة، بما في ذلك تلك الموجودة خارج مثالنا النموذجي. على سبيل المثال، معلومات مرجعية عن درجة حرارة التشغيل ونطاقات الضغط أنواع مختلفةالمعدات، ومصنفات الجوانب التي تسمح لك بتحديد المعدات المملوءة بالزيت، وما إلى ذلك. ويقوم المحلل بصياغة جميع هذه الطلبات من حيث النموذج المفاهيمي للموضوع، أي بالضبط بالشروط التي يفكر بها في عمل مؤسسته. لتمثيل النماذج المفاهيمية في نموذج إلكترونيهناك مجموعة من التقنيات الدلالية: لغة OWL، والمخازن الثلاثية، ولغة الاستعلام SPARQL. دون أن نتمكن من الحديث عنها بالتفصيل في هذا المقال سنشير إليها.

لذلك، سيقوم المحلل لدينا بصياغة الاستعلامات بمصطلحات مألوفة له، وسيتلقى مجموعات من البيانات ردًا على ذلك - بغض النظر عن المصدر الذي يتم استخراج هذه البيانات منه. لنلقي نظرة على مثال طلب بسيط، والتي يمكن الإجابة عليها في مجموعتنا من المعلومات. فليتساءل المحلل معدات, المثبتة على الذي أجهزة الاستشعار معًا قياس درجة حرارةأكثر من 400 0 و ضغطأكثر من 5 ميجا باسكال لفترة زمنية محددة. وقد أبرزنا في هذه العبارة بالخط العريض الكلمات المقابلة للكيانات نموذج المعلومات: المعدات، أجهزة الاستشعار، القياس. سمات وعلاقات هذه الكيانات مكتوبة بخط مائل. يمكن تمثيل طلبنا في شكل رسم بياني مثل هذا (تحت كل نوع بيانات قمنا بالإشارة إلى مساحة التخزين الموجودة فيه):

عند النظر إلى هذا الرسم البياني يصبح مخطط واضحتلبية الطلب. تحتاج أولاً إلى تصفية قياسات درجة الحرارة لفترة معينة بقيمة أكبر من 400 درجة مئوية، وقياسات الضغط بقيمة أكبر من 5 مللي باسكال؛ فأنت بحاجة إلى العثور من بينها على تلك التي يتم تصنيعها بواسطة أجهزة استشعار مثبتة على نفس قطعة المعدات ويتم تنفيذها في نفس الوقت في نفس الوقت. هذه هي بالضبط الطريقة التي سيعمل بها سوق البيانات.
الرسم البياني لنظامنا سيكون مثل هذا:

إجراءات تشغيل النظام هي كما يلي:

• يقوم المحلل بتقديم طلب؛
• ويعرضها سوق البيانات المنطقية كاستعلام إلى رسم بياني؛
• تحدد واجهة المتجر مكان وجود البيانات اللازمة للرد على هذا الطلب؛
• تقوم واجهة المتجر بإجراء استعلامات خاصة لبيانات المصدر إلى مصادر مختلفة، باستخدام المرشحات اللازمة؛
• يتلقى الإجابات ويدمجها في رسم بياني زمني واحد؛
• ينفذ المعالجة اللاحقة للرسم البياني، والتي تتمثل، على سبيل المثال، في تطبيق قواعد الاستدلال المنطقي؛
• ينفذ الطلب الأصلي عليه ويعيد الإجابة إلى المحلل.

كل "السحر" يحدث بالطبع داخل علبة العرض. دعونا قائمة النقاط الرئيسية.

1. في وحدة تخزين Apache Jena الثلاثية (يمكنك استخدام أي وحدة تخزين أخرى)، نقوم بتخزين كل من نموذج المجال نفسه وإعدادات التعيين لمصادر البيانات. وبالتالي، من خلال محرر نموذج المعلومات، نحدد مجموعة من المصطلحات التي يتم من خلالها بناء الاستعلامات (الجهاز، المستشعر، وما إلى ذلك)، ومعلومات الخدمة حول مكان الحصول على المعلومات الواقعية المقابلة لها. يوضح الشكل التالي كيف تبدو شجرة الفئات للنموذج التجريبي في محرر الوجود لدينا (على اليسار)، وأحد نماذج إعداد تعيين البيانات مع المصدر (على اليمين).

2. في مثالنا، يتم تخزين البيانات من نفس النوع (قياسات درجة الحرارة) في وقت واحد في قسمين مصادر مختلفة– HBase و ملف نصي HDFS. ومع ذلك، لتنفيذ الطلب أعلاه، لا تحتاج إلى الوصول إلى الملف، لأنه ومن الواضح أنه لا يحتوي على معلومات مفيدة: ففي نهاية المطاف، يخزن الملف قياسات درجة حرارة الخزان، ولا يتم قياس الضغط في الخزانات. تعطي هذه النقطة فكرة عن كيفية عمل مُحسِّن تنفيذ الاستعلام.

3. لا يقوم سوق البيانات بتجميع وربط المعلومات من مصادر مختلفة فحسب، بل يستخلص أيضًا استنتاجات منطقية عليها وفقًا لقواعد معينة. أتمتة الاستلام استنتاجات منطقية– واحدة من المزايا العملية الرئيسية لعلم الدلالة. في مثالنا، باستخدام القواعد، قمنا بحل مشكلة استخلاص النتائج حول حالةالأجهزة التي تعتمد على البيانات قياسات. يتم تضمين درجة الحرارة والضغط في كيانين مختلفين من نوع "القياس"، ولوصف حالة الجهاز يجب الجمع بينهما. يتم تطبيق القواعد المنطقية على محتويات الرسم البياني للنتائج المؤقتة، وتوليد معلومات جديدة فيه لم تكن موجودة في المصادر.

4. ليس فقط مرافق التخزين، ولكن أيضًا الخدمات يمكنها أن تعمل كمصادر للبيانات. في مثالنا، قمنا بإخفاء حساب المتطلبات الأساسية لحدوث حالة طارئة باستخدام إحدى خوارزميات Spark MLlib خلف الخدمة. تتلقى هذه الخدمة كمدخلات معلومات حول حالة الجهاز وتقوم بتقييمها من وجهة نظر وجود متطلبات مسبقة لحادث (للتدريب، بيانات بأثر رجعي حول الظروف التي سبقت الحوادث الفعلية التي تم استخدامها؛ وليس فقط القيم اللحظية يجب أن تكون تعتبر بيانات أولية الخصائص البدنيةالجهاز، ولكن أيضًا عناصر البيانات الأساسية - على سبيل المثال، درجة التآكل).
هذه الميزة مهمة جدًا، لأنها تتيح للمحلل تشغيل الوحدات الحسابية التي أعدها المبرمجون بنفسه، وتمريرها كمدخلات مصفوفات مختلفةبيانات. في هذه الحالة، لن يعمل المحلل بعد الآن مع البيانات الأصلية، ولكن مع نتائج الحسابات المستندة إليها.

5. يقوم المحلل ببناء الاستعلامات باستخدام واجهات نظام إدارة المعرفة لدينا، بما في ذلك العديد من الخيارات لمنشئ الاستعلام الرسمي وواجهة بحث يمكن التحكم فيها لغة طبيعية. ويوضح الشكل التالي نموذج بناء استعلام بلغة متحكم بها على اليسار، ومثال لنتائج استعلام آخر على اليمين.

بالطبع، في أي برميل من العسل هناك ذبابة في المرهم. في هذه الحالة، تكمن المشكلة في أن البنية المحددة لن تعمل بهذه السرعة على البيانات الكبيرة حقًا. ومن ناحية أخرى، عندما يعمل المحلل في " بحث مجاني» حل المشكلات، فالسرعة عادة ليست مهمة بالنسبة له؛ على أية حال، فإن الواجهة ستنتج نتائج أسرع بكثير من المبرمج، الذي، في غيابه، سيتعين على المحلل أن يلجأ إليه للتنفيذ اليدوي لكل طلب من طلباته.

هناك العديد من النقاط المثيرة للاهتمام التي تركت خارج نطاق قصتنا:

• كيف يتم تنظيم جمع بيانات الاستشعار في HBase باستخدام Flume؛
• يمكن تنفيذ الطلبات المقدمة إلى مصادر البيانات ليس فقط بشكل غير متزامن، ولكن حتى في حالة عدم وجود اتصال معهم عبر الإنترنت - في هذه الحالة، يتم توفير آلية خاصة لإرسال الطلب وتلقي الاستجابة؛
• لا يمكن تقديم نتائج الاستعلام إلى المستخدم في شكل جدول أو تحميلها إلى Excel فحسب، بل يمكن أيضًا الانتقال مباشرة إلى نظام ذكاء الأعمال في شكل مجموعة بيانات لمزيد من التحليل؛
• طرق تحويل المعرفات والارتباطات إلى الكائنات في مصادر مختلفة، ومشكلات نقل الرسائل بين مكونات النظام، وغير ذلك الكثير.

وبطبيعة الحال، فإن التطبيقات الصناعية الحقيقية لسوق البيانات أكثر تعقيدا بكثير من المثال الموصوف. كان هدفنا في هذه المقالة هو إثبات أن استخدام التقنيات الدلالية والنمذجة المفاهيمية جنبًا إلى جنب مع أدوات البيانات الضخمة يسمح لنا بتوسيع عدد الطرق المتاحة للمحلل لاستخدام البيانات وتحديدها. المشاكل التطبيقيةفي الظروف الأكثر استثنائية. جنبا إلى جنب مع الاحتمالات

يقوم مستودع البيانات بتخزين المعلومات حول جميع جوانب أنشطة المنظمة (عرض البيانات). مارت البيانات) عبارة عن مستودع بيانات متخصص يحتوي على بيانات حول أحد مجالات نشاط المؤسسة. أسواق البيانات عبارة عن مجموعة من قواعد البيانات ذات الصلة بالموضوع والمتعلقة بجوانب محددة من أنشطة الشركة. في هذه الحالة، لا يرى المحللون جميع البيانات المتاحة في الشركة ويعملون عليها، ولكن فقط مع البيانات الضرورية حقًا. وهذا يجعلها أقرب ما يمكن إلى المستخدم النهائي.

سوق البيانات عبارة عن شريحة من مستودع البيانات، وهو عبارة عن مجموعة من المعلومات الموضوعية شديدة الاستهداف التي تستهدف مستخدمي منطقة معينة فريق العمل. غالبًا ما تسمى واجهات المتاجر بأكشاك البيانات.

لأن تحتوي أسواق البيانات عادةً على مجموعات فرعية موضوعية من البيانات المجمعة مسبقًا، مما يجعلها أسهل في التصميم والتخصيص. تم تصميم أسواق البيانات للإجابة على مجموعة محددة من الأسئلة. تم تحسين البيانات الموجودة في واجهة المتجر لتستخدمها مجموعات محددة من المستخدمين، مما يبسط عملية التعبئة ويحسن الإنتاجية أيضًا

لأن على الرغم من أن إنشاء مستودع بيانات يعد عملية معقدة قد تستغرق عدة سنوات، إلا أن بعض المؤسسات بدلاً من ذلك تقوم ببناء أسواق بيانات تحتوي على معلومات خاصة بالقسم. على سبيل المثال، سوق بيانات التسويققد تحتوي فقط على معلومات العملاء والمنتجات والمبيعات وقد لا تتضمن خطط التسليم. يوجد أيضًا سوق بيانات المبيعات، وسوق البيانات المالية، وسوق بيانات تحليلات المخاطر، وما إلى ذلك. يمكن أن تتواجد أسواق بيانات متعددة الأقسام مع مستودع البيانات الرئيسي، مما يوفر رؤية جزئية لمحتويات المستودع. تعتبر أسواق البيانات أسرع بكثير من إنشاء المستودعات، ولكنها يمكن أن تسبب مشاكل تكامل كبيرة لاحقًا إذا لم يتم التخطيط الأولي مع وضع نموذج العمل الكامل في الاعتبار.

مزايا أسواق البيانات:

· عرض البيانات قريب من المستخدم قدر الإمكان - حيث يعمل المحللون فقط مع البيانات التي يحتاجونها لاتخاذ القرار.

· تعد أسواق البيانات أصغر حجمًا بكثير من مستودعات البيانات.

· يعد إنشاء Data Mart أمرًا بسيطًا، كما أن ملؤها والعمل معها أمر بسيط أيضًا.

· تحتوي أسواق البيانات على بيانات مجمعة حول موضوعات محددة، مما يجعلها أسهل في التصميم.

· يتم تنفيذ أسواق البيانات بسرعة كبيرة.

· تم تصميم واجهات العرض للإجابة على مجموعة محددة من الأسئلة.

· تم تحسين البيانات الموجودة في واجهة المتجر لتستخدمها مجموعات محددة من المستخدمين، مما يبسط عملية التعبئة ويحسن الإنتاجية أيضًا.

مساوئ أسواق البيانات:

· من الصعب التحكم في تكرار البيانات وتكاملها واتساقها في سوق البيانات، وذلك بسبب ويمكن تخزين نفس البيانات في عدة واجهات متاجر في وقت واحد. تكرار البيانات - يتم تخزين البيانات عدة مرات في أسواق بيانات مختلفة. يؤدي هذا إلى زيادة تكاليف التخزين بالإضافة إلى المشكلات المحتملة المرتبطة بالحفاظ على اتساق البيانات.

· من الصعب العمل مع واجهة المتجر إذا تم استخدام عدد كبير جدًا من مصادر البيانات لملء واجهة المتجر - من المحتمل أن تكون هذه عملية معقدة للغاية. ملء أسواق البيانات متى كميات كبيرةمصادر البيانات - العملية معقدة للغاية (يلزم وجود فريق من المحترفين في مجال بنائها والعمل معهم).

· يتم تجميع المعلومات في واجهات المحلات المختلفة، ولكن لا يتم توفير المزيد من التكامل للمعلومات (أي توحيدها). لا يتم توحيد البيانات على مستوى المؤسسة، لذلك لا يمكن الحصول على صورة موحدة كاملة للأعمال.

· تحتوي كل واجهة عرض على معلومات حول جانب معين من أنشطة الشركة، مما لا يسمح لإدارة الشركة بمعرفة كيفية سير أعمالها ككل.

في معظم الحالات مارت البياناتهو إطار عمل تحليلي يدعم عادةً نطاق تطبيق واحد أو عملية تجارية أو قسم واحد. يقوم موظفو القسم بتلخيص متطلبات المعلومات وتكييف كل حالة عرض وفقًا لاحتياجاتهم. ثم يقومون بعد ذلك بتزويد موظفي معالجة المعلومات بأدوات إعداد التقارير التفاعلية (على سبيل المثال، أدوات OLAP، أو إمكانات الاستعلام المخصصة، أو إعداد التقارير ذات المعلمات).

غالبًا ما تظهر أسواق البيانات المستقلة (انظر الشكل 24) تاريخيًا في المؤسسات وتوجد في المؤسسات الكبيرة التي تضم العديد من الأقسام المستقلة، وغالبًا ما يكون لها أقسام تكنولوجيا المعلومات الخاصة بها.

الشكل 24: أسواق البيانات المستقلة

تسير مستودعات البيانات وأسواق البيانات جنبًا إلى جنب. تم اقتراح مفهوم Data Marts في عام 1991. كانت الفكرة الرئيسية هي أن Data Marts هي أقرب ما يمكن إلى المستخدم النهائي وتحتوي فقط على مجموعات فرعية موضوعية من البيانات المجمعة مسبقًا، وهي أصغر بكثير في الحجم من مستودع البيانات على مستوى المؤسسة، وبالتالي، تتطلب صيانة تكنولوجيا أقل إنتاجية. يركز مفهوم Data Marts فقط على تخزين بيانات الشركة بدلاً من معالجتها.

ولكن بالفعل في عام 1994، تم اقتراح الجمع بين مفهوم مستودعات البيانات ومفهوم أسواق البيانات واستخدام مستودع البيانات كمصدر بيانات واحد متكامل لأسواق البيانات (انظر الشكل 25).

أرز. 25 تخزين البيانات على ثلاثة مستويات

مستودع البيانات هو مصدر مركزي واحد معلومات الشركات. تمثل أسواق البيانات مجموعات فرعية من البيانات من المستودع، ويتم تنظيمها لحل مشاكل الأقسام الفردية للشركة. يتمتع المستخدمون النهائيون بالقدرة على الوصول إلى بيانات المستودع التفصيلية إذا كانت البيانات الموجودة في واجهة المتجر غير كافية، بالإضافة إلى الحصول على صورة أكثر اكتمالاً لحالة العمل. إنها أفضل بنية تخزين مؤسسية متاحة اليوم.

مزايا مستودع البيانات ثلاثي المستويات:

· تم تبسيط عملية إنشاء وتعبئة أسواق البيانات لأن المحتوى يأتي من مصدر واحد موحد وموثوق للبيانات النظيفة والموحدة.

· تتم مزامنة أسواق البيانات ومتوافقة مع عرض المؤسسة. من الممكن توسيع مساحة التخزين وإضافة أسواق بيانات جديدة بسهولة نسبية.

· أداء مضمون.

عيوب مستودع البيانات ثلاثي الطبقات:

· هناك تكرار للبيانات مما يؤدي إلى زيادة متطلبات تخزين البيانات.

· مطلوب الاتساق مع الهندسة المعمارية المقبولة للعديد من المناطق ذات المتطلبات المختلفة المحتملة (على سبيل المثال، تتنافس سرعة التنفيذ في بعض الأحيان مع متطلبات اتباع النهج المعماري).

مارت البيانات ؛ خيارات الترجمة الأخرى: مستودع بيانات متخصص، كشك بيانات، سوق بيانات) - شريحة من مستودع البيانات، وهي عبارة عن مجموعة من المعلومات الموضوعية ذات التركيز الضيق، والتي تستهدف، على سبيل المثال، مستخدمي مجموعة عمل أو قسم واحد.

مفهوم سوق البيانات

تم اقتراح مفهوم أسواق البيانات بواسطة شركة Forrester Research في عام 1991. وفقا للمؤلفين، سوق البيانات- العديد من قواعد البيانات المواضيعية (DBs) التي تحتوي على معلومات تتعلق بالجوانب الفردية لأنشطة المنظمة.

يحتوي المفهوم على عدد من المزايا التي لا شك فيها:

• يرى المحللون ويعملون فقط مع البيانات التي يحتاجون إليها حقا.
• قاعدة البيانات الهدف قريبة قدر الإمكان من المستخدم النهائي.
• تحتوي أسواق البيانات عادةً على مجموعات فرعية موضوعية من البيانات المجمعة مسبقًا وهي أسهل في التصميم والتخصيص.
• لا يتطلب تنفيذ أسواق البيانات تكنولوجيا حوسبة عالية الطاقة.

لكن مفهوم أسواق البيانات به أيضًا ثغرات خطيرة جدًا. في الأساس، يفترض هذا تنفيذ نظام معلومات موزع جغرافيًا مع القليل من التكرار الخاضع للرقابة، ولكنه لا يقترح طرقًا لضمان سلامة واتساق البيانات المخزنة فيه.

مفهوم مختلط لأسواق البيانات ومستودعات البيانات

يبدو أن فكرة الجمع بين مفهومي مستودعات البيانات وأسواق البيانات قد نشأت مع M. Demarest، الذي اقترح في عام 1994 الجمع بين المفهومين واستخدام مستودع البيانات كمصدر بيانات واحد متكامل لأسواق البيانات.

واليوم هذا هو بالضبط الحل متعدد المستويات:

• المستوى الأول هو قاعدة بيانات عامة للشركة تعتمد على نظام إدارة قواعد البيانات العلائقي مع مخطط عادي أو غير طبيعي بشكل ضعيف (بيانات تفصيلية)؛
• المستوى الثاني - قاعدة بيانات مستوى القسم (أو المستخدم النهائي)، يتم تنفيذها على أساس نظام إدارة قواعد البيانات (DBMS) متعدد الأبعاد (البيانات المجمعة)؛
• المستوى الثالث - محطات عمل المستخدم النهائي التي يتم تركيب الأدوات التحليلية عليها مباشرة؛

أصبح تدريجيًا معيارًا واقعيًا، مما يسمح بالتنفيذ الكامل واستخدام مزايا كل نهج:

• التخزين المدمج للبيانات التفصيلية ودعم قواعد البيانات الكبيرة جدًا التي توفرها أنظمة إدارة قواعد البيانات العلائقية؛
• سهولة الإعداد و اوقات سعيدةالاستجابة عند العمل مع البيانات المجمعة التي يوفرها نظام إدارة قواعد البيانات متعدد الأبعاد.

يوفر الشكل العلائقي لتمثيل البيانات المستخدم في قاعدة بيانات الشركة المركزية الطريقة الأكثر إحكاما لتخزين البيانات. أنظمة إدارة قواعد البيانات العلائقية الحديثة قادرة بالفعل على العمل مع قواعد البيانات التي يصل حجمها إلى عدة تيرابايت. على الرغم من هذا النظام المركزيعادة لن تكون قادرة على تقديم وضع التشغيلمعالجة الاستعلامات التحليلية، عند استخدام طرق جديدة لفهرسة البيانات وتخزينها، بالإضافة إلى إلغاء التسوية الجزئية للجداول، فإن وقت معالجة الاستعلامات المنظمة مسبقًا (وبالتالي، يمكننا التفكير في الإجراءات المنظمة لتحميل البيانات إلى قواعد بيانات متعددة الأبعاد) يتبين أنه يكون مقبولا تماما.

في المقابل، يتم توفير استخدام نظام إدارة قواعد البيانات متعدد الأبعاد في العقد ذات المستوى الأدنى الحد الأدنى من الأوقاتالمعالجة والاستجابة لطلبات المستخدمين غير المنظمة. بالإضافة إلى ذلك، تتمتع بعض أنظمة إدارة قواعد البيانات متعددة الأبعاد بالقدرة على تخزين البيانات بشكل دائم (مباشرة في قاعدة بيانات متعددة الأبعاد) وتحميل البيانات ديناميكيًا (طوال مدة الجلسة) من قواعد البيانات العلائقية (استنادًا إلى الاستعلامات المنظمة).

وبالتالي، من الممكن تخزين البيانات التي يتم طلبها بشكل متكرر فقط في عقدة معينة بشكل دائم. بالنسبة لجميع الآخرين، يتم تخزين أوصاف هيكلهم وبرامجهم لتفريغهم من قاعدة البيانات المركزية فقط. على الرغم من أن وقت الاستجابة الأولي لمثل هذه البيانات الافتراضية قد يكون طويلاً جدًا، إلا أن هذا الحل يوفر مرونة عالية ويتطلب أجهزة أقل تكلفة

مستودع البيانات مستودع البيانات عبارة عن مجموعة بيانات خاصة بمجال معين، ومتكاملة، وتاريخية، وغير قابلة للتدمير، ومصممة لدعم الاعتماد قرارات الإدارة. (وليام إينمون) يمكن اعتبار مصطلح "مستودع البيانات" على أنه يجمع بين فكرتين أساسيتين: دمج البيانات المتباينة في مستودع واحد وفصل مجموعات البيانات والتطبيقات للمعالجة والتحليل.

يتم تخزين البيانات من مصادر مختلفة في مستودع، ويتم وضع أوصافها في مستودع بيانات التعريف. يمكن للمستخدم النهائي تحليل البيانات الموجودة في المستودع باستخدام أدوات مختلفة. والنتيجة هي معلومات في شكل تقارير جاهزة، وأنماط مخفية تم العثور عليها، وأي توقعات. نظرًا لأن وسائل المستخدم النهائي للعمل مع مستودع البيانات يمكن أن تكون متنوعة جدًا، فلا ينبغي أن يؤثر اختياره على بنية المستودع ووظائف إبقائه محدثًا. يمكن أن يكون التنفيذ المادي لهذا المخطط متنوعًا للغاية. النموذج المفاهيمي لمستودع البيانات

المناهج وحلول التنفيذ المتاحة IBM A Data Warehouse Plus. الهدف هو توفير مجموعة متكاملة من المنتجات والخدمات البرمجية بناءً على بنية واحدة. أساس مستودعات البيانات هو عائلة DB2 لنظام إدارة قواعد البيانات (DBMS). تتمثل ميزة IBM في أن البيانات التي يجب استخراجها من قاعدة البيانات التشغيلية ووضعها في مستودع البيانات موجودة أنظمة آي بي إم. ولذلك، فإن التكامل الوثيق بين منتجات البرمجيات أمر طبيعي. يتم تقديم ثلاثة حلول لتخزين البيانات: سوق البيانات المعزولة. مصممة لحل المشاكل الفردية خارج نطاق الاتصال التخزين المشتركةالشركات. سوق البيانات التابعة. يشبه سوق البيانات المعزول، ولكن مصادر البيانات تخضع لسيطرة مركزية. مستودع البيانات العالمي. مستودع بيانات مؤسسي يتم التحكم فيه وإدارته مركزيًا بالكامل. يمكن تخزين مستودع البيانات العالمي مركزيًا أو يتكون من أسواق بيانات متعددة موزعة عبر الشبكة.

الأساليب وحلول التنفيذ المتاحة (تابع) حلول أوراكل وحييعتمد على عاملين: المجموعة الواسعة من منتجات الشركة نفسها وأنشطة الشركاء ضمن برنامج مبادرة تكنولوجيا المستودعات. تعتمد قدرات أوراكل في مجال مستودعات البيانات على المكونات التالية: وجود علاقة علائقية أوراكل نظم إدارة قواعد البيانات 7، والذي يتم تحسينه باستمرار لتلبية احتياجات مستودعات البيانات بشكل أفضل؛ وجود مجموعة تطبيقات جاهزةوتوفير قدرات تطوير مستودع البيانات؛ الإمكانات التكنولوجية العالية للشركة في مجال تحليل البيانات؛ توافر عدد من المنتجات المصنعة من قبل شركات أخرى.

النُهج وحلول التنفيذ المتاحة (تابع) هيوليت باكارد OpenWarehouse. يجب أن يوفر تنفيذ هذا البرنامج القدرة على بناء مستودعات البيانات بناءً على ذلك أجهزة كمبيوتر قوية HP والأجهزة من الشركات المصنعة الأخرى ومكونات البرامج. يعتمد أسلوب HP على منصات Unix وبرنامج Intelligent Warehouse لإدارة مستودعات البيانات. يترك الأساس لبناء مستودعات البيانات التي تقدمها HP حرية اختيار نظام إدارة قواعد البيانات العلائقية، وأدوات إعادة الهندسة، وما إلى ذلك. NCR حل مشاكل الشركات التي لديها احتياجات قوية متساوية لكل من أنظمة دعم القرار وأنظمة التشغيل المعالجة التحليليةبيانات. يُطلق على البنية المقترحة اسم Enterprise Information Factory وتستند إلى الخبرة في استخدام نظام Teradata DBMS وطرق المعالجة المتوازية ذات الصلة.

الأساليب وحلول التنفيذ المتاحة (تابع) برنامج Informix تهدف استراتيجية الشركة إلى توسيع سوق منتج الخادم المتوازي الديناميكي عبر الإنترنت. تعتمد البنية المقترحة على أربع تقنيات: قواعد البيانات العلائقيةبيانات، برمجةلإدارة تخزين البيانات والوصول إلى البيانات والمنصة الأنظمة المفتوحة. بعد إصدار الخادم العالمي، استنادًا إلى النهج الارتباطي للكائنات، يمكننا أن نتوقع أنه سيتم استخدامه أيضًا لبناء مستودعات البيانات. معهد SAS تعتبر الشركة نفسها مورداً الحل الكامللتنظيم مستودع البيانات. يعتمد هذا النهج على ما يلي: توفير الوصول إلى البيانات مع القدرة على استرجاعها من مجموعة واسعة من مخازن البيانات (سواء العلائقية أو غير العلائقية)؛ تحويل البيانات ومعالجتها باستخدام 4GL؛ توفر خادم قاعدة بيانات متعدد الأبعاد؛ مجموعة كبيرةأساليب وأدوات المعالجة التحليلية والتحليل الإحصائي.

الأساليب وحلول التنفيذ المتاحة (النهاية) Sybase تعتمد استراتيجية الشركة على بنية Warehouse WORKS التي طورتها. يعتمد هذا النهج على نظام إدارة قواعد البيانات العلائقية Sybase System 11، وأداة الاتصال والوصول إلى قاعدة البيانات OmniCONNECT، وأداة تطوير التطبيقات PowerBuilder. تواصل الشركة تحسين نظام إدارة قواعد البيانات الخاص بها لتلبية احتياجات مستودعات البيانات بشكل أفضل (على سبيل المثال، تم تقديم فهرسة البت). مبادرة مستودع البيانات المفتوحة لشركة Software AG. يعتمد البرنامج على المنتجات الأساسية للشركة ADABAS وNatural 4GL، وأدوات استخراج وتحليل البيانات الخاصة والمشتراة، وأداة إدارة مستودعات البيانات SourcePoint. يتيح لك SourcePoint أتمتة عملية استخراج البيانات ونقلها، بالإضافة إلى تحميلها في مستودع البيانات.

قواعد مستودعات البيانات (وليام وكيلي) 1. مستودعات البيانات و بيئة التشغيليجب أن يتم فصلها. 2. يجب أن تكون البيانات الموجودة في المستودع متكاملة. 3. يحتوي التخزين على بيانات متراكمة على مدى فترة طويلة من الزمن. 4. البيانات المخزنة هي لمحةالبيانات الواردة في هذه اللحظةوقت. 5. البيانات الموجودة في المستودع خاصة بالموضوع. 6. تم تصميم البيانات الموجودة في المستودع بحيث يمكن قراءتها وتحديثها بشكل دوري بناءً على البيانات التشغيلية. لا يمكن تحديث البيانات الموجودة في المستودع على الفور.

قواعد مستودعات البيانات (تابع) 7. دورة الحياةفي مستودع البيانات يختلف عن نظام المعلومات الكلاسيكي. في مستودع البيانات، تكون البيانات في المقدمة، وفي قاعدة البيانات التشغيلية، تكون العملية في المقدمة. 8. يقوم مستودع البيانات بتخزين البيانات بعدة مستويات من التفصيل (بيانات حالية، قديمة، ضعيفة التعميم، شديدة التعميم). 9. تتميز بيئة مستودع البيانات بالمعاملات التي تقرأ فقط كميات كبيرة من البيانات. (الأربعاء قاعدة التشغيلبيانات - رقم ضخمتحديث المعاملات). 10. يحتوي مستودع البيانات على نظام يتتبع مصادر البيانات وتحويلها وتخزينها.

قواعد مستودعات البيانات (تابع) 11. بيانات تعريف التخزين - محتوي اساسيلهذه البنية التحتية حيث تصف المصادر والتحويل والتخزين والاستخدام والعلاقات والتكامل وتاريخ كل عنصر من عناصر البيانات. 12. يجب أن يكون لدى مستودع البيانات آلية لاستخدام الموارد لتحسين جميع العمليات. طريقتان: يتم تخزين البيانات في شكل مكعبات؛ في كل مرة يتم إنشاء مكعب افتراضي. يحاولون إنشاء مكعب لتخزين البيانات فيه - على سبيل المثال المستويات الدنيا- البيانات نفسها، في المستوى التالي - المستوى الأول من التفاصيل، في المستوى التالي - الثاني، وما إلى ذلك. - إلى المؤشر الأكثر عمومية.

مستودع البيانات الافتراضي مستودع البيانات الافتراضي هو نظام يوفر الوصول إلى نظام تسجيل عادي يحاكي العمل مع مستودع البيانات. يمكن تنظيم التخزين الافتراضي بطريقتين: إنشاء سلسلة من "العروض" في قاعدة البيانات، واستخدامها وسائل خاصةالوصول إلى قاعدة البيانات (على سبيل المثال، منتجات OLAP لسطح المكتب)

المميزات والعيوب المخازن الافتراضية+ البساطة وانخفاض تكلفة التنفيذ + منصة واحدةمع مصدر المعلومة + الغياب اتصالات الشبكةبين مصدر المعلومات ومخزن البيانات - العمل بوهم مستودع البيانات - الأداء المنخفض - صعوبة تحويل البيانات ودمج البيانات مع المصادر الأخرى - نقص التاريخ - مشاكل في نقاء البيانات - الاعتماد على توفر وبنية المصدر الرئيسي قاعدة البيانات

أسواق البيانات تم اقتراح مفهوم أسواق البيانات في عام 1992. كان ظهور أسواق البيانات محاولة لتخفيف متطلبات مستودعات البيانات. يشير سوق البيانات إلى مرافق التخزين المتخصصة التي تخدم أحد مجالات النشاط. يتم تحديد الاتجاهات من مستودع البيانات بأكمله وأتمتة. كقاعدة عامة، أولا وقبل كل شيء، يتم اتخاذ تلك العمليات التي يسهل أتمتةها، ومدروسة جيدا، وليست معقدة للغاية، وتنفيذ أسواق البيانات هذه يسمح لك بتحقيق الاسترداد بسرعة باستخدام أمثلة صغيرة. في كثير من الأحيان، يتم تطوير مستودع البيانات وأسواق البيانات بالتوازي، أي في المستقبل، هناك حاجة إلى مستودع بيانات، ولكن يتم تطوير واجهات المتاجر التي تبدأ في تحقيق النتائج، ومن ناحية أخرى، فهي تسمح للمطورين بإظهار العملاء أن هناك تأثير.

مزايا واجهات العرض + البساطة وانخفاض تكلفة التنفيذ + أداء عاليبسبب الفصل الجسدي للتسجيل و الأنظمة التحليلية، فصل تحميل البيانات وتحويلها إلى عملية منفصلة، ​​وبنية تخزين البيانات محسنة للتحليل + دعم التاريخ + القدرة على إضافة بيانات التعريف

العمارة ذات مستويينتتضمن مستودعات البيانات إنشاء أسواق بيانات دون إنشاء مستودع مركزي، في حين تأتي المعلومات من أنظمة التسجيل وتقتصر على مجال موضوعي محدد. عند بناء الأسواق، يتم استخدام المبادئ الأساسية لبناء مستودعات البيانات، لذلك يمكن اعتبارها مستودعات بيانات مصغرة. هيكل تخزين من مستويين

في عام 1994، تم اقتراح الجمع بين مفاهيم أسواق البيانات ومستودعات البيانات واستخدام المستودعات لأسواق البيانات. كان الهدف من التوحيد هو أن تعتمد أسواق البيانات نفسها على البيانات المخزنة في مستودعات البيانات. تم اقتراح ما يسمى ببنية متعددة المستويات مكونة من ثلاثة مستويات: المستوى الأول لقاعدة بيانات عامة للشركة تعتمد على نظام إدارة قواعد البيانات الموزع؛ المستوى الثاني لقاعدة بيانات القسم. يتم تخزين البيانات المجمعة هنا، أي أن قواعد البيانات العلائقية تخزن البيانات التشغيلية، ويتم تجاهل البيانات المجمعة إلى المستوى 2. المستوى الثالث هو الأماكن المحددة لمحللي المستخدم. هؤلاء المستخدمون الذين يستخلصون بعض الاستنتاجات بناءً على بيانات السوق.

في بعض الأحيان يتعارض التحليل الذي يتم إجراؤه في أحد الأقسام مع النتائج التي تم الحصول عليها في قسم آخر. يرجع عدم الاتساق إلى التعريفات غير المتسقة لمصطلحات العمل الشائعة والبيانات غير المتسقة عبر المؤسسة. الحل الفوري لهذه المشكلة هو إنشاء أسواق بيانات منسقة، والمعروفة أيضًا باسم المستودع المتكامل. يتضمن إنشاء أسواق بيانات منسقة تصميم نظام للمؤسسة بأكملها ثم تطويره بالتفصيل. وظائف فردية. هذا النهج التكراري يقلل خطر محتملويقدم على الفور العديد من الفوائد، كما يسمح لك بتطوير النظام مع مرور الوقت حتى تغطي القدرات التحليلية نشاط المؤسسة بالكامل.

يتمثل تحسين واجهات المتاجر المنسقة في إنشاء هيكل يسمح بالتحليل الأكثر كفاءة للبيانات وإعداد التقارير، مما يوفر للعميل بسرعة معلومات ضروريةعن أعماله. الدائرة النجمية هي الأنسب لهذا الغرض. يوفر المخطط النجمي نوعين من الجداول - جداول الحقائق وجداول الأبعاد. يحتوي الأول على سجل المعاملات المرتبط بالنشاط المحدد الذي يتم تصميمه. يقومون بتخزين المؤشرات الرقمية وحقول المعرفات (المعرفات) المقابلة لكل من الأبعاد. في المخطط النجمي، تكون جداول الحقائق محاطة بجداول أبعاد داعمة، مما يسمح للمستخدم بالتنقل بسرعة في البيانات لتحديد الارتباطات بين الأبعاد والعناصر في جداول الحقائق.

بنية مستودع البيانات تم اليوم اقتراح العديد من البنى، دعنا نفكر في الخمسة الأكثر شيوعًا: 1. أسواق البيانات المستقلة 2. بنية ناقل البيانات مع أسواق البيانات ذات الأبعاد المرتبطة 3. الهندسة المعمارية "النجمية" (المحور والأطراف) 4. مستودع البيانات المركزي 5. البنية الموحدة.

أسواق البيانات المستقلة ليس من غير المألوف أن يقوم كل قسم من أقسام الشركة بتطوير سوق البيانات الخاص به. تلبي جميع واجهات العرض هذه الاحتياجات التي تم إنشاؤها من أجلها، ولكنها في نفس الوقت لا تعتمد على بعضها البعض ولا تقدم رؤية موحدة للوضع في الشركة. أنها تحتوي على بيانات غير متناسقة، واستخدام أبعاد مختلفةوالمؤشرات، وبالتالي فإن تحليل البيانات بين واجهات المحلات أمر صعب.

حافلة أسواق البيانات المترابطة (رالف كيمبال) يبدأ إنشاء مثل هذه البنية بتحليل متطلبات عمليات تجارية محددة، مثل الطلبات والعملاء والفواتير وما إلى ذلك. تم إنشاء سوق البيانات الأول لعملية عمل واحدة باستخدام الأبعاد والمؤشرات التي سيتم استخدامها لاحقًا في مكونات أخرى. ويتم تطوير أسواق البيانات اللاحقة باستخدام هذه الأبعاد، مما يؤدي إلى أسواق متكاملة منطقيًا.

تمثل البنية النجمية (Bill Inmon) مستودع بيانات مركزيًا به أسواق بيانات تابعة. تم تطوير هذه البنية بناءً على تحليل المؤسسة لمتطلبات البيانات. من المهم الاهتمام بإنشاء بنية تحتية قابلة للتطوير وقابلة للصيانة. بناءً على استخدام تمثيل بيانات الشركة، يتم تنفيذ تطوير معماري تكراري يتضمن واحدًا موضوع النقاشبعد آخر. يتم تخزين البيانات التفصيلية في نموذج عادي في مستودع البيانات. تتلقى أسواق البيانات التابعة البيانات من مستودع البيانات. يتم تطوير أسواق البيانات التابعة للإدارات أو محددة الاماكن العاملةوالأغراض ويمكن أن تكون إما طبيعية أو غير طبيعية، أو في شكل أي بنية بيانات مجمعة. يقوم معظم المستخدمين بتشغيل الاستعلامات على أسواق البيانات التابعة.

مستودع بيانات مركزي (لا توجد أسواق بيانات تابعة) تشبه هذه البنية البنية النجمية باستثناء عدم وجود أسواق بيانات تابعة. يحتوي مستودع البيانات على بيانات تفصيلية وبعض البيانات المجمعة وطرق العرض المنطقية. يتم تشغيل الاستعلامات والتطبيقات على كل من البيانات العلائقية وطرق العرض متعددة الأبعاد.

البنية الموحدة تستخدم هذه البنية هياكل دعم القرار الموجودة بالفعل ( نظام التشغيلوالأسواق ومستودعات البيانات). يتم استخراج البيانات من الأنظمة المدرجة بناءً على متطلبات العمل. يتم دمج البيانات منطقيًا أو فعليًا باستخدام البيانات الوصفية والاستعلامات الموزعة والتقنيات الأخرى. هذه العمارة حل عمليللشركات التي تستخدم بالفعل الأدوات التحليلية ولا تريد التخلي عنها.