تتم فهرسة محتوى صفحات موقع الويب بواسطة محركات البحث باستخدام روبوتات البحث المختلفة. إنهم جميعًا يقضون قدرًا معينًا من الوقت على الموقع. لذلك، من المهم أن يتم فهرسة جميع المعلومات الضرورية التي يمكن أن تجذب الزوار.

إذا كان الموقع يتكون من عدد كبير من الصفحات، فمن المستحسن أن تخفي عن انتباه الروبوتات تلك المعلومات التي ليست غرض الطلب الأولي عند البحث عن معلومات حول موضوع الموقع على الإنترنت. كما يمكنك خلال فترة إجراء التغييرات على النصوص أو تصميم الموقع إخفاء الموقع بأكمله أو الصفحات الفردية عن محركات البحث. للقيام بذلك، تحتاج إلى تحرير ملف Robots.txt الموجود في الدليل الجذر للموقع. يحتوي على خطوط وكيل المستخدم - توجيهات تعطي تعليمات لروبوتات محرك البحث عند العمل مع الموقع. هم الذين يحتاجون إلى التغيير لإدارة الفهرسة.

ما هو وكيل المستخدم؟

وكيل المستخدم متاح في أي متصفح وجهاز محمول. يحتوي هذا السطر على الكثير من المعلومات حول الكمبيوتر ونظام التشغيل وإصدار المتصفح. تؤثر الأسطر التي تصف وكيل المستخدم المكتوب في ملف Robots.txt على تشغيل محركات البحث على الموقع. بمساعدتهم، يمكنك إخفاء المعلومات الموجودة على الموقع من محركات البحث (من الكل أو من بعضها) - صفحة معينة أو الموقع بأكمله، نوع معين من الملفات. من خلال تقييد الفهرسة حسب نوع الملف، على سبيل المثال، يمكنك جعل الصور فقط مرئية، أو النصوص فقط، أو على العكس من ذلك، استبعاد نوع ملف معين من الفهرسة.

يمكن تحديد قيود الرؤية لروبوت محرك بحث معين أو لجميع الروبوتات. تتم كتابة التعليمات لكل روبوت معروف له تهجئة وكيل المستخدم.

من السطر الذي يحتوي على وصف وكيل المستخدم، يمكنك معرفة المعلومات التالية:

• اسم المتصفح الرئيسي، نسخته؛
• إصدار نظام التشغيل؛
• ما هو البرنامج المحدد المثبت على الجهاز؟
• نوع الجهاز الذي تدخل منه إلى الإنترنت.

قد يكون تغيير وكيل المستخدم ضروريًا ليس فقط لتحرير معلمات فهرسة الموقع، ولكن أيضًا لإخفاء المعلومات غير المرغوب فيها للتتبع: على سبيل المثال، نوع الجهاز لحسابات Google وVK. وأيضًا، من خلال تحرير وكيل المستخدم، يمكنك تحديث المتصفح القديم والتوقف عن تلقي العروض لتثبيت متصفح معين. يحدث تغيير هذا الخط بشكل مختلف في المتصفحات والأجهزة المختلفة. يجب عليك البحث عن التعليمات الخاصة بالمتصفح أو نوع نظام التشغيل الذي تستخدمه (Android وiOS).

وكيل المستخدم وروبوتات بحث Google

أحد أشهر محركات البحث هو جوجل، وقد قام هذا النظام بإنشاء العديد من الروبوتات لفهرسة المحتوى المتنوع على المواقع والأجهزة التي تدخل منها إلى الإنترنت.

بعض روبوتات النظام:

• APIs-Google – روبوت لإرسال الإشعارات؛
• AdSense – يتعرف على محتوى الموقع لوضع إعلانات ذات صلة بالموضوع؛
• AdsBot Mobile Web Android وMobile Apps Android وAdsBot-Google وAdsBot Mobile Web - للتحقق من محتوى الإعلان المنشور على البوابة الممسوحة ضوئيًا. كل روبوت مسؤول عن أجهزته الخاصة - أجهزة الكمبيوتر والهواتف التي تعمل بنظام IOS أو Android وتطبيقات الهاتف المحمول؛
• صور Googlebot – يقوم بفحص الملفات التي تكون عبارة عن صور؛
• أخبار Googlebot – يبحث عن المعلومات التي سيتم نشرها في قسم الأخبار بالنظام؛
• Googlebot Video – المسؤول عن ملفات الفيديو؛
• جوجل بوت.

الروبوت الرئيسي لمحرك بحث Google هو Googlebot. إذا كنت بحاجة إلى حظر فهرسة الموقع بالكامل لهذا النظام بشكل كامل، فما عليك سوى إضافة شرط إلى ملف Robots.txt الذي يقوم بتعيين Googlebot كوكيل المستخدم. وبعد ذلك سيصبح الموقع غير مرئي لجميع روبوتات Google. يمكنك تقييد رؤية محتوى معين. ثم تحتاج إلى تكوين قاعدة للوكيل المسؤول عن هذا المحتوى. على سبيل المثال، يقوم Googlebot-Image بمسح الصور الموجودة على موقع ويب. يبدو الإدخال في ملف Robots حيث يتم تنفيذ هذه العملية كما يلي:

وكيل المستخدم: Googlebot

عدم السماح: (توجد مساحة فارغة هنا، حيث أن الروبوت الرئيسي غير محظور من فعل أي شيء)

وكيل المستخدم: Googlebot-Image

عدم السماح: /شخصي (يمنع ظهور الصور في الدليل الشخصي للروبوت المسؤول عن هذا النوع من المحتوى).

يمكنك منع فهرسة موقعك بالكامل، مع السماح بفهرسة محتوى محدد، مثل مقاطع الفيديو أو الإعلانات المنشورة. على سبيل المثال، للسماح بفحص مقاطع الفيديو فقط، يحتاج الروبوت الرئيسي إلى حظر فهرسة الموقع بأكمله، وتحديد Googlebot Video كوكيل لا توجد قيود عليه.

إذا كان يجب أن يكون الموقع مرئيًا لمحرك بحث Google بكامله دون استثناء، فلا حاجة إلى ملف Robots.txt، ويمكن حذفه بالكامل (شريطة عدم وجود حاجة لتقييد أي محرك بحث آخر).

قوائم وكلاء المستخدم

لعرض قائمة وكلاء المستخدم لمحرك البحث، ما عليك سوى الانتقال إلى القسم المناسب من موقع الويب الخاص به على الإنترنت.

يمكن العثور على قوائم سلاسل وكيل المستخدم لجميع روبوتات Google على صفحة الموارد الرسمية في قسم "Google Search Robots". يوجد جدول تفصيلي يحتوي على وصف للروبوتات والغرض منها وسطور وكيل المستخدم لكل منها وتعليمات لكتابة قواعد الوصول في ملف robots.txt والعلامات الوصفية.

روبوت البحث الرئيسي في Yandex هو Yandex، المخصص لـ Yahoo! هذا هو Slurp، يقوم Rambler بتشغيل روبوت StackRambler عبر الإنترنت، وبالنسبة لـ Mail.ru، يقوم Mail.Ru بوظيفة الروبوت الرئيسي. عادةً ما تحتوي محركات البحث الكبيرة على العديد من الروبوتات، والتي يجب أن تكون قائمة بها على موقع الويب الخاص بها مع سلاسل وكيل المستخدم الكاملة.

إذا لم تكن هناك حاجة إلى إعدادات رؤية خاصة لروبوتات محرك البحث على الموقع، فيمكنك حذف ملف robots.txt ومن ثم سيتم الزحف إلى موقع الشركة بالكامل بواسطة جميع الروبوتات، ما لم تتداخل أي معلمات أخرى مع الفهرسة.

وكيل المستخدم في Firefox والمتصفحات الأخرى عبارة عن قيمة سلسلة تحدد هذا المتصفح وتوفر معلومات نظام معينة للخوادم التي تستضيف المواقع التي تزورها. يمكن أن يكون تغيير سلسلة وكيل المستخدم مفيدًا في سيناريوهات معينة، مثل عندما يتم حظر بعض وظائف الموقع على نظام أساسي معين وتحتاج إلى التغلب على هذا التقييد.

وأيضًا، غالبًا ما يستخدم مطورو الويب تغيير وكيل المستخدم عند تحسين تطبيقات الويب لأجهزة مختلفة. يمكن لوكيل المستخدم تزويد خوادم الويب ببعض المعلومات حول نظام التشغيل الخاص بالمستخدم وإصدار المتصفح.

كيفية تغيير وكيل المستخدم في إعدادات فايرفوكس

بغرض تغيير وكيل المستخدم في فايرفوكس، اتبع الخطوات التالية:

متصفحات وكيل المستخدم

فيما يلي بعض وكلاء المستخدم الذين يمكنك استخدامهم:

كروم على نظام التشغيل Linux:
Mozilla/5.0 (X11؛ Linux x86_64) AppleWebKit/537.36 (KHTML، مثل Gecko) Chrome/65.0.3325.181 Safari/537.36

مايكروسوفت ايدج:
Mozilla/5.0 (Windows NT 10.0؛ Win64؛ x64) AppleWebKit/537.36 (KHTML، مثل Gecko) Chrome/46.0.2486.0 Safari/537.36 Edge/13.10586

متصفح الانترنت:
Mozilla/5.0 (Windows NT 6.1; WOW64; Trident/7.0; AS; rv:11.0) مثل Gecko

يمكنك العثور على المزيد على UserAgentString.com

ينطبق الإعداد "general.useragent.overridepreference" على كل علامة تبويب مفتوحة في Firefox ويستمر حتى تقوم بتغييره أو حذفه. ويظل ممكنًا حتى عند إغلاق المتصفح أو إعادة فتحه.

كيفية تغيير وكيل مستخدم Firefox باستخدام ملحق

إذا كنت تقوم في كثير من الأحيان بتغيير وكيل المستخدم في Firefox، فعليك التفكير في تثبيت وظيفة إضافية خاصة للمتصفح ستوفر الكثير من الوقت.

قم بتغيير وكيل المستخدم في Firefox باستخدام ملحقيمكن إجراء User-Agent Switcher على النحو التالي:

هذه الوظيفة الإضافية هي نسخة محدثة من ملحق User-Agent Switcher الشهير وتمت كتابتها باستخدام Web Extensions API. لا يمكن استخدام الإصدار القديم في الإصدارات الحديثة من Firefox. هذا الإصدار من الامتداد متوافق تمامًا مع Firefox Quantum الجديد.

حسنا، هذا كل شيء لهذا اليوم. الآن أنت تعرف كيفية تغيير وكيل المستخدم في Firefox. حسنًا، إذا كنت تريد تسريع متصفح Firefox، إذن.

وكيل المستخدم هو معرف متصفح يعرض المواقع: نظام التشغيل الخاص بك وإصداره، وعمق البت، ومتصفحك وإصداره. كل متصفح تدخل منه إلى الإنترنت لديه وكيل مستخدم خاص به، ولكن يمكن تغييره باستخدام ملحقات خاصة.

قد تكون هناك حاجة إلى وكلاء المستخدم للعمل في برامج مختلفة، على سبيل المثال MultiBrowser، وZennoPoster، وLSender VK PRO، وبرامج VK المتنوعة، وما إلى ذلك. عند العمل في مثل هذه البرامج، من المهم استخدام الإصدارات الحالية فقط من وكلاء المستخدم، لأن بعض المواقع تستخلص استنتاجات معينة بناءً عليها. عند استخدام وكلاء المستخدم القدامى و"السيئين"، قد تزداد احتمالية الحظر.

مثال وكيل المستخدم: Mozilla/5.0 (Windows NT 6.1؛ Win64؛ x64) AppleWebKit/537.36 (KHTML، مثل Gecko) Chrome/67.0.3396.87 Safari/537.36

نظام التشغيل	ويندوز 7، بنية x64
المتصفح	كروم 67.0.3396.87

أين يمكنني الحصول على القائمة الحالية؟

إن أهمية استخدام وكلاء المستخدم الحاليين فقط أمر واضح. إذا كنت تستخدم نفس وكلاء المستخدم في عملك مثل معظم مستخدمي الإنترنت، فلن يكون لدى المواقع أي أسئلة لك. من وجهة نظر الموقع، ستبدو كمستخدم عادي، وهو بالضبط ما نحتاجه عند استخدام برامج الأتمتة المختلفة.

فأين يمكنك الحصول على وكلاء المستخدم؟ اتضح أنه لا توجد أي موارد على الإنترنت توفر وكلاء مستخدمين محدثين. الموقع الأكثر شعبية مع وكلاء المستخدم (useragentstring.com/pages/useragentstring.php) لم يقم بتحديث قاعدة بياناته لعدة سنوات.

قررنا إصلاح هذا وأطلقنا خدمة الإنترنت، الذي يقوم بتحديث قاعدة البيانات كل يوم. وكلاء المستخدم في قاعدة البيانات حقيقيون، ويستخدمهم المستخدمون على RuNet. يمكنك تنزيل قائمة مجانية أو شراء وصول متميز.

وكيل المستخدم (بالروسية: وكيل المستخدم) عبارة عن سلسلة معلومات تحدد متصفحًا معينًا. وبمساعدتها، يتم نقل عدد من البيانات حول العميل المستخدم من أجل معالجة صفحة الويب المستهدفة وعرضها بشكل صحيح للمستخدم.

لماذا قد تحتاج إلى تغيير وكيل المستخدم

• يمكن لمطوري ومسؤولي مواقع الويب تقييم ما إذا كان موقع الويب الخاص بهم مُحسّنًا بما يكفي ليناسب المتصفحات والأجهزة المختلفة؛
• في الحالات التي يكون فيها من الضروري "خداع" موقع معين من أجل الوصول إلى المحتوى المخصص لمنصة أو جهاز آخر (نظرًا لأنه، اعتمادًا على "وكيل المستخدم"، قد تقدم نفس صفحة الإنترنت محتوى مختلفًا)؛
• بشكل عام، يتيح لك User-Agent تحديد عدد لا بأس به من المعلمات المختلفة: اسم متصفح الإنترنت وإصداره، ومحرك العرض، ونظام التشغيل وعمق البت الخاص به، ولغة الواجهة، ودقة الشاشة، ونوع الجهاز، وIP، و أكثر بكثير. لذلك، يمكن أيضًا اعتبار استبدال وكيل المستخدم أحد الإجراءات لضمان سرية المستخدم على الإنترنت.

كيفية تغيير وكيل المستخدم في Google Chrome ومتصفح Yandex

يمكنك استبدال وكيل المستخدم في Google Chrome ومتصفح Yandex وOpera ومتصفحات Chromium الأخرى، إما باستخدام إعدادات متصفح الويب نفسه أو من خلال الإضافات.

الطريقة الأولى: الإعدادات

عيب هذه الطريقة هو أن وكيل المستخدم سوف يتغير فقط للصفحة الحالية، أي. لكل واحدة جديدة، سوف تحتاج إلى تكرار الإجراء المذكور أعلاه.

الطريقة الثانية: ملحقات خاصة

يمكنك أيضًا تغيير وكيل المستخدم باستخدام الوظائف الإضافية للمتصفح، على سبيل المثال، User-Agent Switcher. إنه يبسط هذه العملية قدر الإمكان.

كل ما تحتاجه لهذا:

وفي الوقت نفسه، سيتم استخدام وكيل المستخدم الذي اخترته في جميع المواقع التي تزورها (حتى يتم الانتهاء من العمل). ومع ذلك، يمكنك تحديد المربع بجوار "تذكر آخر وكيل مستخدم تم استخدامه عند بدء التشغيل"،

سيتم بعد ذلك استئناف العمل باستخدام نفس وكيل المستخدم الذي حددته خلال الجلسة السابقة.

إذا كنت تريد استخدام استبدال وكيل المستخدم كإحدى وسائل حماية خصوصيتك على الإنترنت، فعليك الانتباه إلى
وكيل مستخدم عشوائي.

لا يستطيع Random User-Agent تغيير وكيل المستخدم فحسب، بل يمكنه القيام بذلك تلقائيًا بعد فترة زمنية معينة، ويخفي وكيل المستخدم الحقيقي حتى عند اكتشافه باستخدام Javascript، ولديه الكثير من الخيارات المفيدة الأخرى.

يومًا ما ستحتاج بالتأكيد إلى قيم وكيل المستخدم المحدثة. أثناء بحثك، ابحث في العديد من المواقع الخاصة التي تنشر مثل هذه القوائم، لكنك لن تجد أي بيانات حديثة. بعد ذلك، سنصف طريقة للحصول على قائمة بقيم وكيل المستخدم الأكثر صلة بالتاريخ الحالي. من الممكن أن تكون عدة إدخالات من المتصفحات القديمة، حيث أن طريقتنا تعتمد على جمع الإحصائيات عن زيارات الموقع، وبعض المستخدمين يستخدمون إصدارات قديمة غير محدثة من البرامج.

لمن نسي: وكيل المستخدمهو تطبيق عميل يستخدم بروتوكول شبكة محدد. يُستخدم هذا المصطلح عادةً للتطبيقات التي تصل إلى مواقع الويب، مثل المتصفحات وبرامج زحف الويب (والعناكب الأخرى) والهواتف المحمولة والأجهزة الأخرى.

المرحلة الأولى - جمع الإحصائيات من المواقع

لجمع قيم وكيل المستخدم، سنحتاج إلى مواقع العمل الخاصة بنا، إذا لم يكن لدينا مواقعنا الخاصة، فيمكنك أن تسأل أصدقائك، إذا لم يكن لديك أصدقاء، فيمكنك البحث عن فنان في بعض منتديات SEO أو المستقل المواقع مقابل رسوم رمزية. كلما زاد عدد الزيارات إلى الموقع، كلما كان ذلك أفضل، حيث سيتم جمع الإحصائيات في وقت قصير وستكون أفضل بكثير من حيث الحجم.

بعد تحديد المواقع "المانحة"، انتقل إلى لوحة تحكم الاستضافة وفي قائمة "السجلات" (هذا هو اسم القائمة في الاستضافة، وقد يختلف في مواقع أخرى) قم بتمكين وظيفة "سجل الوصول إلى خادم الويب" . بعد هذه المعالجات، سيظهر ملف نصي في المجلد الأخير للموقع يحتوي على قائمة سجلات الصفحات التي تم الوصول إليها من موقعك، وعنوان IP ووكيل المستخدم الخاص بالجهاز. بعد ذلك، عليك الانتظار حتى تتراكم هذه السجلات.

تسلط الصورة التالية الضوء على إدخال وكيل المستخدم، والذي يمكننا اكتشافه وسنجمعه.

المرحلة 2 - تنظيف قائمة وكيل المستخدم

قم بتنزيل الملفات الناتجة على جهاز الكمبيوتر الخاص بك، إذا كان هناك العديد منها، فافتح أيًا منها في المفكرة، وأضف جميع الملفات اللاحقة إليها عن طريق نسخ النص. سيؤدي هذا إلى إعداد الملف للتحميل عبر برنامج Excel. في مثالنا، كانت النتيجة ملفًا يحتوي على 86072 سطرًا. بعد ذلك، تحتاج إلى فتح الملف الناتج عبر Excel. افتح البرنامج، انقر فوق "ملف" - "فتح"، في النافذة التالية حدد ملفنا. بعد ذلك، سيتم فتح معالج النص (الاستيراد) الذي تحتاج فيه إلى وضع مربع الاختيار في الموضع "المحدد" وفي النافذة التالية ضع علامة اقتباس مزدوجة في الحقل "الآخر". في الخطوة الثالثة، في جدول "نموذج تحليل البيانات"، حدد العمود الأخير وحدد تنسيق "النص" له.

بعد هذا الاستيراد، يتم تقسيم بيانات الزيارة إلى أعمدة. وكلاء المستخدم الذين نحتاجهم موجودون في العمود F، حتى تتمكن من حذف الأعمدة من A إلى E بأمان. بعد ذلك، تحتاج إلى استخدام وظيفة إزالة التكرارات المضمنة في Excel. في إصدار 2007، يوجد زر "إزالة التكرارات" في علامة التبويب "البيانات". نضغط عليه ونرى أنه بدلاً من 86072 سطرًا، هناك 1555 سطرًا، لكننا لا نتوقف عند هذا الحد، والخطوة التالية هي حذف سجلات وكيل المستخدم غير الضرورية من محركات البحث. وهي تبدو كما يلي: Mozilla/5.0 (متوافق؛ Googlebot/2.1؛ +http://www.google.com/bot.html). يمكنك التصفية حسب كلمة "bot" أو "متوافق". بعد ذلك، ننتقل إلى قائمة وكلاء المستخدم ونحذف الإدخالات التي لا نحتاجها، على سبيل المثال، من متصفحات الهاتف على Android أو iPhone.

المرحلة 3 - الملف النهائي

بعد كل عملية التنظيف، تحصل على ملف وكيل مستخدم كبير إلى حد ما، والذي يمكنك استخدامه لتغيير الإدخال في المتصفح، وإضافته إلى برامج التحليل وما شابه. القائمة سارية اعتبارًا من النصف الأول من فبراير 2016. وسيتم تحديثه بشكل دوري.

يحتوي ملف Excel على 3 علامات تبويب:

1. القائمة الرئيسية حيث ستجد 823 إدخالاً لوكيل المستخدم من Yandex وmozila Firefox وOpera وInternet Explorer (IE) وGoogle Chrome وSafari ومتصفحات أخرى. تم جمع السجلات من إحصائيات زيارات الموقع، لذلك قد تكون هناك متصفحات وأنظمة تشغيل قديمة، لأنه لم يتم تحديثها لدى الجميع.
2. تحتوي علامة التبويب "الأجهزة المحمولة" على ورقة تحتوي على 530 إدخالاً من متصفحات الأجهزة المحمولة. وتقرر عدم حذفها، بل نقلها إلى علامة تبويب منفصلة.
3. تحتوي علامة التبويب "المهملات" على إصدارات قديمة من المتصفحات، لا يُنصح باستخدامها.

خاتمة

ملف وكيل المستخدم الخاص بالمتصفحات ليس بتنسيق txt، ولكن يمكن إصلاح ذلك بسهولة عن طريق النسخ العادي. استخدمت المواقع المانحة بروتوكول http. إذا كان السطر يحتوي على الإدخال wow64، فهذا يعني أن جهاز الكمبيوتر الخاص بالزائر الذي لديه وكيل المستخدم هذا يستخدم نظام تشغيل 64 بت. معظم الزوار من روسيا.

إن طريقة جمع السجلات ليست هي الأسرع أو الأكثر ملاءمة، ولكنها أفضل من استخدام السجلات القديمة وغير الحديثة.