تقديم الدفع مقابل كل عملية زحف: تمكين مالكي المحتوى من فرض رسوم على روبوتات الذكاء الاصطناعي مقابل الوصول
لم يعد خيار مشرفي المواقع الإلكترونية ومنشئي المحتوى الرَّقمي محصورا بين “السماح” أو “الحظر” زواحف الذّكاء الاصطناعي من الوصول إلى الموقع والمحتوى. فمع إطلاق الدفع مقابل الزحف (Pay-per-Crawl)، وهو الأول من نوعه، سيصبح خيار ثالث وأقوى: التحصيل. هذا الحل المبتكر من كلاودفلير يتيح تحقيق الدخل من المحتوى على نطاق الإنترنت، مستفيدا من آليات الويب الحالية لضمان الشفافية والتحكم.
في ما يلي منشور متكامل يتناول اعلان شركة كلاودفلير حول الدفع مقابل الزحف.
مشهد استهلاكي متغير
يشعر العديد من الناشرين ومنشئي المحتوى وأصحاب المواقع الإلكترونية حاليا بأنهم أمام خيارين: إما ترك المجال مفتوحا للذكاء الاصطناعي لاستغلال كل ما يُبدعونه، أو إنشاء فضاء خاصّ. ولكن ماذا لو كان هناك سبيل آخر؟
في Cloudflare، انطلقنا من مبدأ بسيط: أردنا أن يتحكم منشئو المحتوى في من يصل إلى أعمالهم. إذا أراد منشئ محتوى حظر جميع برامج تتبع الذكاء الاصطناعي من محتواه، فيجب أن يكون قادرا على ذلك. وإذا أراد منشئ محتوى السماح لبعض أو جميع برامج تتبع الذكاء الاصطناعي بالوصول الكامل إلى محتواه مجانا، فيجب أن يكون قادرا على ذلك أيضا. يجب أن يكون منشئو المحتوى في موقع القيادة.
بعد مئات المحادثات مع المؤسسات الإخبارية والنَّاشرين ومنصات التواصل الاجتماعي واسعة النطاق، سمعنا رغبةً راسخةً في مسار ثالث: يرغبون في السماح لبرامج تتبع الذكاء الاصطناعي بالوصول إلى محتواهم، ولكنهم يرغبون في الحصول على تعويض. في الوقت الحالي، يتطلب ذلك معرفة الفرد المناسب وإبرام صفقة لمرة واحدة، وهو ما يشكل تحدّيا لا يمكن التغلب عليه إذا لم يكن لديك الحجم والنفوذ.
ماذا لو كان بإمكاني فرض رسوم على أداة الزحف؟
نعتقد أن خيارك ليس بالضرورة ثنائيّا، بل يجب أن يكون هناك خيار ثالث أكثر دقة: يمكنك فرض رسوم على الوصول. بدلا من الحظر الشَّامل أو الوصول المفتوح غير المدفوع، نريد تمكين مالكي المحتوى من تحقيق الدخل من محتواهم على نطاق الإنترنت.
يسعدنا أن نساعد في إزالة الغبار عن جزء منسي تقريبا من الإنترنت: رمز استجابة HTTP 402.
تقديم الدفع مقابل الزحف
يُعد الدفع مقابل الزحف، في إصدار تجريبي خاص، أول تجربة لنا في هذا المجال.
يتكامل الدفع مقابل الزحف مع البنية التحتية الحالية للويب، مستفيدا من رموز حالة HTTP وآليات المصادقة المعمول بها لإنشاء إطار عمل للوصول إلى المحتوى المدفوع.
في كل مرة يطلب فيها برنامج زحف الذكاء الاصطناعي محتوى، فإنه إما يعرض نيَّة الدفع عبر رؤوس الطلب للوصول الناجح (رمز استجابة HTTP 200)، أو يتلقى استجابة 402 “مطلوب دفع” مع التَّسعير. تعمل Cloudflare كتاجر مسجل للدفع مقابل الزَّحف، كما توفر البنية التحتية التِّقنية الأساسيَّة.
تحكم الناشر وتسعيره
يمنح الدفع لكل عملية زحف مالكي النطاقات تحكمًا كاملاً في استراتيجية تحقيق الدخل الخاصة بهم. يمكنهم تحديد سعر ثابت لكل طلب على موقعهم بالكامل. عندئذٍ، سيكون لدى الناشرين ثلاثة خيارات مميزة لبرنامج الزحف:
- السماح: منح برنامج الزحف وصولاً مجانيًا إلى المحتوى.
- التحصيل: طلب الدفع بالسعر المحدد على مستوى النطاق.
- الحظر: منع الوصول تمامًا، دون خيار الدفع.
من الآليات المهمة هنا أنه حتى لو لم يكن لدى برنامج الزحف علاقة فوترة مع Cloudflare، وبالتالي لا يمكن تحصيل رسوم الوصول منه، فلا يزال بإمكان الناشر اختيار “تحصيل” رسوم منه. هذا يُعادل عمليًا الحظر على مستوى الشبكة (استجابة HTTP 403 Forbidden حيث لا يتم إرجاع أي محتوى) - ولكن مع فائدة إضافية تتمثل في إخبار برنامج الزحف بإمكانية وجود علاقة في المستقبل.
في حين يمكن للناشرين حاليًا تحديد سعر ثابت لموقعهم بالكامل، إلا أنهم يحتفظون بمرونة تجاوز رسوم برامج زحف محددة حسب الحاجة. هذا مفيد بشكل خاص إذا كنت ترغب في السماح لبرنامج زحف معين بالمرور مجانًا، أو إذا كنت ترغب في التفاوض وتنفيذ شراكة محتوى خارج ميزة الدفع لكل زحف.
لضمان التَّكامل مع الوضع الأمني الحالي لكل ناشر، تطبق Cloudflare قرارات السماح أو تحصيل الرسوم عبر محرك قواعد يعمل فقط بعد تطبيق سياسات جدار حماية تطبيقات الويب (WAF) الحالية وإدارة الروبوتات أو ميزات حظرها.
رؤوس الدفع والوصول
أثناء بناء النظام، كنا نعلم أن علينا حل تحدٍّ تقني بالغ الأهمية: ضمان قدرتنا على تحصيل رسوم من برنامج زحف مُحدد، مع منع أي شخص من انتحال هويته. لحسن الحظ، هناك طريقة للقيام بذلك باستخدام مقترحات مصادقة روبوتات الويب.
بالنسبة لبرامج الزحف، يتضمن هذا:
- إنشاء زوج مفاتيح Ed25519، وجعل المفتاح العام بتنسيق JWK متاحًا في دليل مُستضاف
- التسجيل في Cloudflare لتوفير عنوان URL لدليل المفاتيح ومعلومات وكيل المستخدم
- تهيئة برنامج الزحف لاستخدام توقيعات رسائل HTTP مع كل طلب
بمجرد قبول التسجيل، يجب أن تتضمن طلبات الزاحف دائمًا signature-agent وsign-input ورؤوس التوقيع لتحديد الزاحف الخاص بك واكتشاف الموارد المدفوعة.
GET /example.html Signature-Agent: "https://signature-agent.example.com" Signature-Input: sig2=("@authority" "signature-agent") ;created=1735689600 ;keyid="poqkLGiymh_W0uP6PZFw-dvez3QJT5SolqXBCW38r0U" ;alg="ed25519" ;expires=1735693200 ;nonce="e8N7S2MFd/qrd6T2R3tdfAuuANngKI7LFtKYI/vowzk4lAZYadIX6wW25MwG7DCT9RUKAJ0qVkU0mEeLElW1qg==" ;tag="web-bot-auth" Signature: sig2=:jdq0SqOwHdyHr9+r5jw3iYZH6aNGKijYp/EstF4RQTQdi5N5YYKrD+mCT1HA1nZDsi6nJKuHxUi/5Syp3rLWBA==:
الوصول إلى المحتوى المدفوع
بمجرد إعداد أداة الزحف، يُمكن تحديد ما إذا كان المحتوى يتطلب دفعًا أم لا عبر مسارين:
تفاعلي (الاكتشاف أولاً)
إذا طلب برنامج زحف عنوان URL مدفوعًا، يُرجع Cloudflare استجابة HTTP 402 “مطلوب دفع”، مصحوبة برأس سعر برنامج الزحف. يُشير هذا إلى أن الدفع مطلوب للمورد المطلوب.
HTTP 402 Payment Required crawler-price: USD XX.XX
يمكن بعد ذلك أن يقرر برنامج الزاحف إعادة محاولة الطلب، وهذه المرة يتضمن رأس سعر برنامج الزاحف الدقيق للإشارة إلى الموافقة على دفع السعر المحدد.
GET /example.html crawler-exact-price: USD XX.XX
استباقي (القصد أولاً)
بدلاً من ذلك، يمكن لبرنامج الزحف تضمين رأس الحد الأقصى للسعر مسبقًا في طلبه الأولي.
GET /example.html crawler-max-price: USD XX.XX
إذا كان السعر الذي تم تكوينه لمورد ما يساوي أو أقل من هذا الحد المحدد، فسيتم تنفيذ الطلب، وسيتم تقديم المحتوى مع استجابة HTTP 200 OK ناجحة، مما يؤكد الرسوم:
HTTP 200 OK crawler-charged: USD XX.XX server: cloudflare
إذا كان المبلغ في طلب crawler-max-price أكبر من السعر الذي حدده مالك المحتوى، فسيتم فرض السعر المحدد فقط. أما إذا تجاوز السعر المحدد للمورد الحد الأقصى للسعر الذي حدده الزاحف، فسيتم إرجاع استجابة HTTP 402 “مطلوب دفع” للإشارة إلى التكلفة المحددة. لا يمكن استخدام سوى رأس واحد لإعلان السعر، وهو crawler-exact-price أو crawler-max-price، لكل طلب.
يُعلن رأسا crawler-exact-price أو crawler-max-price صراحةً عن استعداد الزاحف للدفع. في حال نجاح جميع عمليات التحقق، سيتم عرض المحتوى، وسيتم تسجيل حدث الزحف. إذا كان أي جانب من جوانب الطلب غير صالح، فسيتم إرجاع استجابة HTTP 402 “مطلوب دفع”.
التسوية المالية
يجب على مشغلي برامج الزحف ومالكي المحتوى تكوين تفاصيل الدفع لكل عملية زحف في حساباتهم على Cloudflare. تُسجل أحداث الفوترة في كل مرة يُقدم فيها برنامج زحف طلبًا مُصادقًا عليه بنية الدفع، ويتلقى استجابة HTTP 200 مع عنوان مُحمّل برسوم برنامج الزحف. بعد ذلك، يجمع Cloudflare جميع الأحداث، ويُحمّل برنامج الزحف الرسوم، ويُوزع الأرباح على الناشر.
محتوى للزواحف اليوم، والوكلاء غدًا
في جوهره، يُحدث الدفع مقابل الزحف تحولاً تقنياً في كيفية التحكم بالمحتوى على الإنترنت. فمن خلال تزويد منشئي المحتوى بآلية برمجية قوية لتقييم أصولهم الرقمية والتحكم فيها، نُمكّنهم من مواصلة إنشاء محتوى غني ومتنوع يجعل الإنترنت لا يُقدر بثمن.
نتوقع أن يتطور الدفع مقابل الزحف بشكل ملحوظ. ما زال الوقت مبكراً جداً: نعتقد أن العديد من أنواع التفاعلات والأسواق المختلفة يمكن، بل وينبغي، أن تتطور في آنٍ واحد. ونحن متحمسون لدعم هذه الجهود المتنوعة والمعايير المفتوحة.
على سبيل المثال، قد يرغب ناشر أو مؤسسة جديدة في فرض أسعار مختلفة لمسارات أو أنواع محتوى مختلفة. كيف يُمكنك تقديم تسعير ديناميكي لا يعتمد فقط على الطلب، بل أيضاً على عدد مستخدمي تطبيق الذكاء الاصطناعي الخاص بك؟ كيف يُمكنك تقديم تراخيص مُفصّلة على نطاق الإنترنت، سواءً للتدريب أو الاستدلال أو البحث أو أي شيء جديد كلياً؟
قد تظهر الإمكانات الحقيقية للدفع مقابل الزحف في عالم يعتمد على الوكلاء. ماذا لو كان جدار الدفع الوكيل يعمل برمجياً بالكامل؟ تخيل أنك تطلب من برنامج البحث المتعمق المفضل لديك مساعدتك في تلخيص أحدث أبحاث السرطان أو ملخص قانوني، أو حتى مساعدتك في العثور على أفضل مطعم في سوهو، ثم تُخصص ميزانية لذلك الوكيل للحصول على أفضل محتوى وأكثرها صلة. من خلال تثبيت حلنا الأول على رمز استجابة HTTP 402، نمهد الطريق لمستقبل يمكن فيه للوكلاء الأذكياء التفاوض برمجيًا للوصول إلى الموارد الرقمية.
البدء
الدفع مقابل الزحف متوفر حاليًا في إصدار تجريبي خاص. يسعدنا التواصل معك إذا كنتَ زاحفًا مهتمًا بالدفع مقابل الوصول إلى المحتوى، أو منشئ محتوى مهتمًا بفرض رسوم على الوصول.
يمكنك التواصل معنا عبر الرابط http://www.cloudflare.com/paypercrawl-signup/ أو التواصل مع مدير حسابك إذا كنتَ عميلًا حاليًا في Enterprise.
