الأسئلة الشائعة حول Outscraper.

عام

يُقصد بـ«الاستخراج» أو «الجمع» أو «التحليل» أو «الاستخلاص» عملية الحصول على جميع المعلومات من موقع عام ما. وهي تعمل على أتمتة عملية التصدير اليدوي للبيانات.

يُعد جمع البيانات العامة واستخراجها أمرًا محميًّا بموجب التعديل الأول لدستور الولايات المتحدة. وقد قضت محكمة الاستئناف بالدائرة التاسعة بأن جمع البيانات المتاحة للجمهور آليًّا لا يشكل انتهاكًا لقانون الاحتيال وإساءة استخدام الحاسوب (CFAA). ومع ذلك، ينبغي عليك استشارة محامٍ بشأن مسألتك المحددة لضمان الامتثال للقوانين السارية في ولايتك القضائية.

تُنفَّذ كل مهمة استخراج البيانات في السحابة. ولن يتأثر عنوان IP الخاص بك بعملية الاستخراج هذه.

اطلع على وثائق واجهة برمجة التطبيقات (API) أو تفضل بزيارة صفحة GitHub للحصول على نصائح من الخبراء حول كيفية دمج الخدمات مع الكود الخاص بك. اطلع على المدونة.

يمكنك إيقاف تشغيل الإشعارات من صفحة الملف الشخصي.

نحن نقوم باستخراج البيانات المتاحة للجمهور فقط، وتعمل أداة الكاشطة كمتصفح لعالم البيانات والمطورين والمسوقين.

تتمثل آلية ضمان خلو البيانات من معلومات التعريف الشخصية في تحديد الأعمدة التي تريد إرجاعها.

لا. تحدث جميع أنشطة الكشط على خوادم Outscraper، مما يضمن عدم استخدام عنوان IP الخاص بك في كشط البيانات. وهذا يعني أيضًا أنه يمكن إيقاف تشغيل جهاز الكمبيوتر الخاص بك عند تشغيل مهام الاستخراج.

المدفوعات والاشتراكات

سيتم إصدار الفاتورة بناءً على استخدام الخدمات خلال فترة الفوترة (30 يومًا). الأسعار مدرجة في الصفحة.

«الحد المجاني» هو مقدار الاستخدام الذي يمكنك الاستفادة منه مجانًا كل شهر. على سبيل المثال، تبلغ السعة المجانية لبعض المنتجات 500 طلب شهريًّا. وهذا يعني أن أي استخدام للمنتج يقل عن 500 طلب خلال الشهر سيكون مجانيًّا.

عند إتمام عملية الاشتراك، ستتلقى فاتورة مقابل استخدام الخدمات خلال فترة الاشتراك.

في حال لم تتمكن من سداد المبلغ في غضون 3 أيام، سيحاول النظام خصم المبلغ من حسابك تلقائيًّا.

  1. قبل إضافة الرصيد، تأكد من إدخال بياناتك في صفحة معلومات الفوترة (في حال احتجت إليها في الفواتير أو أوامر الشراء).
  2. انتقل إلى صفحة ملفك الشخصي.
  3. أدخل عدد الوحدات الدراسية التي ترغب في إضافتها.
  4. اختر طريقة الدفع التي ترغب في استخدامها لإضافة رصيد (بطاقة الائتمان، PayPal، إلخ).
  5. بعد النقر على الزر الخاص بطريقة الدفع التي اخترتها، اتبع الخطوات التي يحددها مزود طريقة الدفع.

بمجرد أن تبدأ في استخدام الخدمة، يمكنك الاطلاع على الفاتورة القادمة في صفحة الملف الشخصي. بمجرد ظهور المبلغ المستحق، يمكنك إنشاء الفاتورة يدويًّا بالنقر على “إنشاء فاتورة”، أو سيتم إنشاؤها تلقائيًّا في غضون 30 يومًا.

بمجرد إضافة رصيد إلى حسابك (خيار الدفع المسبق)، ستتلقى إيصال المعاملة عبر البريد الإلكتروني.

سيتم إصدار الفواتير المتعلقة باستخدام خدمات معينة بعد كل فترة فوترة (30 يومًا). أو بدلاً من ذلك، بمجرد معرفة المبلغ المستحق، يمكنك إصدار الفاتورة يدويًّا بالنقر فوق “إصدار فاتورة” في صفحة الملف الشخصي.

نعم. ستقوم شركة Outscraper بخصم مبلغ $10 من رصيد حسابك وستصدر فاتورة إضافية بالمبلغ المستحق.

نعم.

لا. ستُنجز المهمة، وإذا تجاوزت تكلفة استخدام المهمة رصيد حسابك، فستتلقى ببساطة فاتورة بالمبلغ المستحق عن الاستخدام.

يمكنك استخدام الحدود لتقييد كمية البيانات المستخرجة.

  1. افتح منصة Outscraper.
  2. انتقل إلى صفحة معلومات الفوترة.
  3. أدخل معلومات الفوترة الضرورية التي تريد أن تظهر في فواتيرك.
  4. انقر على زر «حفظ». سيتم إنشاء جميع فواتيرك المستقبلية باستخدام المعلومات التي أدخلتها.

قم بتوصية صديق وابدأ في الحصول على 35% من مدفوعات الإحالة إلى رصيد حسابك. وسيحصل الشخص الذي قمت بإحالته على 25% خصم على دفعتهم الأولى. احصل على رابط الإحالة الخاص بك الآن.

API

يعتمد الحد الأقصى لعدد الاستعلامات (الطلبات) في الثانية على طبيعة الطلبات، والخدمة، ومعلمات الطلب (عدد النتائج، وعدد الاستعلامات، وما إلى ذلك). يبلغ متوسط عدد الاستعلامات في الثانية حوالي 20 (حد مرن). ومع ذلك، يمكن لـ Outscraper التوسع وفقًا لاحتياجاتك. يرجى اتصل بالفريق في حال احتجت إلى معدل عمليات في الثانية (QPS) أعلى.

نعم. تدعم واجهة برمجة التطبيقات (API) المعالجة المجمعة عن طريق إرسال مصفوفات تحتوي على ما يصل إلى 25 استعلامًا (على سبيل المثال، query=text1&query=text2&query=text3). وتتيح هذه الميزة إرسال عدة استعلامات في طلب واحد، مما يقلل من زمن الاستجابة للشبكة.

انتقل إلى صفحة سجل استخدام واجهة برمجة التطبيقات للاطلاع على أحدث طلباتك.

انتقل إلى صفحة الملف الشخصي->رمز API لإنشاء مفتاح جديد.

يبلغ متوسط وقت الاستجابة 3-5 ثوانٍ. لكن ذلك قد يعتمد على نوع الخدمة (سواء كانت السرعة مُحسَّنة أم لا) وعدد الاستعلامات في كل طلب (خيار المعالجة المجمعة).

لتحسين أداء واجهة برمجة التطبيقات (API) وسعة إنتاجها، اتبع هذه الممارسات الموصى بها.
  1. استخدم ميزة التجميع لإرسال استعلامات متعددة في طلب واحد (على سبيل المثال: query=text1&query=text2&query=text3).
  2. الاستخدام async=true (افتراضي) لإرسال المهام دون إبقاء اتصال HTTP مفتوحًا. يساعد ذلك في تجنب انتهاء المهلة ويتيح لك وضع العديد من الطلبات في قائمة الانتظار بكفاءة. وبالاقتران مع الويب هوك، يتيح لك ذلك إرسال المهام بشكل جماعي وتلقي النتائج تلقائيًا فور اكتمالها.
  3. قم بتشغيل الطلبات بشكل متوازٍ لتحقيق أقصى قدر من الإنتاجية. اطلع على هذا المثال.
  4. استخدم webhook لجلب النتائج بمجرد أن تصبح جاهزة.

قد تستغرق بعض المهام وقتًا لاستخراج البيانات. وهناك عدة طرق للتعامل مع حالات انتهاء المهلة.

  1. استخدم ميزة إعادة المحاولة. توقع أن بعض طلبات الاستخراج قد تُرجع خطأً أو تنتهي مهلة الانتظار. وعادةً ما تؤدي المحاولة مرة أخرى إلى حل المشكلة.
  2. استخدم الطلبات غير المتزامنة. من الممارسات الجيدة إرسال الطلبات غير المتزامنة والبدء في التحقق من النتائج بعد انقضاء الوقت المقدر للتنفيذ. تحقق من هذا التطبيق بلغة Python كمثال.
  3. استخدم webhook لجلب النتائج بمجرد أن تصبح جاهزة.

مكشطة خرائط Google Maps

في بعض الأحيان، تضيف Google فئات أخرى إلى عمليات البحث الخاصة بك. على سبيل المثال، عند البحث عن مطاعم، قد ترى حانات، أو مقاهي، أو محلات، أو حتى فنادق. قد يؤدي ذلك إلى ظهور بيانات غير ذات صلة، خاصةً عند استخدام فئات ثانوية مثل حمامات السباحة.

يوفر لك Outscraper أداتين يمكنك استخدامهما لإزالة تلك الفئات.

  1. فئة المعالم البارزة في خرائط Google

    استخدم “المطابقة التامة”مربع الاختيار". تحدد هذه المعلمة ما إذا كان سيتم عرض الفئات التي حددتها فقط أم كل ما يعرضه Google. تأكد من استخدام الفئات الصحيحة عن طريق فتح أماكن مشابهة على Google والتحقق من الفئة.

  2. تصفية النتائج

    قم بتصفية النتائج من خلال تطبيق المرشحات على عمود الأنواع الفرعية. يمكن لهذه المرشحات التخلص من جميع البيانات غير ذات الصلة وعرض النتائج التي تحتاجها فقط. لتجنب الحصول على نتائج فارغة، تأكد من أنك على دراية بقيم الحقول قبل استخدام الفلاتر.

هناك بعض الحالات التي لا تكفي فيها المواقع و/أو الفئات المحددة مسبقًا. استخدم خياري “المواقع المخصصة” و/أو “الفئات المخصصة” لإضافة الفئات و/أو المواقع التي تحتاجها.

هناك قيود في خدمة «خرائط جوجل» حيث لا تُعرض سوى ما بين 400 و500 مكان كحد أقصى لكل استعلام بحث. وقد يشكل هذا مشكلة عندما يكون هناك عدد أكبر من الشركات ضمن فئة واحدة. على سبيل المثال، بالنسبة للاستعلام “مطاعم، بروكلين”.

وللتغلب على هذه المشكلة، نقترح تقسيم الموقع إلى مواقع فرعية. على سبيل المثال، باستخدام الرموز البريدية:
”مطاعم، بروكلين 11203”,
”مطاعم، بروكلين 11211”,
”المطاعم، بروكلين" 11215”,

…

أو باستخدام الاستعلامات التي تتضمن الفئات الفرعية:

“مطاعم آسيوية، بروكلين”,

“مطاعم إيطالية، بروكلين”,

“مطاعم مكسيكية، بروكلين”,

…

حدد زر التبديل “استخدام الاستعلامات” وأدخل الاستعلامات.

لإجبار Google على البحث عن شركات معينة فقط، ضع المصطلح بين علامتي اقتباس ” “. ال ” “ يُستخدم علامة "*" عادةً حول الكلمات غير ذات الصلة (الكلمات التي يتجاهلها جوجل عادةً) أو عندما تريد أن يعرض جوجل فقط الصفحات التي تتطابق تمامًا مع مصطلحات البحث الخاصة بك.

بعد النقر على الزر “استخراج البيانات...”، ستظهر لك تقديرات المهمة والاستعلامات.

يُنصح بالنقر فوق بعض الاستعلامات وفتحها للتحقق من شكلها على موقع خرائط جوجل.

هناك أمران يجب عليك اتباعهما للتحكم في العدد المتوقع للنتائج.

1. الحد الأقصى لعدد المؤسسات في الاستعلام الواحد – الحد الأقصى لعدد المؤسسات التي يمكن استخراجها من استعلام واحد.

2. عدد الاستعلامات – عدد عمليات البحث التي ستجريها.

هناك 6 استفسارات سيقوم الروبوت بإجرائها لاستخراج البيانات من فئتين و3 مواقع.

وبالتالي، لن يتجاوز العدد الناتج 480 منظمة (الحد الأقصى هو 80 × 6 استعلامات).

يمكنك إزالة التكرارات في مهمة واحدة عن طريق تحديد خانة الاختيار “إزالة التكرارات”.

نعم، يمكنك حذف التكرارات داخل مهمة واحدة باستخدام خانة الاختيار “حذف التكرارات” (المعلمات المتقدمة). أو يمكنك حذفها بنفسك باستخدام حقول “google_id” أو “place_id” كمعرّفات فريدة للمكان.

لن يُعرف العدد الدقيق للنتائج إلا بعد عملية الاستخراج.

يمكنك استخدام خيار “الحد الأقصى لإجمالي الأماكن” لتحديد العدد النهائي للنتائج التي سيتم استخراجها.

نعم. يمكنك استخدام الرابط التالي كاستعلام: “https://www.google.com/maps/search/real+estate+agency/@41.4034,2.1718413,17z” حيث يمكنك تحديد استعلام (real+estate+agency)، والإحداثيات (41.4034,2.1718413) ومستوى التكبير (17z). يمكنك العثور على هذه القيم أثناء تصفح خرائط Google.

ويمكنك أيضًا استخدام المعلمة “coordinates” إذا كنت تستخدم واجهة برمجة التطبيقات.

نعم. يمكنك استخدام أداة استخراج عناوين البريد الإلكتروني وجهات الاتصال جنبًا إلى جنب مع أداة استخراج بيانات خرائط Google لإثراء البيانات المستمدة من Google. للقيام بذلك، حدد “أداة استخراج عناوين البريد الإلكتروني وجهات الاتصال” في قسم “إثراء البيانات بواسطة خدمات أخرى” في أداة استخراج بيانات خرائط Google.

لن تدفع سوى مقابل النتائج التي تحصل عليها، بغض النظر عن عدد الاستعلامات التي تجريها.

لا. لا توجد معلومات متاحة للجمهور بشأن عناوين البريد الإلكتروني المرتبطة بالإدراج على خرائط جوجل. تعتمد Outscraper على مصادر خارجية للعثور على تلك العناوين.

نعم. يمكنك استخدام عوامل التصفية الموجودة في المعلمات المتقدمة مع عامل الربط التالي.

يمكنك تقسيم مهامك حسب المدينة/الولاية أو أي معايير فريدة أخرى. على سبيل المثال، يمكنك استخراج الأماكن الموجودة في نيويورك في المهمة الأولى، والأماكن الموجودة في كاليفورنيا في المهمة الثانية.

نعم. للعثور على الشركات التي...للبحث عن المواقع الإلكترونية، يمكنك استخدام عوامل التصفية المتقدمة الخاصة بنا. اختر حقل ‘الموقع’ واضبطه على ‘فارغ’. سيؤدي ذلك إلى عرض الشركات التي ليس لديها موقع إلكتروني. إذا كنت ترغب في عرض الشركات التي لديها مواقع إلكترونية، فما عليك سوى ضبط حقل ‘الموقع’ على ‘غير فارغ’ بدلاً من ذلك.

لمعرفة المزيد عن عوامل التصفية، يرجى الاطلاع على هذه المقالة: https://outscraper.com/google-maps-data-scraper-filters/

اتصل بنا

هل تحتاج إلى مساعدة بشأن منتجات Outscraper؟ سنوفر لك المساعدة التي تحتاجها