Outscraper 常见问题

一般的

刮削、收获或提取是指从一些公共网站获取所有信息的过程。它使手工输出的数据自动化。

对公共数据的刮削和提取受到美国宪法第一修正案的保护。第九巡回上诉法院裁定，自动刮取公共数据并不违反《计算机欺诈和滥用法》（CFAA）。虽然，你应该就你的具体事项寻求律师的意见，以遵守你的管辖区的法律。

Every scraping task is running in the cloud. Your IP address will not be affected by the scraping.

Check out the API Docs or visit the GitHub page to get insider tips on how you can integrate services with your code. Check out the blog.

You can turn off notifications on the profile page.

我们只提取公开的数据，刮刀作为数据科学家、开发人员和营销人员的浏览器来使用。

保证无PII数据的机制是选择要返回的列。

No. All scraping activities occur on Outscraper servers, ensuring that your IP address is not utilized for data scraping. It also means your computer can be turned off when extraction tasks are running.

支付和订阅

发票将根据服务在账单期（30天）的使用情况生成。价格列在页面。

免费层是指你每个月可以免费使用的用量。例如，一些产品有一个每月500个请求的免费层。这意味着在一个月内，任何低于500次请求的产品使用量将是免费的。

When a subscription is finalized, you will receive an invoice for the usage of the services during the subscription period.

如果你不能在3天内付款，系统将尝试自动向你收费。

  1. Before adding credits, make sure you entered your details on the billing information page (in case you need it in invoices or PO).
  2. Navigate to your profile page.
  3. 输入你想增加的点数。
  4. 选择你想使用的支付方式，以增加信用额度（信用卡、PayPal等）。
  5. 在点击你的支付方式的按钮后，按照支付方式提供者的步骤操作。

Once you have some usage, you can see the upcoming invoice on the Profile Page. Once you have the amount due, you can generate the invoice manually by clicking “Generate Invoice”, or it will be generated automatically within 30 days.

一旦你在你的账户上增加信用额度（预付选项），你将通过电子邮件收到交易收据。

Invoices with the usage of specific services will be generated after each billing period (30 days). Alternatively, once you have the amount due, you can generate the invoice manually by clicking “Generate Invoice” on the Profile Page.

是的，Outscraper将从您的账户余额$10中扣除，并开出一张额外的发票，其中包括应付金额。

是的。

不，任务将被完成，如果任务使用量大于你的账户积分，你将会收到一张带有未完成使用量的发票。

你可以使用限额来限制提取的数据量。

  1. Open Outscraper Platform.
  2. 导航到 账单信息页.
  3. 输入你想在发票上看到的必要的帐单信息。
  4. 点击 "保存 "按钮。你今后所有的发票都将以你所输入的信息来创建。

推荐朋友并开始接收 35% 您的账户余额中。您的推荐人将收到 25% 首次付款可享受折扣。 立即获取推荐链接.

API

The limit of queries per second depends on the nature of the requests, the service, and the request parameters (amount of results, number of queries, etc.). The average QPS is about 20 (soft limit). However, Outscraper can scale according to your needs. Please contact the team in case you need a higher QPS.

Yes. API supports batching by sending arrays with up to 25 queries (e.g., query=text1&query=text2&query=text3). It allows multiple queries to be sent in one request and saves on network latency.

Navigate to the API Usage History page to see your latest requests.

导航至 个人资料页->API令牌来创建一个新的密钥。

平均响应时间为3-5秒。但这可能取决于服务（速度优化或没有）类型和每个请求的查询数量（批量选项）。

为了提高API的吞吐量，有几个关键点你应该遵循。

  1. Make sure you are using the latest versions of the API endpoints. For example, prefer using Places API V2  instead of Places API V1. In the case of using SDK the last version of API will be used by default (e.g. google_maps_search()).
  2. 使用批处理，每个请求最多可以发送25个查询（例如，query=text1&query=text2&query=text3）。它允许在一个请求中发送多个查询，并节省网络延迟时间。
  3. Run requests in parallel. Check out this example.
  4. Use a webhook to fetch results once it’s ready.

有些任务可能需要时间来提取数据。有几种方法来处理超时。

  1. 使用重试。预计某些数量的搜刮请求可能会返回错误或超时。通常情况下，再试一次就能解决这个问题。
  2. Use async requests. A good practice is to send async requests and start checking the results after the estimated execution time. Check out this Python implementation as an example.
  3. Use a webhook to fetch results once it’s ready.

谷歌地图抓取工具

Sometimes Google adds other categories to your searches. For example, when you search for restaurants, you might see bars, coffee shops, or even hotels. This might lead to irrelevant data, especially when you are using minor categories like swimming pools.

Outscraper 为您提供了两种工具，可用于消除这些类别。

  1. 谷歌地图上的地标类别

    使用"完全匹配"复选框。该参数指定是否只返回你所选择的类别或谷歌显示的所有内容。通过在谷歌上打开类似的地方并检查类别，确保你使用的是正确的类别。

  2. 筛选结果

    Filter results by applying Filters to the subtypes column. Such filters can eliminate all the irrelevant data and return only what you need. To avoid empty results, make sure you are familiar with the values of the fields before using the Filters.

在某些情况下，预定义的位置或/和类别是不够的。使用“自定义位置”或/和“自定义类别”选项插入您需要的类别或/和位置。

谷歌地图有一个限制，每次查询搜索最多只能显示400-500个地方。当一个类别中的公司较多时，这可能是一个问题。例如，对于查询 “餐厅，布鲁克林”.

为了克服这个问题，我们建议将地点拆分为子地点。例如，通过使用邮政编码：
“餐厅，布鲁克林 11203”,
“餐厅，布鲁克林 11211”,
“餐厅，布鲁克林 11215”,

…

或者使用带有子类别的查询：

“亚洲餐厅，布鲁克林”,

“意大利餐厅，布鲁克林”,

“墨西哥餐厅，布鲁克林”,

…

勾选 "使用查询 "切换器并输入查询。

要强制 Google 仅搜索特定公司，请将术语括在引号“”之间。 这 ” “ 运算符通常用于停用词（Google 否则会忽略的词），或者当您希望 Google 仅返回与您的搜索词完全匹配的那些页面时。

单击“提取数据...”按钮后，您将看到任务估计和查询。

建议单击并打开一些查询以查看它在 Google 地图站点上的外观。

您应该遵循两件事来控制预期的结果数量。

1. Organizations per query limit – the limit of organizations to take from one query.

2. Number of queries – the amount of search queries you’re going to make.

机器人将进行 6 次查询以从 2 个类别和 3 个位置提取数据。

因此，由此产生的数量将不超过 480 个组织（限制为 80 * 6 个查询）。

你可以通过选择 "删除重复 "复选框来删除一个任务中的重复内容。

是的，你可以通过使用 "删除重复 "复选框（高级参数）在一个任务内删除重复的内容。或者，你可以通过使用 "google_id "或 "place_id "字段作为一个地方的唯一标识符，自己删除它。

结果的确切数量只有在提取后才能知道。

您可以使用“总名额限制”来限制最终抓取的结果数量。

Yes. You can use the following link as a query: “https://www.google.com/maps/search/real+estate+agency/@41.4034,2.1718413,17z” where you can specify a query (real+estate+agency), the coordinates (41.4034,2.1718413) and zoom level (17z). You can find these values while visiting Google Maps.

Alternatively, you can use the “coordinates” parameter if you are using the API.

Yes. You can use Emails & Contacts Scraper along with Google Maps scraper to enrich the data from Google. In order to do so, select “Emails & Contacts Scraper” in the “Enrich by other services” section on the Google Maps Scraper page.

你将只为你提取的结果付费，无论你进行多少次查询。

没有。没有与谷歌地图上的列表有关的电子邮件的公开信息。Outscraper使用外部资源来寻找这些电子邮件。

是的，你可以使用高级参数中的过滤器，并使用以下运算符。

你可以按城市/州或其他一些独特的属性分割你的任务。例如，你可以在第一个任务中提取纽约的地方，在第二个任务中提取加利福尼亚的地方。

是的。 To find businesses without websites, you can use our advanced search filters. Choose the ‘site’ field and set it to ‘is blank’. This will show you businesses that don’t have a website. If you want to see businesses with websites, just set the ‘site’ field to ‘is not blank’ instead.

To learn more about filters, please visit this article: https://outscraper.com/google-maps-data-scraper-filters/

联系我们

如果您有任何问题、特殊需求或问题...我们很乐意听到您的声音。