Outscraper 常见问题

一般的

抓取、采集、解析或提取是指从某个公开网站获取所有信息的过程。它实现了数据导出的自动化,取代了手动操作。.

对公共数据的刮削和提取受到美国宪法第一修正案的保护。第九巡回上诉法院裁定,自动刮取公共数据并不违反《计算机欺诈和滥用法》(CFAA)。虽然,你应该就你的具体事项寻求律师的意见,以遵守你的管辖区的法律。

每个爬取任务都在云端运行。您的IP地址不会受到爬取操作的影响。.

请查阅 API 文档,或访问 GitHub 页面,获取有关如何将服务集成到代码中的专业技巧。请访问 博客。.

我们只提取公开的数据,刮刀作为数据科学家、开发人员和营销人员的浏览器来使用。

保证无PII数据的机制是选择要返回的列。

不。所有数据抓取操作均在Outscraper服务器上进行,从而确保您的IP地址不会被用于数据抓取。这也意味着在数据提取任务运行时,您可以关闭电脑。.

支付和订阅

发票将根据服务在账单期(30天)的使用情况生成。价格列在页面。

免费层是指你每个月可以免费使用的用量。例如,一些产品有一个每月500个请求的免费层。这意味着在一个月内,任何低于500次请求的产品使用量将是免费的。

订阅完成后,您将收到一份关于订阅期内使用服务的账单。.

如果你不能在3天内付款,系统将尝试自动向你收费。

  1. 在添加积分之前,请确保您已在账单信息页面(以备在发票或采购订单中需要时使用)中填写了您的详细信息。.
  2. 转到 您的个人资料页面。
  3. 输入你想增加的点数。
  4. 选择你想使用的支付方式,以增加信用额度(信用卡、PayPal等)。
  5. 在点击你的支付方式的按钮后,按照支付方式提供者的步骤操作。

当您产生一定用量后,即可在个人资料页面上查看即将开具的发票。 一旦确定应付金额,您可以点击“生成发票”手动生成发票,否则系统将在30天内自动生成发票。.

一旦你在你的账户上增加信用额度(预付选项),你将通过电子邮件收到交易收据。

包含特定服务使用情况的发票将在每个计费周期(30天)结束后生成。 此外,一旦您得知应付金额,也可以通过点击"个人资料页面"上的“生成发票”按钮,手动生成发票。.

是的,Outscraper将从您的账户余额$10中扣除,并开出一张额外的发票,其中包括应付金额。

不,任务将被完成,如果任务使用量大于你的账户积分,你将会收到一张带有未完成使用量的发票。

你可以使用限额来限制提取的数据量。

  1. 打开 Outscraper 平台。.
  2. 导航到 账单信息页.
  3. 输入你想在发票上看到的必要的帐单信息。
  4. 点击 "保存 "按钮。你今后所有的发票都将以你所输入的信息来创建。

推荐朋友并开始接收 35% 您的账户余额中。您的推荐人将收到 25% 首次付款可享受折扣。 立即获取推荐链接.

API

每秒查询(请求)的上限取决于请求的性质、服务以及请求参数(结果数量、查询次数等)。平均每秒查询数(QPS)约为 20(软限制)。不过,Outscraper 可以根据您的需求进行扩展。请 联系我们的团队 以防你需要一个更高的QPS。

是的。API 支持批量处理,即通过发送包含最多 25 个查询的数组(例如:query=text1&query=text2&query=text3)。这允许在一个请求中发送多个查询,从而减少网络延迟。.

导航至 个人资料页->API令牌来创建一个新的密钥。

平均响应时间为3-5秒。但这可能取决于服务(速度优化或没有)类型和每个请求的查询数量(批量选项)。

为提高 API 的性能和吞吐量,请遵循以下最佳实践。.
  1. 使用批处理将多个查询包含在一个请求中(例如: query=text1&query=text2&query=text3).
  2. 用 async=true (默认) 用于在不保持 HTTP 连接打开的情况下提交任务。这有助于防止超时,并能让您高效地排队处理大量请求。结合 webhook 使用,您可以批量提交任务,并在结果准备就绪后立即自动接收。.
  3. 并行执行请求以最大限度地提高吞吐量。请查看 这个例子.
  4. 使用一个 webhook 在结果准备就绪后进行检索。.

有些任务可能需要时间来提取数据。有几种方法来处理超时。

  1. 使用重试。预计某些数量的搜刮请求可能会返回错误或超时。通常情况下,再试一次就能解决这个问题。
  2. 使用异步请求。一种良好的实践是发送异步请求,并在预计执行时间过后开始检查结果。 请参考 此 Python 实现作为示例。
  3. 一旦结果准备就绪,请使用 webhook 来获取结果。.

谷歌地图抓取工具

有时,Google 会在您的搜索结果中添加其他类别。 例如,当你搜索 餐厅 时,可能会看到 酒吧、咖啡 店,甚至 酒店。 这可能会导致出现不相关的数据,尤其是当你使用诸如 游泳池 之类的次要类别时。

Outscraper 为您提供了两种工具,可用于消除这些类别。

  1. 谷歌地图上的地标类别

    使用"完全匹配"复选框。该参数指定是否只返回你所选择的类别或谷歌显示的所有内容。通过在谷歌上打开类似的地方并检查类别,确保你使用的是正确的类别。

  2. 筛选结果

    通过在"子类型"列中应用 筛选器 应用于“子类型”列,即可筛选结果。此类筛选器可剔除所有无关数据,仅返回您所需的内容。 为避免出现空结果,请确保在使用过滤器之前熟悉各字段的值。

在某些情况下,预定义的位置或/和类别是不够的。使用“自定义位置”或/和“自定义类别”选项插入您需要的类别或/和位置。

谷歌地图有一个限制,每次查询搜索最多只能显示400-500个地方。当一个类别中的公司较多时,这可能是一个问题。例如,对于查询 “餐厅,布鲁克林”.

为了克服这个问题,我们建议将地点拆分为子地点。例如,通过使用邮政编码:
“餐厅,布鲁克林 11203”,
“餐厅,布鲁克林 11211”,
“餐厅,布鲁克林 11215”,

……

或者使用带有子类别的查询:

“亚洲餐厅,布鲁克林”,

“意大利餐厅,布鲁克林”,

“墨西哥餐厅,布鲁克林”,

……

勾选 "使用查询 "切换器并输入查询。

要强制 Google 仅搜索特定公司,请将术语括在引号“”之间。 这 ” “ 运算符通常用于停用词(Google 否则会忽略的词),或者当您希望 Google 仅返回与您的搜索词完全匹配的那些页面时。

单击“提取数据...”按钮后,您将看到任务估计和查询。

建议单击并打开一些查询以查看它在 Google 地图站点上的外观。

您应该遵循两件事来控制预期的结果数量。

1. 每次查询的组织数量限制 – 每次查询中可获取的组织数量上限。

2. 查询次数——您将进行的搜索查询次数。.

机器人将进行 6 次查询以从 2 个类别和 3 个位置提取数据。

因此,由此产生的数量将不超过 480 个组织(限制为 80 * 6 个查询)。

你可以通过选择 "删除重复 "复选框来删除一个任务中的重复内容。

是的,你可以通过使用 "删除重复 "复选框(高级参数)在一个任务内删除重复的内容。或者,你可以通过使用 "google_id "或 "place_id "字段作为一个地方的唯一标识符,自己删除它。

结果的确切数量只有在提取后才能知道。

您可以使用“总名额限制”来限制最终抓取的结果数量。

是的。您可以使用以下链接作为查询:“https://www.google.com/maps/search/real+estate+agency/@41.4034,2.1718413,17z”,其中您可以指定查询内容(real+estate+agency)、坐标(41.4034,2.1718413)以及缩放级别(17z)。 您可以在浏览谷歌地图时找到这些数值。.

此外,如果您正在使用 API时,也可以使用"coordinates"参数。.

可以。您可以使用 Emails & Contacts Scraper 和 Google Maps scraper 来丰富来自 Google 的数据。为此,请在 Google Maps Scraper 页面的 "通过其他服务丰富 "部分选择 "电子邮件和联系人 Scraper"。

没有。没有与谷歌地图上的列表有关的电子邮件的公开信息。Outscraper使用外部资源来寻找这些电子邮件。

是的,你可以使用高级参数中的过滤器,并使用以下运算符。

你可以按城市/州或其他一些独特的属性分割你的任务。例如,你可以在第一个任务中提取纽约的地方,在第二个任务中提取加利福尼亚的地方。

是的。 要查找具有……的企业若要查找没有网站的商家,您可以使用我们的高级搜索筛选器。选择‘网站’字段,并将条件设置为‘为空’。这样就会显示没有网站的商家。如果您想查看有网站的商家,只需将‘网站’字段的条件改为‘不为空’即可。.

如需进一步了解过滤器,请参阅以下文章: https://outscraper.com/google-maps-data-scraper-filters/

联系我们

需要 Outscraper 产品方面的帮助?我们将为您提供所需的帮助