Outscraper 常见问题

一般的

刮取、收获或提取是从某个公共站点获取所有信息的过程。它自动手动导出数据。
公共数据的抓取和提取受美国宪法第一修正案的保护。第九巡回上诉法院裁定,自动抓取可公开访问的数据不违反《计算机欺诈和滥用法》(CFAA)。尽管如此,您应该就您的具体事项寻求律师的咨询,以遵守您所在司法管辖区的法律。
查看 API 文档 或访问 GitHub 页面以深入了解如何将服务与代码集成。查看 博客.
我们只提取公开的数据,刮刀作为数据科学家、开发人员和营销人员的浏览器来使用。 保证无PII数据的机制是选择你想要返回的列。

支付和订阅

发票将根据使用情况生成 服务 在此期间 账单 期间(30 天)。价格列于 这一页.
免费套餐是您每月可以免费使用的使用量。例如,某些产品 X 有一个免费套餐,每月有 500 个请求。这意味着一个月内任何低于 500 次请求的产品使用都是免费的。
订阅完成后,您将收到有关使用的发票 服务 认购期内。 如果您无法在 3 天内付款,系统将尝试自动向您收费。
一旦你有了一些使用量,你可以在以下网站上看到即将到来的发票 简介页.一旦你有了应付金额,你可以通过点击 "生成发票 "手动生成发票,或者在30天内自动生成。
一旦你在你的帐户上增加点数(预付选项),你将通过电子邮件收到交易的收据。 在每个账单期(30天)之后,将生成特定服务使用的发票。或者,一旦你有了应付的金额,你可以通过点击 "生成发票 "来手动生成发票。 简介页.

是的,Outscraper将从您的账户余额中扣除$10的费用,并开出一张额外的发票,注明应付金额。

任务完成后,如果任务使用量大于你的账户积分,你将会收到一张未使用的发票。

你可以使用限额来限制提取的数据量。

应用程序接口

每秒查询次数的限制(QPS)取决于请求的性质(服务、结果的限制等)。平均QPS约为 20. 联系我们 以防你需要更多。

是的。API支持批处理,通过发送数组,最多可以达到 25 查询(例如 query=text1&query=text2&query=text3).它允许在一个请求中发送多个查询,并节省网络延迟时间。

导航至 个人资料页->API令牌来创建一个新的密钥。

平均响应时间为3-5秒。但这可能取决于服务(速度优化或没有)类型和每个请求的查询数量(批量选项)。

谷歌地图抓取工具

有时谷歌会在你的搜索中加入其他类别。例如,当你搜索 餐馆 你可能会看到 酒吧, 咖啡 商店,甚至是 酒店.这可能会导致不相关的数据,特别是当你使用一些小的类别,如 游泳馆。

Outscraper 为您提供了两种工具,可用于消除这些类别。

  1. 谷歌地图上的地标类别

    使用"完全匹配"复选框。该参数指定是否只返回你所选择的类别或谷歌显示的所有内容。通过在谷歌上打开类似的地方并检查类别,确保你使用的是正确的类别。

  2. 筛选结果

    通过应用过滤结果 过滤器 到子类型列。这样的过滤器可以消除所有不相关的数据,只返回你需要的内容。为了避免空的结果,在使用过滤器之前,请确保你熟悉字段的值。

在某些情况下,预定义的位置或/和类别是不够的。使用“自定义位置”或/和“自定义类别”选项插入您需要的类别或/和位置。
Google 地图有一个限制,即每次查询搜索最多只能显示 400-500 个地点。当一个类别中有更多公司时,这可能是一个问题。例如,对于查询 “餐厅,布鲁克林”. 为了克服这个问题,我们建议将地点拆分为子地点。例如,通过使用邮政编码。 “餐厅,布鲁克林 11203”, “餐厅,布鲁克林 11211”, “餐厅,布鲁克林 11215,......或者使用带有子类别的查询。 “亚洲餐厅,布鲁克林”, “意大利餐厅,布鲁克林”, “墨西哥餐厅,布鲁克林”, …
选中“使用查询”切换器并输入查询。
要强制 Google 仅搜索特定公司,请将术语括在引号“”之间。 ” “ 运算符通常用于停用词(Google 否则会忽略的词),或者当您希望 Google 仅返回与您的搜索词完全匹配的那些页面时。
单击“提取数据...”按钮后,您将看到任务估计和查询。 建议单击并打开一些查询以查看它在 Google 地图站点上的外观。
有两件事你应该遵循,以控制预期结果的数量。 1. 每个查询限制的组织 – 组织从一个查询中获取的限制。 2. 查询次数 – 您要进行的搜索查询的数量。 机器人将进行 6 次查询以从 2 个类别和 3 个位置提取数据。 因此,由此产生的数量将不超过 480 个组织(限制为 80 * 6 个查询)。

你可以通过选择 "删除重复 "复选框来删除一个任务中的重复内容。

是的,你可以通过使用 "删除重复 "复选框(高级参数)在一个任务中删除重复的内容。另外,你也可以通过使用 "google_id "或 "place_id "字段作为一个地方的唯一标识符,自己删除它。

准确的结果数量只有在提取后才能知道。 你可以使用 "总位数限制 "来限制最终刮出的结果数量。
是的,你可以使用以下链接作为查询"https://www.google.com/maps/search/real+estate+agency/@41.4034,2.1718413,17z",在这里你可以指定一个查询(房地产+机构),坐标(41.4034,2.1718413)和缩放水平(17z).你可以在访问谷歌地图时找到这些值。 或者,你可以使用 "坐标 "参数,如果你使用的是 应用程序接口.
是的,你可以使用 电子邮件和通讯录搜刮器 与谷歌地图搜刮器一起,丰富来自谷歌的数据。为了做到这一点,选择 "其他服务丰富 "部分中的 "电子邮件和联系人刮刀"。 谷歌地图搜刮器页面.

没有。没有与谷歌地图上的列表有关的电子邮件的公开信息。Outscraper使用外部资源来寻找这些电子邮件。

是的,你可以使用高级参数中的过滤器,并使用以下运算符。

博客

联系我们

问题、特殊需求、问题……总是很高兴收到您的来信。