Зміст
Збір даних про ціни на готелі може бути законним за певних обставин, але не існує універсального правила, яке б робило законним кожен робочий процес збору даних про готелі.
Для туристичних компаній, які запитують, чи Збір даних про ціни на готелі є законним, відповідь залежить від кількох факторів: звідки походять дані, чи є вони загальнодоступними, як здійснюється доступ до веб-сайту, що передбачено в умовах користування веб-сайтом, яка юрисдикція застосовується, яка інформація збирається та як ця інформація буде використовуватися.
Тому правильніше було б запитати не просто: “Чи зможемо ми зібрати дані про ціну цього готелю?”
Це:
Чи був цей конкретний робочий процес обробки даних про ціни на готелі розроблений з урахуванням відповідних законодавчих, договірних, технічних вимог та вимог щодо використання даних?
У цьому посібнику викладено основні питання щодо дотримання нормативних вимог, які туристичні компанії повинні врахувати перед тим, як розпочати збір даних про ціни на готелі у великих обсягах.
Коротка відповідь: Чи є законним збір даних про ціни на готелі?
Збір даних про ціни на готелі може бути законним за певних обставин, але дотримання законодавства залежить від джерела, способу доступу, умов використання веб-сайту, юрисдикції, вимог щодо конфіденційності, технічних обмежень, а також від того, як використовуються отримані дані. Публічна доступність має значення, але вона не робить автоматично допустимим кожен спосіб збору або повторного використання даних.
Чи є законним збір даних про ціни на готелі?
Немає єдиної універсальної відповіді «так» чи «ні».
Туристична компанія може збирати загальнодоступні ціни на номери з метою моніторингу конкурентних тарифів, тоді як інший робочий процес може передбачати доступ до тарифів, що вимагають входу в систему, особисті дані, захищені описи готелів, фотографії або автоматизований доступ, що суперечить договірним чи технічним обмеженням.
Ці ситуації не слід розглядати як рівнозначні.
Корисним способом аналізу цього питання є виділення чотирьох різних типів обмежень.
Правові обмеження
Закони, нормативні акти, вимоги щодо захисту персональних даних, норми авторського права, права на бази даних або інші чинні правові акти можуть впливати на те, як здійснюється доступ до інформації, її обробка, зберігання або повторне використання.
У Сполучених Штатах Закон про комп’ютерне шахрайство та зловживання може застосовуватися у випадках, коли автоматизований доступ виходить за межі дозволу або технічних обмежень доступу.
Міністерство юстиції США надає офіційні рекомендації щодо застосування Закону про комп’ютерні шахрайство та зловживання (CFAA) та проводить розмежування між певними питаннями, пов’язаними з доступом до комп’ютерних систем, та ситуаціями, що стосуються виключно договірних обмежень.
Однак ці рекомендації не слід трактувати як загальний дозвіл на зчитування даних з веб-сайтів або ігнорування відповідних умов.
Достовірне джерело:
https://www.justice.gov/jm/jm-9-48000-computer-fraud
Договірні обмеження
Умовами користування веб-сайтом, угодами щодо API, ліцензіями та іншими договорами можуть бути встановлені умови, що регулюють автоматизований доступ та повторне використання.
Договірне обмеження не завжди є тотожним кримінально-правовій забороні.
Однак це не означає, що умови договору не мають значення.
Перш ніж збирати дані про готелі, туристична компанія повинна з’ясувати, які угоди чи умови застосовуються до даного джерела та як ці умови впливають на запланований робочий процес.
Технічні обмеження
Технічні заходи контролю можуть включати:
- вимоги до входу в систему
- аутентифікація
- КАПЧА
- обмеження частоти запитів
- елементи керування сеансом
- обмеження доступу
- інші системи, призначені для обмеження автоматизованого доступу
Спроба обійти ці заходи контролю може призвести до виникнення профілю ризику, який істотно відрізняється від того, що виникає під час доступу до інформації, яка є відкрито доступною для звичайних відвідувачів.
Файл robots.txt та правила індексації
A robots.txt Файл — це інструкція у машиночитаному форматі, яку веб-сайти використовують для передачі налаштувань сканування.
Це не слід розглядати як окремий закон.
Проте це все одно може бути технічним або політичним сигналом, який слід враховувати в рамках відповідального процесу збору даних.
Ключова відмінність полягає в наступному:
Законодавча заборона, договірні обмеження, технічні обмеження та політика індексації — це пов’язані між собою питання, але вони не завжди є одним і тим самим.
Саме тому твердження “дані є загальнодоступними” саме по собі не є достатнім для того, щоб визначити, чи є робочий процес збору даних про ціни на готелі обґрунтованим.
Основні ризики, пов’язані з дотриманням нормативних вимог, на які слід звернути увагу компаніям туристичної галузі
Оцінити процес збору даних про ціни на готелі стає простіше, якщо розбити робочий процес на конкретні етапи.
Перед впровадженням компанія повинна знати, яку інформацію вона хоче збирати, звідки ця інформація надходить, як буде здійснюватися доступ до джерела та як буде використовуватися отриманий набір даних.
Умови надання послуг та обмеження доступу
Почніть з першоджерела.
Визначте, чи ціни на готелі відкрито доступні без проходження аутентифікації, а також чи накладає джерело договірні обмеження щодо автоматизованого збору, копіювання, зберігання, поширення або комерційного використання.
Тарифи для широкої публіки та тарифи, доступні лише для членів, не слід автоматично розглядати як один і той самий випадок.
Наприклад, моніторинг публічно оприлюднених нічних тарифів може мати інший профіль ризику, ніж отримання цін, доступних лише після проходження аутентифікації або через обмежений доступ для членів клубу.
Конфіденційність та персональні дані
Самі ціни на готелі, як правило, стосуються комерційної пропозиції, а не конкретної особи.
Однак більш обширні набори даних про готелі іноді можуть містити імена, контактні дані, відгуки чи іншу інформацію, пов’язану з особами, яких можна ідентифікувати.
Якщо мова йде про персональні дані, вимоги щодо конфіденційності стають окремим аспектом, який необхідно враховувати з точки зору дотримання нормативних вимог.
Відповідно до Загального регламенту ЄС про захист даних (GDPR) обробка персональних даних вимагає наявності відповідної правової основи згідно зі статтею 6 та повинна відповідати іншим чинним вимогам GDPR.
Офіційне джерело ЄС:
https://eur-lex.europa.eu/eli/reg/2016/679/
Практичне питання полягає в наступному:
Чи дійсно бізнесу потрібні всі поля, дані з яких він планує збирати?
Якщо метою є моніторинг цін на готельні номери, збір непотрібної особистої інформації може ускладнити дотримання нормативних вимог, не покращуючи при цьому аналіз ціноутворення.
Авторські права та права на бази даних
Збирання фактичної ціни за номер — це не те саме, що копіювання повного опису готелю.
Бюро з авторських прав США пояснює, що самі по собі факти не охороняються авторським правом, хоча оригінальне вираження може бути захищене.
Офіційне джерело:
https://www.copyright.gov/help/faq/faq-protect.html
Ця відмінність має значення для робочих процесів, пов’язаних з даними про готелі.
До полів фактичних даних можуть належати:
- назва готелю
- вартість за ніч
- наявність
- тип номера
- місцезнаходження
- оцінка нерухомості
Коли підприємство копіює або повторно публікує матеріали, можуть виникнути інші міркування:
- фотографії готелю
- детальні описи
- рекламний текст
- редакційний контент
- інший виразний матеріал
Важливе значення можуть мати також права, пов’язані з конкретною базою даних.
У рамках Європейського Союзу Директива 96/9/ЄС забезпечує правовий захист баз даних і містить норми, що стосуються вилучення та повторного використання даних.
Офіційне джерело ЄС:
https://eur-lex.europa.eu/legal-content/EN/ALL/?uri=CELEX:31996L0009
Тому підприємство має оцінювати не лише окремі поля даних, що збираються, а й обсяг, структуру та подальше використання отриманого набору даних.
Відповідальне поводження при надсиланні запитів
Поля даних — це лише частина робочого процесу.
Важливе значення має також спосіб збору даних.
Туристичним компаніям слід враховувати частоту запитів, навантаження на сервер, обмеження частоти запитів, вимоги до автентифікації, кількість повторних спроб, паралельність запитів, а також те, чи не заважає автоматизований збір даних роботі джерела.
У рамках відповідального робочого процесу не слід виходити з того, що більш агресивний підхід до доступу автоматично призводить до кращих бізнес-результатів.
Коли збір даних про ціни на готелі стає більш ризикованим
Деякі робочі процеси, пов’язані з даними про готелі, викликають більше питань щодо дотримання вимог, ніж інші.
Наведені нижче сценарії ілюструють, як може змінюватися профіль ризику.
Публічний моніторинг тарифів конкурентів
Уявіть собі туристичну компанію, яка відстежує загальнодоступні ціни на номери за ніч у вибраних готелях.
Це може становити менший відносний ризик, ніж доступ до інформації з обмеженим доступом, оскільки ціни доступні без проходження аутентифікації.
Проте підприємству все одно слід ознайомитися з чинними умовами, механізмами автоматизованих запитів, юрисдикцією, політиками джерел та подальшим використанням даних.
Доступність для громадськості є важливим фактором, але вона не вирішує всіх питань щодо дотримання вимог.
Повторна публікація повних списків готелів
А тепер уявімо собі сайт-порівняльник, який збирає інформацію про ціни, а також фотографії готелів, докладні описи, рекламні тексти та інший вміст сторінок і повторно публікує все це на своєму власному веб-сайті.
Можуть виникнути додаткові проблеми, оскільки робочий процес тепер охоплює творчий контент, фотографії, права на бази даних, питання ліцензування та договірні обмеження.
Це суттєво відрізняється від збору лише окремих полів, що містять фактичні дані про ціни, для внутрішнього аналізу.
Доступ до тарифів, доступних лише для членів, або до тарифів із обмеженим доступом
Припустимо, що скрейпер намагається зібрати ціни, доступ до яких можливий лише після входу в систему, реєстрації, автентифікації або іншої процедури обмеженого доступу.
Ця ситуація заслуговує на більш ретельне вивчення.
Все більшого значення набувають авторизація, контроль доступу, умови договорів та діючі правила доступу до комп’ютерних систем.
У робочому процесі не слід виходити з того, що дані можуть збиратися автоматично лише тому, що уповноважений користувач має доступ до їх перегляду.
Офіційні API або ліцензовані канали даних
Натомість туристична компанія може отримувати інформацію про ціни на готелі через авторизований API або ліцензований канал даних.
Це може забезпечити чіткіші права доступу та більш передбачуваний технічний доступ.
Проте угоди щодо API та ліцензування як і раніше визначають, яким чином можна отримувати доступ до даних, відображати, зберігати, поширювати або використовувати їх у комерційних цілях.
Висновок полягає не в тому, що один метод автоматично є законним, а інший — автоматично незаконним.
Натомість, Різні методи збору даних зумовлюють різні права доступу, операційні компроміси та зобов’язання щодо дотримання вимог.
Перелік вимог щодо збору даних про ціни готелів
Перш ніж розпочинати або розширювати робочий процес збору даних про ціни на готелі, зафіксуйте відповіді на такі питання:
- Чи є дані про ціни загальнодоступними? Визначте, чи можуть звичайні відвідувачі переглядати його без авторизації або спеціального доступу.
- Чи обходимо ми процедури автентифікації або технічні засоби контролю? Визначте етапи входу в систему, обмеження доступу, обмеження частоти запитів або інші перешкоди.
- Що зазначено в умовах користування веб-сайтом? Ознайомтеся з чинними Умовами надання послуг, ліцензіями, умовами використання API та іншими угодами.
- Які саме дані ми збираємо? Відокремлюйте фактичну інформацію про ціни від фотографій, описів, персональних даних та іншого контенту.
- Чи збираємо ми лише те, що необхідно? Обмежте набір даних інформацією, необхідною для досягнення бізнес-цілі.
- Чи містить набір даних особисті дані? У такому разі визначте, які правила щодо захисту персональних даних та вимоги щодо законності обробки даних застосовуються.
- Ми збираємо фактичні ціни чи захищений контент? Вартість номера та оригінальна фотографія готелю викликають різні запитання.
- Як будуть зберігатися та повторно використовуватися ці дані? Розгляньте такі аспекти, як збереження даних, аналітика, перерозподіл, публікація, перепродаж та інтеграція з іншими системами.
- Чи буде будь-який зібраний матеріал опубліковано повторно? Повторна публікація може спричинити виникнення додаткових питань щодо авторських прав, прав на бази даних, ліцензування або договірних зобов’язань.
- Чи надсилаються запити відповідально? Перегляньте обсяг запитів, їхню частоту, кількість одночасних запитів, кількість повторних спроб та навантаження на сервер.
- Чи надає джерело API або ліцензований канал даних? Офіційний метод може забезпечити більш чіткі права доступу для деяких випадків використання.
- Які юрисдикції застосовуються? Компанія, джерело, готелі, користувачі та системи обробки даних можуть перебувати в різних юрисдикціях.
- Чи виправдовує масштаб або бізнес-модель проведення юридичної експертизи? У разі масштабних або юридично неоднозначних робочих процесів може знадобитися консультація кваліфікованого юриста.
Практичне внутрішнє правило звучить так:
Спочатку визначте робочий процес. Потім оцініть вимоги щодо дотримання нормативних вимог. Розширюйте масштаби лише після того, як ви зрозумієте обидва ці аспекти.
Вибір правильного методу збору даних про готелі
Після завершення перевірки на відповідність вимогам підприємство може вирішити, яким чином слід отримати необхідну інформацію про ціни на готельні номери.
Три найпоширеніші підходи — це веб-скрейпінг, офіційні API та ліцензовані джерела даних.
Вишкрібання веб-сторінок
Веб-скрейпінг дозволяє гнучко збирати дані, коли компанії потрібна структурована інформація з загальнодоступних веб-джерел.
Серед можливих варіантів використання — моніторинг цін конкурентів, дослідження ринку, аналіз наявності вільних місць, пошук об’єктів нерухомості та порівняння цін на готелі.
Проте підприємство й надалі несе відповідальність за оцінку джерела, способу доступу, умов договору, чинного законодавства, характеру запитів та подальшого використання даних.
Практичний приклад реалізації див. Як налаштувати скрайбінг цін на готелі для туристичних афіліатів.
Офіційні API-інтерфейси
Офіційні API забезпечують чітко визначений технічний інтерфейс для доступу до даних.
Вони можуть забезпечувати вищу технічну стабільність та чіткіші умови доступу, але водночас можуть накладати обмеження щодо доступних полів, квот на запити, географічного охоплення, дозволеного використання, вимог до відображення або поширення.
Умови використання API ще потрібно переглянути, оскільки авторизований доступ не означає автоматично необмежене повторне використання.
Ліцензовані джерела даних
Ліцензовані джерела даних про готелі можуть бути корисними, коли підприємству потрібні передбачувані права доступу, договірна підтримка, стабільна доступність або чітко визначені права на комерційне використання.
Такий компроміс може полягати у вищих витратах, меншій гнучкості або залежності від зони покриття оператора.
Для багатьох туристичних компаній це рішення залежить від чотирьох факторів:
покриття, надійність, права доступу та оперативна гнучкість.
Система Outscraper може бути інтегрована в рівень збору даних після того, як підприємство визначить необхідну інформацію та проаналізує відповідні вимоги щодо дотримання нормативних вимог.
Команди, що займаються аналізом даних про готелі, можуть вивчити Скрейпер для Google Hotels або Скрейпер готелів Booking.com залежно від необхідного джерела та конкретного випадку використання.
Компанії, діяльність яких зосереджена на робочих процесах з моніторингу тарифів, також можуть переглянути Інструменти для порівняння цін на готелі: корпоративні рішення проти доступних альтернатив.
Інструмент для збору даних повинен бути після ухвалення рішення щодо дотримання вимог, а не до цього.
Створіть перевірку на відповідність вимогам, перш ніж розширювати масштаби роботи скрепера
Найкорисніше питання полягає не просто в тому, чи Збір даних про ціни на готелі є законним.
Туристична компанія повинна спочатку визначити, які саме дані їй потрібні, встановити їх джерело, з’ясувати умови доступу, ознайомитися з відповідними умовами та законодавчими вимогами, а також вирішити, як отримана інформація буде зберігатися та використовуватися.
Лише після цього підприємство має обрати спосіб стягнення заборгованості.
Практичний алгоритм дій такий:
Визначити необхідні дані → визначити джерело → з’ясувати умови доступу → ознайомитися з умовами та відповідними правилами → обрати метод збору даних → провести тестування з дотриманням відповідальності → масштабувати
Такий підхід дозволяє пов’язати рішення щодо відповідності вимогам із фактичним робочим процесом обробки даних готелів, а не спиратися на загальні припущення щодо веб-скрейпінгу.
Поширені запитання
Найпоширеніші запитання та відповіді
Збір даних про ціни на готелі може бути законним за певних обставин, але універсального правила не існує. Відповідь залежить від таких факторів, як загальнодоступність, спосіб доступу, умови використання веб-сайту, юрисдикція, технічні обмеження, тип зібраних даних та спосіб використання отриманої інформації.
Ні. Публічна доступність є одним із важливих чинників, але вона не вирішує автоматично питань, пов’язаних із договорами, авторським правом, правами на бази даних, технічним доступом, конфіденційністю або юрисдикцією.
Отримання доступу до цін, доступ до яких обмежено логіном, членством або іншими обмеженнями, може спричинити додаткові питання щодо авторизації, технічного доступу та договірних відносин. Ці робочі процеси потребують більш ретельного аналізу, ніж звичайне збирання даних із загальнодоступних сторінок.
Згідно з принципами авторського права США, самі факти, як правило, відрізняються від оригінальних висловлювань, що підлягають захисту. Однак фотографії готелів, описи, рекламні тексти та інші матеріали, що містять висловлювання, можуть викликати інші питання щодо авторського права. У деяких юрисдикціях також можуть застосовуватися права на бази даних.
Файл robots.txt — це інструкція щодо сканування або сигнал про політику, що сприймається машиною. Сам по собі він не є універсальним законом. Проте він все ж може мати значення при розробці відповідальних методів автоматизованого збору даних.
Офіційний API може забезпечувати більш чіткі технічні умови доступу та договірні умови, але дозволене використання, зберігання, відображення, поширення та інші дії все одно регулюються власними умовами використання цього API.
Ні. Інструмент збору даних не визначає, чи відповідає конкретний робочий процес вимогам законодавства. Підприємствам слід оцінювати джерело даних, умови доступу, умови використання, юрисдикцію, тип даних та передбачене використання для свого конкретного проєкту.
Юридична експертиза може бути доцільною, якщо робочий процес є масштабним, має комерційне значення, пов’язаний з інформацією з обмеженим доступом або персональними даними, охоплює кілька юрисдикцій, передбачає повторну публікацію вихідного контенту або містить невизначеність, яка може істотно вплинути на діяльність підприємства.
Визначте, які дані про ціни на готельні номери потрібні вашому бізнесу, оцініть відповідний спосіб їх збору та створіть структурований робочий процес лише після того, як ви зрозумієте джерело даних, умови доступу, положення та вимоги, що застосовуються до вашого конкретного випадку використання.
