Популярные вопросы по тегу GOOGLE-BIGQUERY
Как авторизоваться в Google Cloud с помощью учетной записи службы в Python?
... т 23 загружать json-файл хранилища Google в BigQuery 22 (просто автоматизируйте то, что сейчас делается 21 вручную). И я хотел бы использовать для этого 20 «служебную учетную запись», поскольку мой 19 скрипт будет запускаться ежедневно. Прочитав 18 все, что я смог найт ...
BigQuery - как сравнить столбец «дата» (используя устаревший SQL)?
... же пробовал этот запрос: SELECT * FROM dataset.table_name WHERE Date = TIMESTAMP("2016-07-11") но 4 это возвращает 0 результатов, хотя моя таблица 3 содержит по крайней мере од ...
REGEXP_MATCH в BigQuery Standard SQL
... щает: Ошибка: функция не найдена: REGEXP_MATCH Что 1 могло бы быть альтернативой его использованию? [1] https://cloud.google.com/bigquery/sql-reference/functions- ...
Google BigQuery - как удалить таблицу с помощью команды bq?
... обнаружил, что 2 инструмент bq намного проще реализовать, чем 1 писать интерфейс Python для кажд ...
Как мне определить URI Google Cloud Storage в моей консоли разработчика Google?
... и способ определить URL-адрес 7 моих загруженных данных через консоль разработчика 6 Google на основе браузера. Единственный 5 способ найти URL-адрес - через gsutil, и 4 мне не удалось заставить gsutil работать 3 на моем компьютере. Есть ...
BigQuery разбивает массив на отдельные строки
... колько строк (массив). Как можно запросить 4 эту таблицу для преобразования массива каждой 3 строки в отдельную строку, чтобы моя результирующая 2 т ...
Эквивалент COALESCE() в BigQuery?
... 2 новую архитектуру в BigQuery. Есть ли в 11 BigQuery аналог COALESCE()? В настоящее время 10 я конвертирую запрос Postgres, например coalesce(column1,'DEFAULT') в CASE WHEN column1 IS NOT NULL THEN column1 ELSE 'DEFAULT' END AS column1 что 9 кажется достаточно простым. Однако преобразование 8 оператора запроса Postgres с вложенными 7 операторами объединения, такими как count(distinct coalesce( ...
BigQuery FIRST_VALUE и IGNORE_NULLS - почему так работает?
... UTC F35-39 Mary Пока я ожидаю: Row name finish_time division fastest_in_division 1 Bob 2016-10-18 02:51:45 UTC F30-34 Bob 2 null 2016-10-18 02:54:11 UTC F35-39 **Mary** 3 Mary 2016-10-18 02:59:01 UTC F35-39 Mary 4 John 2016-10-18 03:01:17 UTC F35-39 Mary Кажется, что 4 IGNORE_NULLS пропускает строки, когда 'name' равно 3 нулю И идет первым по порядку - тогда ...
Как преобразовать результаты, возвращаемые из bigquery, в формат Json с помощью Python?
... ts = {x[0]: x[1] for x in zipped_results} except IndexError: results = None # from google.cloud import bigquery # client = bigquery.Client() query = """ SELECT word, word_count FROM `bigquery-public-data.samples.shakespeare` WHERE corpus = @corpus AND word_count >= @min_word_count ORDER BY word_count DESC; """ query_params = [ bigquery.ScalarQueryParameter("corpus", "STRING", ...
Длительная работа в облаке GCP
... прос. Решение было задержано 8 при запуске GCP Cloud, но после 2–3 секунд 7 облачного запуска контейнер закрывается 6 с ошибкой 503. Ниже представлена конфигурация 5 GCP Cloud Run. Автомасштабирование: до 1 4 экземпляра контейнера Выделено ...
Выбрать все столбцы, кроме некоторых, в Google BigQuery?
... на столбцов 3 x, y, z] в BigQuery? Я вижу некоторые решен ...
BigQuery - значения, указанные в UNNEST, должны быть массивами. UNNEST содержит выражение типа STRUCT ... в [5:18]
... группировании массива. Я 6 поделюсь с вами схемой таблицы, с которой 5 я консультируюсь, чтобы вы могли сказать 4 мне решение. Я пробовал использовать ARRAY_TO_STRING, но 3 в этом случае не получилось ...
Номер строки в BigQuery?
... 8 полям. В некоторых сценариях номер строки 7 в BigQuery не нужен, например при использовании 6 функции TOP() или LIMIT. Однако он мне нужен 5 для моделирования некоторых аналитических 4 функций, таких как кумулятивная сумма(). Для 3 этого мне нужно обозначить каждую запись 2 порядковым номером. Есть ли спо ...
Как удалить несколько таблиц в большом запросе с помощью подстановочных знаков TABLE_DATE_RANGE()?
... ию, но не нашел 3 способа удалить несколько таблиц с помощью 2 подстановочных знаков. Я пытался сделать 1 что-то подобное, ...
Эффективный способ сравнения двух таблиц в bigquery
... rdSQL SELECT key1, key2 FROM ( SELECT table1.key1, table1.key2, table1.column1 - table2.column1 as col1, table1.col2 - table2.col2 as col2 FROM `table1` AS table1 LEFT JOIN `table2` AS table2 ON ...
Разделить строки, разделенные запятыми, на строки с помощью Bigquery
... тался использовать REGEXP_EXTRACT_ALL, но 1 не смог получить рез ...
Примеры Bigquery + PHP
... устить этот SQL в 3 браузере SELECT corpus,count(*) FROM publicdata:samples.shakespeare group by corpus limit 5; Я хочу смоделировать аналогичный 2 вызов через PHP. Даже грубый пример использования 1 P ...
Как обновить наборы данных / ресурсы в новом веб-интерфейсе Google BigQuery?
... в 10 в новом веб-интерфейсе Google BigQuery, чтобы 9 я мог видеть только что созданную таблицу? В 8 старом интерфейсе рядом с названием набора 7 данных был пункт раскрывающегося меню «Обновить». Я 6 не хочу перезагружать всю веб-страницу, потому 5 что это удаляет текст, который у меня есть 4 в редакторе запро ...
Преобразование BigQuery в другой часовой пояс
... ые хранятся в GMT. Пользователь 7 может пожелать увидеть данные в EST. В отчете 6 может быть предложено сгруппировать данные 5 по дате. Я не вижу функцию преобразования 4 часового пояса here: Кто-нибудь знает, как это 3 сделать в bigquery? ...
Как загрузить несколько файлов (одну и ту же схему) в таблицу в BigQuery?
... bigquery. Есть 5 ли возможность указать путь к папке в качестве 4 входных данных для команды BQ для загрузки 3 в таблицу bigquery? Мне интересно узнать, можно 2 ли это сделать без итераци ...
Как управлять ошибками Google API в Python
... время я много работаю с BigQuery 9 и использую много try... except.... Похоже, что почти каждая 8 ошибка, которую я получаю из BigQuery, - это 7 apiclient.errors.HttpError, но с другими 6 прикрепленными к ним строками, то есть: <HttpError 409 when requesting https://www.googleapis.com/bigquery/v2/projects/some_id/datasets/some_dataset/tables?alt=json returned "Already Exist ...
Можно ли перезаписать раздел в BigQuery?
... ится, что можно перезаписать 8 таблицу BigQuery новыми данными, однако 7 я бы хотел перезаписать раздел (или несколько 6 разделов). Возможно ли это? Я прочитал тонны 5 документа ...
Как сравнить два массива в BigQuery?
... ;, "cookie": [ { "key": "peach", "value: "pink" } ] } ,{ "id": "67890", "cookie": [ { "key": "apple", "value: "red" } ...
Экспорт из Google BigQuery в CloudSQL?
... анные из BigQuery (т. е. отчеты) в 6 базу данных CloudSQL. Как лучше всего добиться 5 этого программно? Я понимаю, что могу сделать 4 это manually, запустив запрос BigQuery, ...
Преобразование времени UNIX (INT) в метку времени в BigQuery
... ми 6 типами данных, а не типами данных временных 5 меток, поэтому у меня, похоже, нет простого 4 способа преобразовать их в удобочитаемые 3 дату / время. Есть ли у кого-нибудь хороший 2 способ преобразовать эти целые числа в значения 1 datetime в BigQ ...
Есть ли в BigQuery автоинкремент?
... оследовательности? Мне известно о ROW_NUMBER 2 https://cloud.google.com/bigquery/query-reference#row-number Но я хочу сохранить сгенериро ...
xxxx@gmail.com не имеет разрешения bigquery.jobs.create в проекте yyyy
... службы, я также просмотрел: Error :service account does not have bigquery.jobs.create permission The service accounts for both the Compute Engine project and the BigQuery project have the following: roles/bigquery.user roles/bigquer ...
Запускать облачную функцию при появлении новых данных в BigQuery
... 3 BigQuery. В идеале я хотел бы извлечь все 2 вставленные строки ...
Как использовать корреляцию bigquery на основе множества столбцов?
... еделения корреляции между 6 строками? Схема: id:integer, feature1:float, feature2:float, ..., feature100:float Изменить. Это не проблема корреляции 5 временных рядов скользящего окна. Каждая 4 строка представляет собой наблюдение за 3 100 функциями, и ...
Получение модуля google.protobuf.descriptor_pool не имеет атрибута Default в моем скрипте python
... = 'google.protobuf.descriptor_pb2' TypeError: expected bytes, Descriptor found Однако, когда 5 В очищенных / повторно установленных / обновленных 4 пакетах, а также добавлены пакеты protobuf3 3 и protobuf-py3, ошибка была обновлена следующим 2 сообщение ...
Как создать таблицу, если она не существует в большом запросе, используя командную строку или sql
... , как 4 создать таблицу, если ее нет в большом запросе попытался 3 и ...
ImportError: невозможно импортировать имя bigquery
... --upgrade google-cloud-storage Однако, когда я запускаю скрипт, я 3 все равно получаю следующую ошибку: Traceback (most recent call last): File "file ...
Экспорт данных из Google Cloud Storage в Amazon S3
... gle -> Amazon S3 12 -> Redshift Я знаю о службе передачи в облачное 11 хранилище Google, но не уверен, что она 10 может мне помочь. Из документации Google 9 Cloud: Служба передачи облачного хранилища На этой странице описывается служба 8 передачи облачного хранилища, которую вы 7 можете использовать для быстрого импорта 6 онлайн-данных в Goo ...
Как использовать сервисные аккаунты с gsutil для загрузки в CS + BigQuery
... API для получения 8 токена доступа с помощью signed JWT credentials, но я бы предпочел 7 использовать инструмент командной строки, такой 6 как gsutil, с поддержкой возобновляемых 5 загрузок и т. д. РЕДАКТИРОВАТЬ: я хотел бы 4 использовать gsutil в cron для загрузки 3 файлов в облачное хранилище каждую ночь, а 2 затем импортировать их в BigQuery. Любая 1 помощь или направление приветству ...
Как выбрать последний раздел в таблице BigQuery?
... раздела 10 в таблице BigQuery с разделением по датам, но 9 запрос по-прежнему считывает данные из всей 8 таблицы. Я пробовал (насколько мне известно, BigQuery 7 не поддерживает QUALIFY): SELECT col FROM table WHERE _PARTITIONTIME = ( SELECT pt FROM ( SELECT pt, RANK() OVER(ORDER by pt DESC) as rnk FROM ( SEL ...
Как легко сделать пустую таблицу, копирующую схему существующей таблицы в BigQuery?
... aset.table_20180801, и я хочу 10 создать новую пустую таблицу dataset.table_20180901, которая имеет 9 ту же схему, что и dataset.table_20180801. Я хочу узнать, как 8 это проще всего сделать в BigQuery. Я могу 7 скопировать таблицу с помощью copy table веб-консоли 6 BigQuery, но она также копирует записи. Я 5 думаю, что более простой способ - сначала 4 получить схему с помощью bq show --schema --format=prettyjso ...
Почему BigQuery внезапно выдает ошибку формата данных
... ng_value FROM UNNEST(user_properties) up WHERE key = "user_id") AS INT64) AS user_id, (TIMESTAMP_MILLIS(CAST(event_timestamp/1000 AS INT64))) AS event_date `firebase.dataset.events_*` Ошибка 7 выглядит следующим образом: bad int64 value: Запрос работал 6 нормально в течение нескольких месяцев, и 5 что-то случилось сегодня, чтобы вызвать 4 ...
BigQuery проверяет, существует ли таблица
... основе ответа от конечной точки 6 таблиц API bigquery. Я пытаюсь подсчитать 5 активных пользователей, что работает, но 4 только если я выбе ...
Преобразование целочисленного типа в float в BigQuery Standard Sql
... манды: SELECT 3 float (author.time_sec) FROM bigquery-public-data.github_repos.commits LIMIT 1000 SELECT 2 приведение (author.time_sec как float) FROM 1 bigquery-public-data.github_repos.commits ...
Мониторинг WriteToBigQuery
... E_APPEND, create_disposition=beam.io.BigQueryDisposition.CREATE_IF_NEEDED) Это возвращает Dict, как описано 12 в документации следующим образом: Beam.io.WriteToBigQuery 11 PTransform возвращает словарь, чей Запись 10 BigQueryWriteFn.FAILED_ROWS содержит PCollection 9 всех строки, которые не удалось записать. Как 8 распечатать этот dict и превратить его в 7 pcollection или как просто распечатать FAILED_ROWS? Если 6 д ...
BigQuery - получить общее количество столбцов в таблице BigQuery.
... в таблице BigQuery? Я просмотрел 2 документацию BigQuery, но не нашел ничего 1 подходящ ...
Проверить существование таблицы BigQuery
... делить, существует 7 таблица или нет: def check_users_usersmetadata_existence(): """ Checks if the table Prod_UserUserMetadata exists """ app_id = get_app_id() bigquery_client = bigquery.Client(project=app_id) dataset_ref = bigquery_client.dataset('Backup') table_ref = dataset_ref.table('Prod ...
Запрос Bigquery для поиска имен столбцов таблицы
... запрос в SQL: SELECT column_name,data_type,data_length,data_precision,nullable FROM all_tab_cols where table_name ='EMP ...
Google Cloud Storage Объединение нескольких файлов CSV
... 7 в Google Cloud Storage, учитывая размер 6 файла, который BigQuery экспортировал как 5 99 файлов CSV. Однако теперь я хочу подклю ...
Как получить длину повторяющегося вложенного поля в bigquery
... знать длину повторяющегося вложенного 3 поля author_names? например для article_id = 2049807276 д ...
Как подсчитать признак x, если условие y истинно (bigquery)
... 8 для этого вопроса. Я создаю новые переменные 17 из своего набора данных в Bigquery. Одна 16 из переменных состоит в подсчете переменной 15 (x), если выполняется условие переменной 14 (y). Я не могу использовать WHERE или HAVING, поскольку 13 условие связано только с вычислением этой 12 конкретной переменной. Код примерно такой: COUNT(DISTINCT sessionid IF(date > “2018-06-01 ...
Как обновить / удалить строки в BigQuery из api python?
... ятно, как 7 обновлять библиотеки Python. загрузить все 6 данные в новую многораздельную таблицу и 5 пропустить обновления / вставки. Это занимает 4 больше места, чем хотелось бы, ...
Запросы к нескольким таблицам в Big Query
... bl_022012, tbl_032012, ... tbl_122012). Каждая 9 запись будет храниться вместе с датой timestamp в 8 виде строки. Теперь, если мое приложение 7 хочет получать записи с января 2012 г. (tbl_012012) по 6 март 2012 г. (tbl_032012), будет ли BigQuery API автоматически 5 перемещаться по нужным таблицам с помощью 4 одного запроса диапазона SQL, или мне придется 3 писать несколько SQL-запросов с дополнительным 2 кодом приложения дл ...
Командная строка Google Bigquery BQ выполняет запрос из файла
... сли 2 я сохраню запрос в файл и выполню запрос 1 из этого файла? есть способ ...
Как эффективно вычислить медиану числовой последовательности в Google BigQuery?
... но эффективно вычислить медианное 2 значение числ ...
