Ошибка 502 Bad Gateway при больщом запросе на BigQuery
Есть python код на Flask который выполняет работу с BigQuery на GCP. Вот такой запрос он отправляет:
keywords = [kw.lower() for kw in request.args.getlist("keyword") if kw.strip()]
start_date = request.args.get(
"startDate", (datetime.now() - timedelta(days=7)).strftime("%Y-%m-%d")
)
results = None
total_pages = 0
if keywords:
regex_pattern = "(" + "|".join(keywords) + ")"
query = f"""
WITH filtered_articles AS (
SELECT
date,
url,
entities
FROM
`gdelt-bq.gdeltv2.geg_gcnlapi`
WHERE
lang = 'en'
AND date BETWEEN TIMESTAMP('{start_date}') AND TIMESTAMP(CURRENT_DATE())
)
SELECT
DATE(date) AS article_date,
url,
ARRAY_AGG(DISTINCT entity.name) AS matched_entities,
ARRAY_AGG(DISTINCT entity.type) AS entity_types
FROM
filtered_articles,
UNNEST(entities) AS entity
WHERE
REGEXP_CONTAINS(LOWER(entity.name), @regex_pattern)
GROUP BY
article_date,
url
ORDER BY
article_date DESC
LIMIT {page_size} OFFSET {(page - 1) * page_size};
"""
job_config = bigquery.QueryJobConfig(
query_parameters=[
bigquery.ScalarQueryParameter("regex_pattern", "STRING", regex_pattern)
]
)
query_job = client.query(query, job_config=job_config)
results = query_job.result()
В запрос вставляются ключевые слова для поиска и этих слов можеть быть вплоть до 360+ т.е. конечный запрос очень большой который может вытащить около 200к+ результатов. если запускать код локально то все работает нормально, запрос обрабатывается, но стоит его задеплоить на gcp то при выполнении такого огромного запроса выводиться 502 Bad Gateway nginx. При этом с более менее маленькими запросами все работает как локально так и на gcp.
Использую App Engine.