-
Notifications
You must be signed in to change notification settings - Fork 65
ci: add 429 support for pulling images #4940
New issue
Have a question about this project? Sign up for a free GitHub account to open an issue and contact its maintainers and the community.
By clicking “Sign up for GitHub”, you agree to our terms of service and privacy statement. We’ll occasionally send you account related emails.
Already on GitHub? Sign in to your account
base: main
Are you sure you want to change the base?
Changes from all commits
f115aa5
a42b2d3
afe753a
08fc151
ab0f5a8
ebaa65f
64bcae4
aa2f13f
f96318d
File filter
Filter by extension
Conversations
Jump to
Diff view
Diff view
There are no files selected for viewing
| Original file line number | Diff line number | Diff line change | ||||||||||||||||||||
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
|
|
@@ -2,19 +2,68 @@ | |||||||||||||||||||||
| Pull a Fluent Docker image based on the FLUENT_IMAGE_TAG environment variable. | ||||||||||||||||||||||
| """ | ||||||||||||||||||||||
|
|
||||||||||||||||||||||
| import re | ||||||||||||||||||||||
| import subprocess | ||||||||||||||||||||||
| import time | ||||||||||||||||||||||
|
|
||||||||||||||||||||||
| from ansys.fluent.core import config | ||||||||||||||||||||||
| from ansys.fluent.core.docker.utils import get_ghcr_fluent_image_name | ||||||||||||||||||||||
|
|
||||||||||||||||||||||
| MAX_RETRIES = 5 | ||||||||||||||||||||||
| BASE_DELAY = 1.0 # seconds | ||||||||||||||||||||||
|
|
||||||||||||||||||||||
| def pull_fluent_image(): | ||||||||||||||||||||||
|
|
||||||||||||||||||||||
| def pull_fluent_image(): # pylint: disable=missing-raises-doc | ||||||||||||||||||||||
| """Pull Fluent Docker image and clean up dangling images.""" | ||||||||||||||||||||||
| fluent_image_tag = config.fluent_image_tag | ||||||||||||||||||||||
| image_name = get_ghcr_fluent_image_name(fluent_image_tag) | ||||||||||||||||||||||
| separator = "@" if fluent_image_tag.startswith("sha256") else ":" | ||||||||||||||||||||||
| full_image_name = f"{image_name}{separator}{fluent_image_tag}" | ||||||||||||||||||||||
| subprocess.run(["docker", "pull", full_image_name], check=True) | ||||||||||||||||||||||
|
|
||||||||||||||||||||||
| # Retry logic for handling rate limits (429 errors) | ||||||||||||||||||||||
|
|
||||||||||||||||||||||
| for attempt in range(MAX_RETRIES): | ||||||||||||||||||||||
| try: | ||||||||||||||||||||||
| subprocess.run( | ||||||||||||||||||||||
| ["docker", "pull", full_image_name], | ||||||||||||||||||||||
| check=True, | ||||||||||||||||||||||
| stderr=subprocess.PIPE, | ||||||||||||||||||||||
| text=True, | ||||||||||||||||||||||
| ) | ||||||||||||||||||||||
| print(f"Successfully pulled Docker image: {full_image_name}") | ||||||||||||||||||||||
| break # Success, exit retry loop | ||||||||||||||||||||||
| except subprocess.CalledProcessError as e: | ||||||||||||||||||||||
| stderr_output = (e.stderr or "").lower() | ||||||||||||||||||||||
|
|
||||||||||||||||||||||
| # Check if it's a 429 rate limit error | ||||||||||||||||||||||
| if "toomanyrequests" in stderr_output or "429" in stderr_output: | ||||||||||||||||||||||
| if attempt < MAX_RETRIES - 1: | ||||||||||||||||||||||
| # Parse retry-after hint if available | ||||||||||||||||||||||
| retry_after = None | ||||||||||||||||||||||
| match = re.search(r"retry-after:\s*([\d.]+)\s*ms", stderr_output) | ||||||||||||||||||||||
| if match: | ||||||||||||||||||||||
| retry_after = float(match.group(1)) / 1000 | ||||||||||||||||||||||
|
|
||||||||||||||||||||||
| # Use retry-after if available, otherwise exponential backoff | ||||||||||||||||||||||
| delay = ( | ||||||||||||||||||||||
| retry_after | ||||||||||||||||||||||
| if retry_after is not None | ||||||||||||||||||||||
| else BASE_DELAY * (2**attempt) | ||||||||||||||||||||||
| ) | ||||||||||||||||||||||
|
|
||||||||||||||||||||||
| print( | ||||||||||||||||||||||
| f"Rate limit hit (429), retrying in {delay:.2f} seconds... (attempt {attempt + 1}/{MAX_RETRIES})" | ||||||||||||||||||||||
| ) | ||||||||||||||||||||||
| time.sleep(delay) | ||||||||||||||||||||||
| else: | ||||||||||||||||||||||
| print( | ||||||||||||||||||||||
| "Max retries reached. Failed to pull image due to rate limiting." | ||||||||||||||||||||||
| ) | ||||||||||||||||||||||
| raise | ||||||||||||||||||||||
| else: | ||||||||||||||||||||||
| # Not a rate limit error, re-raise immediately | ||||||||||||||||||||||
|
Comment on lines
+61
to
+64
|
||||||||||||||||||||||
| ) | |
| raise | |
| else: | |
| # Not a rate limit error, re-raise immediately | |
| ) | |
| print("docker pull stderr output:\n" + (e.stderr or "")) | |
| raise | |
| else: | |
| # Not a rate limit error, re-raise immediately | |
| print("docker pull stderr output:\n" + (e.stderr or "")) |
| Original file line number | Diff line number | Diff line change |
|---|---|---|
| @@ -0,0 +1 @@ | ||
| Add 429 support for pulling images |
Uh oh!
There was an error while loading. Please reload this page.