ayurishchevandClaude Sonnet 5
26dd1f8be4
Глобально уникальные ID (docs/changes/016): - у устройств, групп, задач, резервных копий и записей журнала ID вида <префикс>_<uuid7> (dev_, grp_, job_, bkp_, evt_): типы не пересекаются, внутри типа ID не повторяются и сортируются по времени; - миграция БД v1 заменяет числовые ID с пересчётом ссылок (копия файла БД перед миграцией, сверка числа строк, одна транзакция); - резервная копия = пара файлов с одним bkp_ ID, файлы в S3 получают метаданные backup-id/device-id; синхронизация метаданных с бакетом; - журнал событий в БД (events): создание/изменение/удаление, задачи, бэкапы, смена online/offline, вход в UI; API чтения GET /api/v1/events. Журнал в UI, ротация и очистка (docs/changes/017): - страница «Журнал»: фильтры, подгрузка «Показать ещё», окно записи; - настройки ротации (срок и максимум записей) хранятся в БД (схема v2), ротация при старте, раз в час и после сохранения настроек; - очистка журнала только через окно с паролем пользователя, блокировка после 5 неверных попыток, остаётся запись о факте очистки; через API очистки нет. Тесты: 20 из 20. Co-Authored-By: Claude Sonnet 5 <noreply@anthropic.com>
64 lines
2.4 KiB
Python
64 lines
2.4 KiB
Python
"""Yandex Object Storage (S3-совместимый): ListObjectsV2, GetObject, PutObject, DeleteObject."""
|
|
import asyncio
|
|
from functools import lru_cache
|
|
|
|
import boto3
|
|
from botocore.config import Config
|
|
|
|
from app.config import get_settings
|
|
|
|
|
|
@lru_cache
|
|
def _client():
|
|
s = get_settings()
|
|
return boto3.client(
|
|
"s3",
|
|
endpoint_url=s.s3_endpoint,
|
|
region_name=s.s3_region,
|
|
aws_access_key_id=s.s3_access_key,
|
|
aws_secret_access_key=s.s3_secret_key,
|
|
config=Config(signature_version="s3v4"),
|
|
)
|
|
|
|
|
|
def device_prefix(device_name: str) -> str:
|
|
return f"{get_settings().s3_prefix}/{device_name}/"
|
|
|
|
|
|
def key_allowed(key: str) -> bool:
|
|
"""Ключ должен лежать под префиксом бэкапов (защита от произвольных ключей бакета)."""
|
|
return key.startswith(get_settings().s3_prefix + "/") and ".." not in key
|
|
|
|
|
|
def presign_get(key: str, expires: int = 300) -> str:
|
|
return _client().generate_presigned_url(
|
|
"get_object", Params={"Bucket": get_settings().s3_bucket, "Key": key}, ExpiresIn=expires
|
|
)
|
|
|
|
|
|
def _list(prefix: str) -> list[dict]:
|
|
paginator = _client().get_paginator("list_objects_v2")
|
|
items = []
|
|
for page in paginator.paginate(Bucket=get_settings().s3_bucket, Prefix=prefix):
|
|
for o in page.get("Contents", []):
|
|
items.append({"key": o["Key"], "size": o["Size"], "last_modified": o["LastModified"]})
|
|
return sorted(items, key=lambda i: i["last_modified"], reverse=True)
|
|
|
|
|
|
async def list_backups(device_name: str | None = None) -> list[dict]:
|
|
prefix = device_prefix(device_name) if device_name else get_settings().s3_prefix + "/"
|
|
return await asyncio.to_thread(_list, prefix)
|
|
|
|
|
|
async def upload_file(path, key: str, metadata: dict[str, str] | None = None) -> None:
|
|
"""PutObject: загрузка файла в бакет от имени Control Server. metadata — пользовательские метаданные объекта
|
|
(x-amz-meta-*): сюда кладутся ID резервной копии и устройства."""
|
|
extra = {"ExtraArgs": {"Metadata": metadata}} if metadata else {}
|
|
await asyncio.to_thread(_client().upload_file, str(path), get_settings().s3_bucket, key, **extra)
|
|
|
|
|
|
async def delete_object(key: str) -> None:
|
|
await asyncio.to_thread(
|
|
_client().delete_object, Bucket=get_settings().s3_bucket, Key=key
|
|
)
|