Skip to content
GitLab
Explore
Sign in
Primary navigation
Search or go to…
Project
T
teckids.org
Manage
Activity
Members
Labels
Plan
Issues
Issue boards
Milestones
Code
Merge requests
Repository
Branches
Commits
Tags
Repository graph
Compare revisions
Build
Pipelines
Jobs
Pipeline schedules
Artifacts
Deploy
Container Registry
Operate
Environments
Monitor
Incidents
Service Desk
Help
Help
Support
GitLab documentation
Compare GitLab plans
Community forum
Contribute to GitLab
Provide feedback
Terms and privacy
Keyboard shortcuts
?
Snippets
Groups
Projects
Show more breadcrumbs
Teckids
Team PR
teckids.org
Commits
32bdf281
Commit
32bdf281
authored
7 months ago
by
magicfelix
Browse files
Options
Downloads
Patches
Plain Diff
Fix typos
parent
95ef660b
No related branches found
No related tags found
1 merge request
!58
Fix typos
Pipeline
#192093
passed
7 months ago
Stage: build
Stage: deploy
Changes
1
Pipelines
2
Hide whitespace changes
Inline
Side-by-side
Showing
1 changed file
content/blog/2024/07/2024-07-19_downtime-bericht/index.md
+10
-10
10 additions, 10 deletions
content/blog/2024/07/2024-07-19_downtime-bericht/index.md
with
10 additions
and
10 deletions
content/blog/2024/07/2024-07-19_downtime-bericht/index.md
+
10
−
10
View file @
32bdf281
...
...
@@ -4,7 +4,7 @@ authors = ["nik"]
[extra.depiction]
image = "rack-sharepic.jpg"
alt = "Fro
t
nansicht einiger typischer Supermicro-Server in einem Rack"
alt = "Fron
t
ansicht einiger typischer Supermicro-Server in einem Rack"
+++
Vom 12. bis 15. Juli waren unsere Dienste offline. Auslöser war ein
...
...
@@ -62,15 +62,15 @@ werden:
*
Wie reduzieren wir die Auswirkungen der Umverteilung (
*Rebalancing*
) während
des Umbaus?
*
Wie werden die Datenträgern in den Servern veteilt, so dass einigermaßen
gleichmäßig S
P
eicherplatz zur Verfügung steht?
gleichmäßig S
p
eicherplatz zur Verfügung steht?
## Ausfall des Storage
Da auch der Platz für Datenträger in den Servern begrenzt ist, entschieden wir uns,
zunächst den bisher vorhandenen, kleinen SSD-Cache zu deaktivieren. Das w
ú
rde zwar
vorübergehend zu noch schlechterer Performance führen, aber daf
Ü
r die Dauer der
Umbaumaßnahmen immens reduzieren. Deshalb haben wir als ersten Schritt am Fre
t
iag,
dem 12. Juli, den Cache vom
*witeback*
- in den
*readproxy*
-Modus umgeschaltet. In
zunächst den bisher vorhandenen, kleinen SSD-Cache zu deaktivieren. Das w
ü
rde zwar
vorübergehend zu noch schlechterer Performance führen, aber daf
ü
r die Dauer der
Umbaumaßnahmen immens reduzieren. Deshalb haben wir als ersten Schritt am Frei
t
ag,
dem 12. Juli, den Cache vom
*w
r
iteback*
- in den
*readproxy*
-Modus umgeschaltet. In
diesem Modus sollten noch im Cache vorhandene Objekte benutzt, jedoch keine neuen
Objekte mehr gecachet, werden.
...
...
@@ -99,12 +99,12 @@ zusammenfassen.

Nach der Korrektur der Dateisystemfehler auf dem System, auf dem unser
PostgreSQL-Cluster läuft, fehlten Informatioen über bereits vergebene
PostgreSQL-Cluster läuft, fehlten Informatio
n
en über bereits vergebene
Transaktions-Nummern und weitere verwandte Informationen. Notwendigerweise
entschieden wir uns deshalb, den PostgreSQL-Cluster vollständig aus einem
Backup wiederherzustellen.
## Restore der PostgreSQL-Datenbanken auf u
s
nerem langsamsten Server
## Restore der PostgreSQL-Datenbanken auf un
s
erem langsamsten Server
Drei gute Nachrichten vorab: Wir hatten ein Backup des PostgreSQL-Clusters,
es war aktuell und es ließ sich wiederherstellen! Was wir zu diesem
...
...
@@ -118,7 +118,7 @@ wollten. Dabei gab es einige Eckpunkte zu beachten:
*
Das letzte volle Backup des Clusters war fünf Tage alt. Alle Daten zwischen
dem 7. und dem 12. Juli mussten aus dem
*Write Ahead Log*
wiederhergestellt
werden.
*
Der Storage auf dem Datenbankserver war nach der Deaktivieru
g
n des Caches nun
*
Der Storage auf dem Datenbankserver war nach der Deaktivierun
g
des Caches nun
noch langsamer als vorher
*
Der Backup-Server hat mittelmäßige Storage-Geschwindigkeiten, aber nur eine
Single-Core-CPU mit 2,1 GHz
...
...
@@ -172,7 +172,7 @@ eine Tabellenzeile eindeutig benannt werden kann.
Beim Versuch, die fehlenden Primary Keys selber anzulegen, zeigte sich, dass die betroffenen
Tabellen tatsächlich einige Daten doppelt enthielten. Betroffen waren dabei die Datenbanken
von Syanpse und
[
Masto
s
on
](
https://joinmastodon.org/
)
. Glücklicherweise stellten wir fest,
von Syanpse und
[
Masto
d
on
](
https://joinmastodon.org/
)
. Glücklicherweise stellten wir fest,
dass alle betroffenen Tabellen in zwei Kategorien fielen:
*
Tabellen, deren Daten durch Föderation erneut befüllt werden können
...
...
This diff is collapsed.
Click to expand it.
Preview
0%
Loading
Try again
or
attach a new file
.
Cancel
You are about to add
0
people
to the discussion. Proceed with caution.
Finish editing this message first!
Save comment
Cancel
Please
register
or
sign in
to comment