Усталый сисадмин случайно удалил каталог не с того сервера и почти похоронил стартап
Сервис GitLab украинского предпринимателя Дмитрия Запорожца, который специализируется на хранении исходного кода, оказался офлайн из-за фатальной ошибки сотрудника. Как пишет The Register, уставший сисадмин в Голландии поздно ночью во время длительного процесса репликации базы данных случайно удалил каталог не с того сервера.
В результате была стерта директория, в которой хранились 300 ГБ данных, которые должны были быть реплицированы. Только 4,5 ГБ удалось спасти к тому моменту, как сотрудник отменил команду «rm -rf». Последняя потенциально жизнеспособная резервная копия была сделана шестью часами ранее. «Из 5 методов резервного копирования ни один не обеспечил надежной работы», — сообщили администраторы GitLab.
«Снимки LVM по умолчанию производились раз в 24 часа. Снимки дисков в Azure были включены для NFS-серверов, но не для серверов базы данных. Наше резервное копирование на S3, вероятно, не работает: там пусто». Администрация заверяет, что в результате инцидента пострадала база данных, но не сам репозиторий.
Дополнено. По данным на утро 2 февраля базу данных удалось восстановить. 5037 проектов, около 5000 комментариев и 707 пользователей по итогу были утеряны. Все, что было создано до вечера 31 января.
Сисадмин, который «сбросил ядерную бомбу» на данные, считает, что для него лучше никогда в жизни больше не запускать ничего связанного с sudo.
