Перейти к основному содержанию

OwnCloud — ошибка Lock wait timeout exceeded

Owncloud

Продолжаю разгребать последние ошибки в логах OwnCloud. После многочисленных оптимизаций работы сервиса в логах осталось несколько постоянно встречающихся ошибок. Взялся разобраться с самой частой на данный момент:

Error while running background job (class: OCA\\Files_Sharing\\DeleteOrphanedSharesJob, arguments: ): {\"Exception\":\"Doctrine\\\\DBAL\\\\Exception\\\\LockWaitTimeoutException\",\"Message\":\"An exception occurred while executing 'DELETE FROM `oc_share` WHERE `item_type` in ('file', 'folder') AND NOT EXISTS (SELECT `fileid` FROM `oc_filecache` WHERE `file_source` = `fileid`)':\\n\\n SQLSTATE[HY000]: General error: 1205 Lock wait timeout exceeded; try restarting transaction

Специально сохранил синтаксис лога, но самое важное это:

  • Ошибка при запуске фоновой задачи: DeleteOrphanedSharesJob.
  • Ошибка в БД: LockWaitTimeoutException.
  • Ошибка при обращении к таблицам: oc_share и oc_filecache. Фоновое задание DeleteOrphanedSharesJob не может выполнить DELETE-запрос к таблице oc_share, потому что другие транзакции удерживают блокировки.

Начинаем анализировать. Понятно, что проблема связана с блокировкой таблиц в БД при запуске фоновых задач.

owncloud

Я сделал выборку всех строк данной ошибки в логе, стало заметно, что ошибка повторяется каждые 30 минут. Вероятно, первый участник блокировки связан с задачами, которые выполняются по расписанию. В кроне у меня есть такая задача:

*/30  *  *  *  * /usr/bin/php -f /var/www/owncloud/occ system:cron

Каждые 30 минут запускается system:cron, и это совпадает с периодичностью ошибок блокировок БД. Рекомендуется это делать каждые 15 минут, но я увеличил интервал.

Фоновые задания OwnCloud (включая DeleteOrphanedSharesJob) запускаются через occ system:cron, и некоторые из них могут:

  • Запускаться одновременно из-за наложения выполнения предыдущего и нового запуска.
  • Конфликтовать друг с другом при работе с одними и теми же таблицами.
  • Создавать длительные транзакции, которые не успевают завершиться за 30 минут.

Задача system:cron поддерживает параллельный запуск. Можно запустить несколько процессов и каждый из них получит свой набор данных для обработки. Так что здесь конфликтов быть не может, конфликт где-то ещё. На самом деле мне даже понятно где именно.

Ранее я настраивал синхронизацию файлов:

Синхронизация запускается каждый час в рабочее время:

0  7-19  *  *  * /opt/cron/owncloud_scan.sh 2>/var/log/owncloud/cron_errors.log

И это у нас первый кандидат на второй источник блокировок. Внутри скрипта выполняется files:scan. Он интенсивно работает с таблицей oc_filecache, что пересекается с запросом джоба.

Оба задания обращаются к одним и тем же таблицам (oc_share и oc_filecache). Возможна даже ситуация с взаимными блокировками. И действительно, в некоторых случаях в логе встречается ошибка Deadlock.

Решение простое, когда работает синхронизация файлов, не запускать задачу system:cron. А чтобы system:cron всё-таки работал, в рабочее время, нужно запускать его внутри скрипта owncloud_scan.sh. Собственно, так и сделал, пол дня прошло, — ошибок нет.

Теги

 

Похожие материалы

Ubuntu Server 18.04 — апгрейд до версии 20.04

Всем доброй ночи. Ночи, потому что системные администраторы чаще всего занимаются апгрейдом операционный систем по ночам, потому как днём на серверах работают юзеры. Сегодня апгрейдим Ubuntu Server 18.04 до версии 20.04.

Теги