WSL対応 rsyncでリモートバックアップや世代管理するPowerShellスクリプト

更新履歴 #見出しにジャンプ

記事更新履歴とは別に、スクリプト自体のコミットログは下記にある
Commits · nyanshiba/AutoBackupWSL

TL;DR #見出しにジャンプ

• WindowsのWSLでもLinuxでもrsyncが動作
• インクリメンタル世代管理バックアップで容量削減
• 世代管理しない差分コピーで大容量ファイルをバックアップ
• リモートバックアップ
• ディレクトリを選んでバックアップ
• ディレクトリ毎に前処理、後処理をプログラムする(例: バックアップ直前にアプリケーションを停止)
• DiscordやSlackに通知

これ全部できます。

動作確認環境

• Windows 10 Pro 1809 (WSL1 Ubuntu 18.04.2 LTS)
• Windows 10 Pro 2004 (WSL2 Ubuntu 20.04 LTS)
• Ubuntu 18.04.2 LTS
• Ubuntu 20.04 LTS

導入 #見出しにジャンプ

1.まずはPowerShellのシンタックスハイライトが機能するテキストエディタをインストールしておきましょう。
オススメはVSCodeです。
https://code.visualstudio.com/Download

2.PowerShell Coreをインストールします。Windows PowerShellは古いので動作しません。
https://docs.microsoft.com/ja-jp/powershell/scripting/install/installing-powershell-core-on-windows
https://docs.microsoft.com/ja-jp/powershell/scripting/install/installing-powershell-core-on-linux

3.GitHubからスクリプトをダウンロードします。
https://github.com/nyanshiba/AutoBackupWSL

4.スクリプト内の#ユーザ設定を編集します。
スクリプト内の設定例と照らし合わせつつ行うと良いでしょう。

# 既定値
Send-Webhook -UserName "AutoBackupWSL.ps1" -Content "投稿内容が未指定です" -hookUrl $Settings.Post.hookUrl
# 使用例
Send-Webhook -Content "Backup $($Settings.DateTime.Replace('\','')) Started."

# 既定値
Send-Toast -Icon "$PSHome\assets\Powershell_black.ico" -Title "AutoBackupWSL.ps1" -Text "通知内容が未指定です"
# 使用例
Send-Toast -Icon "$PSHome\assets\Powershell_av_colors.ico" -Text "バックアップ終了"

ConvertTo-WslPath -Path "Windowsのパス"

# Windows
Invoke-Process -File "実行ファイルパス" -Arg "引数"
# Linux
Invoke-Process -File "実行ファイルパス" -ArgList "引数","引数"

Minecraftサーバの自動バックアップに使用した場合の設定例

Minecraft Java Editionの設定 第3回 Linuxで本格マルチプレイサーバを建てる - 俺の外付けHDD

5.#WSLのWindows上のファイルアクセス権の通り、wsl.confを編集します。

使い方 #見出しにジャンプ

1.pwshで直に実行

./AutoBackupWSL.ps1
C:\bin\AutoBackupWSL.ps1

2.cmdやshからpwshを実行

pwsh AutoBackupWSL.ps1

3.タスクスケジューラやcronで自動実行

プログラムの開始: "C:\Program Files\PowerShell\6\pwsh.exe"
引数の追加: -WindowStyle Hidden -File "C:\bin\AutoBackupWSL.ps1"(例)

# cronの設定ファイルを開く
vi /etc/crontab

# 毎日9時に実行
0 9 * * * minecraft /usr/bin/pwsh /home/minecraft/Servers/AutoBackupWSL.ps1

解説 #見出しにジャンプ

なぜrobocopy・scpではなくrsyncなのか #見出しにジャンプ

1. robocopyはインクリメンタルバックアップに対応していない。
   差分コピーは出来るが、コピー元・コピー先以外のディレクトリを参照してインクリメントバックアップを行うことは出来ない。
   4TBのHDDに、1世代数百GBを数ヶ月分世代管理できるのはrsyncあってのもの。
   実はrobocopyで擬似的にそれを再現した未公開のスクリプトがあるのだが...rsyncの方が上位互換であり存在意義が無くなってしまった。

2. scpは差分コピーに対応していない。
   毎回フルバックアップ、というのはちょっと。
   これを自前実装するのは困難と考え、WSL rsyncをWindowsのバックアップに使えるようにしたのがAutoBackupWSL.ps1。

なぜWindows PowerShellではなくPowerShell Coreなのか #見出しにジャンプ

1. 日本語環境ではWindows PowerShellはASCII、PowerShell CoreはUTF-8。
   Windowsにおける文字列恐怖症の貴方なら分かってくれるはず。うん。

2. Invoke-CommandでPowerShell Remorting over SSHができない。
   ほぼ決定打。

3. Remove-Itemでパスが260char(文字)以上のアイテムが含まれるディレクトリを削除できない。
   かなりしんどい。
   因みにWSL上のpwshの場合260byte～不可。

WSLのWindows上のファイルアクセス権 #見出しにジャンプ

初期設定では以下の通り。

/bin/mount -l

C:\ on /mnt/c type drvfs (rw,noatime,uid=1000,gid=1000,case=off)

wsl.confで以下の設定を行うことで、アクセス権が得られる。

# /etc/wsl.confを作成、以下のように設定
vi /etc/wsl.conf

[automount]
enabled = true
root = /mnt/
options = "rw,noatime,uid=1000,gid=1000,umask=22,fmask=11"
mountFsTab = true

# 確認
/bin/mount -l

C:\ on /mnt/c type drvfs (rw,noatime,uid=1000,gid=1000,umask=22,fmask=11,case=off)

https://devblogs.microsoft.com/commandline/chmod-chown-wsl-improvements/

インクリメンタルとリモートバックアップは同時にできない #見出しにジャンプ

リモートバックアップと--link-destを一行に書いたら、フルバックアップになってしまいました。
リモートバックアップの世代管理を行う場合、rsyncで差分リモートバックアップしてから、ローカルにあるリモートのファイルをインクリメンタルバックアップする、という流れになります。
GenListにリモートバックアップ機能が無く、MirListの後にGenListを実行しているのはそれが理由です。

wslpathでは変換できないパスがある #見出しにジャンプ

WSLにはwslpathというWindowsとLinuxのパスを相互に変換するコマンドが用意されています。
ただしこれでは全てを網羅しません。

# wslpathではドライブレターのみを変換できない

$ wslpath -u 'D:'
wslpath: D:

# \があれば正常に変換できる
$ wslpath -u 'D:\'
/mnt/d/

関数ConvertTo-WslPathとして、自前正規表現を作って対処することにしました。

function ConvertTo-WslPath
{
    param
    (
        [String]$Path
    )
    #"D:"に対応
    return [Regex]::Replace($Path, "^([A-Z]):(\\.*)?", { "/mnt/" + $args.Groups[1].Value.ToLower() + $args.Groups[2].Value.Replace('\','/')})
}

> ConvertTo-WslPath -Path 'D:'
/mnt/d

> ConvertTo-WslPath -Path 'D:\'
/mnt/d/

標準出力・エラー出力が記録されない #見出しにジャンプ

PowerShellにおいて、ただwsl rsyncと書くのでは、引数が長くなるにつれて正しく扱えません。
また、Start-Processではstdout・stderr両方を直接1つのログファイルに出力出来ません。
.NETクラスSystem.Diagnostics.Processを使用して、安全に購読します。

以下を丸パk参考にさせて頂きました。
私のスクリプトの方は最低限必要なところと、次項で説明するLinuxへの対応が含まれています。

https://github.com/guitarrapc/PowerShellUtil/blob/master/Invoke-Process/Invoke-Process.ps1

WindowsとLinuxの引数の違い #見出しにジャンプ

# Linux上のpwshでStart-Processからrsyncを実行
Start-Process "/bin/bash" -ArgumentList "-c '/usr/bin/rsync -av --delete  --link-dest=`'/home/hoge/Backup/190627_104610`' `'/home/hoge/.ssh`' `'/home/hoge/Backup/190627_121149`''"

-av: -c: line 0: unexpected EOF while looking for matching `''
-av: -c: line 1: syntax error: unexpected end of file

シングルクォートをエスケープしたり、それを更にエスケープ…というのは可読性も低く、ユーザ設定が困難になる為却下。

関数Invoke-Process内では、WindowsではStartInfo.Arguments、LinuxではStartInfo.ArgumentListプロパティを使用するようにして対応。

if ($Arg)
{
    #Windows
    $ps.StartInfo.Arguments = $Arg
} elseif ($ArgList)
{
    #Linux
    $ArgList | ForEach-Object {
        $ps.StartInfo.ArgumentList.Add("$_")
    }
}

https://github.com/dotnet/command-line-api/issues/354#issuecomment-469071462

rsyncのexcludeが効かないと思ったら見当違いだった話 #見出しにジャンプ

関数Invoke-DiffBackup内には以下のコードがあります。

Invoke-Process -File "wsl" -Arg "/usr/bin/rsync $Execute -av --delete --delete-excluded $Clude `"$Src`" `"$Dst`""

--deleteはコピー元にあってコピー先にないものを削除する引数ですが、--excludeされたものが既にあろうと削除しません。
--delete-excludedを指定することによって、--excludeされたものも含めることが出来ます。
ちゃんと--excludeされているにも関わらず、--excludeされてねぇ！！！と奔走しましたが、原因は斜め上にありました。

https://serverfault.com/questions/279609/what-exactly-will-delete-excluded-do-for-rsync