xml文書で、先頭に指定するXML宣言で
<?xml version="1.0" encoding="UTF-8" standalone="yes"?>
どうやら、mkvmergeが受け付ける符号化宣言は
"ISO-8859-1"と"UTF-8"しか無いようです。
（Unicode "UTF-16"も受け付けない）

仕方ないので
●Shift_JISを使う場合は、Simple/OGG形式（言語指定なし）にする。
●ANSIとUTF-8の場合は、xml形式を選んでも良いが、指定は"UTF-8"とする。
のどちらかにしてください。

SHIFT_JISをUTF-8にコード変換するのはできるんですが、
全ての文字が完全にコンバートされるとは限らないし、
SHIFT_JISを判断するのも面倒なので気が向かないかぎりやりません。