動的インベントリの環境変数は機能しません。
"ansible_ssh_private_key_file": $HOME/.ssh/key.pem"
動的インベントリサーバ側で$HOMEなどが渡された場合は、クライアントコード(Python)で変数を置き換えます。
$HOME
json_input.replace("$HOME", os.environ.get("HOME"))