RemoteOperations::exec_command explicitly transfers LANG, LANGUAGE and LC_* envvars to the server side #187
Conversation
- Exact enumeration of supported 'cmd' types - Refactoring
…d LC_* envvars to the server side
It should help resolve a problem with replacing a LANG variable by ssh-server.
History.
On our internal tests we got a problem on the Debian 11 and PostgresPro STD-13.
One test returned the error from initdb:
initdb: error: collations with different collate and ctype values ("en_US.UTF-8" and "C.UTF-8" accordingly) are not supported by ICU
- TestRunner set variable LANG="C"
- Python set variable LC_CTYPE="C.UTF-8"
- Test call inidb through command "ssh test@localhost inidb -D ...."
- SSH-server replaces LANG with value "en_US.UTF-8" (from etc/default/locale)
- initdb calculate collate through this value of LANG variable and get en_US.UTF-8
So we have that:
- ctype is C.UTF-8
- collate is en_US.UTF-8
ICU on the Debuan-11 (uconv v2.1 ICU 67.1) does not suppot this combination and inidb rturns the error.
This patch generates a new command line for ssh:
ssh test@localhost "LANG=\"...\";LC_xxx=\"...\";<command>"
It resolves this problem with initdb and should help resolve other problems with execution of command through SSH.
Amen.
…0_001--remote_ops-exec_command
|
Patch was tested on the following OS:
|
New tests: - test_init__LANG_С - test_init__unk_LANG_and_LC_CTYPE
| @@ -510,6 +515,42 @@ def db_connect(self, dbname, user, password=None, host="localhost", port=5432): | |||
| ) | |||
| return conn | |||
|
|
|||
| def _make_exec_env_list() -> list[str]: | |||
There was a problem hiding this comment.
тут нужно self, либо добавить @staticmethod
There was a problem hiding this comment.
self тут не нужен. Это статический метод.
Хорошо, я добавлю этот декоратор.
Я там в других местах тоже статические методы определял...
Тогда я пока только в новом коде этого PR его добавлю, а потом, отдельным коммитом, добавим его во все остальные случаи.
PS. Я этот питон на ходу изучаю, поэтому многие вещи использую неправильно ))))
|
|
||
| sm_envs_for_exec_cmd = ["LANG", "LANGUAGE"] | ||
|
|
||
| def _does_put_envvar_into_exec_cmd(name: str) -> bool: |
There was a problem hiding this comment.
тут нужно self, либо добавить @staticmethod
testgres/operations/remote_ops.py
Outdated
| return True | ||
| return False | ||
|
|
||
| def _quote_envvar(value) -> str: |
There was a problem hiding this comment.
тут нужно self, либо добавить @staticmethod
| def _quote_envvar(value) -> str: | ||
| assert type(value) == str # noqa: E721 | ||
| result = "\"" | ||
| for ch in value: |
There was a problem hiding this comment.
Тут лучше append использовать https://www.geeksforgeeks.org/difference-between-and-append-in-python/
There was a problem hiding this comment.
Виктория, что-то я не догоняю. Куда тут append использовать?
result - это str. У него нет метода append, но есть поддержка оператора +=, который по смыслу тот же append. Этот += тут и используется.
There was a problem hiding this comment.
типо так
result = ['"']
for ch in value:
if ch == '"':
result.append('\\"')
elif ch == '\\':
result.append('\\\\')
else:
result.append(ch)
result.append('"')
return ''.join(result)
There was a problem hiding this comment.
Ага. Не. Не надо нам такой "оптимизации" )
Во первых у нас тут строка. И её элементы могут хранится непрерывно, ну или по крайней мере питон там может как-то оптимизировать это дело. А если будет массив строк - то однозначно каждый элемент массива будет хранится отдельно. Плюс место под сам массив.
А во вторых у нас тут нет оператора сложения. Используется оператор +=.
С append можно заморочится выше - там я три массива складываю через +.
Но честно - если бы эти бестолочи (я про авторов питона) позволяли писать append(list1).append(list2), я бы его заюзал. А так - в топку.
25 лет назад на .NET считалось дурным тоном складывать строки. Юзайте, говорят, StringBuilder. Но потом все дружно на него забили ))
Let's test bad data with '\' and '"' symbols.
…ard] The following methods of RemoteOperations were corrected: - _make_exec_env_list - _does_put_envvar_into_exec_cmd - _quote_envvar
It should help resolve a problem with replacing the LANG variable by ssh-server.
History.
On our internal tests we got a problem on the Debian 11 and PostgresPro STD-13.
One test returned the error of initdb:
initdb: error: collations with different collate and ctype values ("en_US.UTF-8" and "C.UTF-8" accordingly) are not supported by ICU
So we have that:
ICU on the Debuan-11 (uconv v2.1 ICU 67.1) does not support this combination and initdb returns the error.
This patch generates a new command line for ssh:
ssh test@localhost "LANG=\"...\";LC_xxx=\"...\";<command>"It resolves this problem with initdb and should help resolve other problems with execution of commands through SSH.