文件上传功能对于pdf文件编码错误

[alexmaehon]

注: 对于PyWebIO使用咨询或对于其他人也可能有帮助的问题，请考虑移至 Discussions 进行发帖。

BUG描述
用
file = file_upload(label = 'xxx',
accept=['.pdf'],
max_size='100M',
multiple=False,
placeholder='.pdf,
)

上传pdf文件时，大于10M的文件很多时候都会报错，错误如下：
UnicodeDecodeError: 'utf-8' codec can't decode byte 0xaf in position 1: invalid start byte

但同样的文件我通过iPhone iOS 15.3的chrome浏览器又能上传成功（有时候），有其他人和我说他们很多大文件pdf也都会传不上去。

我通过手机上传成功的这个pdf文件，我再进一步对它处理，也会报错。
但我直接在电脑上处理这个pdf文件却没有问题。
所以我感觉在file_upload这个function对于pdf的编码上是否存在一些问题？

环境信息

• 操作系统及版本: Ubuntu 20
• 浏览器及版本: Chrome, iphone chrome ... and other andriod phone web browser
• Python版本: python3 .7
• PyWebIO版本: 1.5.2

[wang0618]

能否补充一下发生UnicodeDecodeError错误的时候的整个traceback信息？
应该可以从浏览器控制台或服务端的输出看到

[alexmaehon]

HTTPServerRequest(protocol='http', host='d067-34-91-13-17.ngrok.io', method='GET', uri='/app?app=index&session=NEW', version='HTTP/1.1', remote_ip='127.0.0.1')
Traceback (most recent call last):
File "/usr/local/lib/python3.7/dist-packages/tornado/websocket.py", line 546, in _run_callback
result = callback(*args, **kwargs)
File "/usr/local/lib/python3.7/dist-packages/pywebio/platform/tornado.py", line 208, in on_message
event = deserialize_binary_event(message)
File "/usr/local/lib/python3.7/dist-packages/pywebio/platform/utils.py", line 90, in deserialize_binary_event
event = json.loads(parts[0])
File "/usr/lib/python3.7/json/init.py", line 343, in loads
s = s.decode(detect_encoding(s), 'surrogatepass')
UnicodeDecodeError: 'utf-8' codec can't decode byte 0xaf in position 1: invalid start byte

[wang0618]

麻烦将服务器上的 /usr/local/lib/python3.7/dist-packages/pywebio/platform/utils.py 文件的第90行替换为

    try:
        event = json.loads(parts[0])
    except:
        print(parts[0], flush=True)
        raise 

然后再将产生异常时候的print输出的内容贴一下

[alexmaehon]

IOPub data rate exceeded.
The notebook server will temporarily stop sending output
to the client in order to avoid crashing it.
To change this limit, set the config variable
--NotebookApp.iopub_data_rate_limit.

Current values:
NotebookApp.iopub_data_rate_limit=1000000.0 (bytes/sec)
NotebookApp.rate_limit_window=3.0 (secs)

e8\xcdE\xf6\x9a\x1f\xa4?"h......(很长的字符，估计是pdf的内容)

The notebook server will temporarily stop sending output
to the client in order to avoid crashing it.
To change this limit, set the config variable
--NotebookApp.iopub_data_rate_limit.

Current values:
NotebookApp.iopub_data_rate_limit=1000000.0 (bytes/sec)
NotebookApp.rate_limit_window=3.0 (secs)

ERROR:tornado.application:Uncaught exception GET /app?app=index&session=NEW (127.0.0.1)
HTTPServerRequest(protocol='http', host='9bfc-34-91-13-17.ngrok.io', method='GET', uri='/app?app=index&session=NEW', version='HTTP/1.1', remote_ip='127.0.0.1')
Traceback (most recent call last):
File "/usr/local/lib/python3.7/dist-packages/tornado/websocket.py", line 546, in _run_callback
result = callback(*args, **kwargs)
File "/usr/local/lib/python3.7/dist-packages/pywebio/platform/tornado.py", line 208, in on_message
event = deserialize_binary_event(message)
File "/usr/local/lib/python3.7/dist-packages/pywebio/platform/utils.py", line 91, in deserialize_binary_event
event = json.loads(parts[0])
File "/usr/lib/python3.7/json/init.py", line 343, in loads
s = s.decode(detect_encoding(s), 'surrogatepass')
UnicodeDecodeError: 'utf-8' codec can't decode byte 0x8a in position 0: invalid start byte

[wang0618]

确实是有问题，正常情况下parts[0]不会很长。我最近研究一下这个问题，如果需要一些反馈可能还需要麻烦您

[alexmaehon]

你可以试试，传一个大一点的pdf，我用的这几个10M左右或以上的英文期刊论文都会出问题，小一点的3M左右的就没事。

[pureagestay]

我擦！作者牛逼，居然不是外国人

[alexmaehon]

希望下一版的pdf上传功能不出问题，那就太棒了，这对我的项目来说是唯一的缺憾

[wang0618]

你的应用有公网地址吗，我一直没能复现出这个bug，我可以去你的应用上研究下

[wang0618]

不用了，刚刚换了一个网络终于复现出来了，我这两天研究一下

[wang0618]

可以暂时先用aiohttp server启动应用：

from pywebio.platform.aiohttp import start_server
start_server(main, port=8080, debug=False, websocket_settings=dict(max_msg_size=0))

我试了，aiohttp server不存在这个问题

[alexmaehon]

暂时还没公共地址，还在开发阶段。非常感谢！我这段时间用aiohttp试试。
pywebio拥有web上迅速的测试很多idea的能力，快速开发救星，而且能运行需要长时间处理数据的machine learning的project，非常赞👍～

[alexmaehon]

试了一段时间aiohttp，没有再碰到pdf上传编码错误的问题了，many thanks😊

[alexmaehon]

但遇到了另一个问题，就是aiohttp不能设置reconnect_time, 所以用户上传的文件在的后台处理在一定时间之后还没完成，就会和用户断开，这个线程也就断了。怎么设置保持连接的时间限制呢？我去再开一个issue来问您