Mac M1Pro 可以正常运行，但一直卡着等不到回答！

[delete-x]

Is there an existing issue for this?

• I have searched the existing issues

Current Behavior

queue: 1/1 | 561.3s.

Expected Behavior

No response

Steps To Reproduce

1. mac m1pro
2. torch_nightly_env
3. half().to('mps')

Environment

- OS:  macos 13.3.1
- Python:  3.10
- Transformers:  4.27
- PyTorch: torch_nightly_env
- CUDA Support (`python -c "import torch; print(torch.cuda.is_available())"`) :   mps

Anything else?

No response

[cylee0909]

half().to('mps') 改为 float().to('mps')试试

[duzx16]

应该是PyTorch在mps上的一个bug：pytorch/pytorch#96602 ，会导致attention score出现nan
参考huggingface/diffusers#2643 做了一个修复https://huggingface.co/THUDM/chatglm-6b/commit/cde457b39fe0670b10dd293909aab17387ea2c80 ，在M1 Pro + pytorch 2.1.0.dev20230408上测试了没有问题。

[zz10247]

应该是PyTorch在mps上的一个bug：pytorch/pytorch#96602 ，会导致attention score出现nan 参考huggingface/diffusers#2643 做了一个修复https://huggingface.co/THUDM/chatglm-6b/commit/cde457b39fe0670b10dd293909aab17387ea2c80 ，在M1 Pro + pytorch 2.1.0.dev20230408上测试了没有问题。

您好，想请教一下，在m1 pro 16g的电脑上，使用.half().to('mps')，回复速度十分的慢，这个是正常情况么。第一句回复用了1000多秒。

[duzx16]

应该是PyTorch在mps上的一个bug：pytorch/pytorch#96602 ，会导致attention score出现nan 参考huggingface/diffusers#2643 做了一个修复https://huggingface.co/THUDM/chatglm-6b/commit/cde457b39fe0670b10dd293909aab17387ea2c80 ，在M1 Pro + pytorch 2.1.0.dev20230408上测试了没有问题。

您好，想请教一下，在m1 pro 16g的电脑上，使用.half().to('mps')，回复速度十分的慢，这个是正常情况么。第一句回复用了1000多秒。

不太正常，你可以打开活动监视器看一下GPU占用

[zz10247]

GPU占用很低，是不是说明我没有启动to('mps')这个模式

[dydwgmcnl4241]

在m1电脑上，使用.half().to('mps')时报错，用float()时正常，应该怎么修改呢，感谢！

/Users/wilson/miniforge3/lib/python3.10/site-packages/transformers/generation/utils.py:686: UserWarning: MPS: no support for int64 repeats mask, casting it to int32 (Triggered internally at /Users/runner/work/pytorch/pytorch/pytorch/aten/src/ATen/native/mps/operations/Repeat.mm:236.)
input_ids = input_ids.repeat_interleave(expand_size, dim=0)
The dtype of attention mask (torch.int64) is not bool
loc("varianceEps"("(mpsFileLoc): /AppleInternal/Library/BuildRoots/97f6331a-ba75-11ed-a4bc-863efbbaf80d/Library/Caches/com.apple.xbs/Sources/MetalPerformanceShadersGraph/mpsgraph/MetalPerformanceShadersGraph/Core/Files/MPSGraphUtilities.mm":228:0)): error: input types 'tensor<1x4x1xf16>' and 'tensor<1xf32>' are not broadcast compatible
LLVM ERROR: Failed to infer result type(s).

[yg838457845]

same problem, after I update the system version to 13.3.1

[zhaopengme]

same problem, after I update the system version to 13.3.1

你跑通了，我刚跑也是一直卡着

[zhouxiunai]

m1 half 问个你好，要10多分钟 。 float 直接内存溢出。 量化 直接报错要 cuda 有一样问题的么？ 另外项目belle 可以使用int4 量化，而且效果不错

[liury889]

m1 half 问个你好，要10多分钟 。 float 直接内存溢出。 量化 直接报错要 cuda 有一样问题的么？ 另外项目belle 可以使用int4 量化，而且效果不错

对，踩坑半天，和你情况一样

[duzx16]

m1 half 问个你好，要10多分钟 。 float 直接内存溢出。 量化 直接报错要 cuda 有一样问题的么？ 另外项目belle 可以使用int4 量化，而且效果不错

量化的话直接用 https://huggingface.co/THUDM/chatglm-6b-int4 ，里面有cpu kernel不用cuda
half 用 mps 的话我在 32G 内存的机器上测试还挺快的，16G 内存的话可能要做 swap 所以很慢

[liury889]

m1 half 问个你好，要10多分钟 。 float 直接内存溢出。 量化 直接报错要 cuda 有一样问题的么？ 另外项目belle 可以使用int4 量化，而且效果不错

量化的话直接用 https://huggingface.co/THUDM/chatglm-6b-int4 ，里面有cpu kernel不用cuda half 用 mps 的话我在 32G 内存的机器上测试还挺快的，16G 内存的话可能要做 swap 所以很慢

在 m1 pro 16g 机器上根本无法运行int4，你是能直接运用吗？有详细的步骤没，大佬请赐教，不知道那出错啦？