Dense-only quantization bit precision

[akarkim]

안녕하세요.
논문을 읽다 궁금한 점이 생겨 질문 드립니다.

Table1을 보면, Dense-only인 경우에 Avg.Bits 가 4가 아닌 4.05로 표기되어 있는데, 왜 4-bit 가 아닌가요?

제가 이해하기로는,
dense-only는 sparse matrix를 사용하지 않기 때문에
weights가 전부 integer이고 그로 인해 4-bit precision이 맞다 생각했습니다.
혹시 non-uniform quantization으로 인한 어떤 오버헤드 때문에 Avg.Bits가 4.05 인가요?

+추신) 작년 8월에 경량화 스터디 오프라인 밋업에서 발표하시는 거 들었었는데 너무 인상 깊었습니다! 올해도 참석해주시는지 궁금합니다 ㅎㅎ

감사합니다

[seannz]

@akarkim, @kssteven418, do we have an answer to this question? I have the exact same question. Thanks!

[kssteven418]

Hi @akarkim @seannz , thank you for bring up the question (I'm writing my response in English, in case there are other people who may have a similar question).

Your understanding is correct that the weights alone are 4 bits without sparsity.
However, the source of additional overhead is from LUTs. We need to store the mapping information from 4-bit integers to the associated float values. This will require additional 2**4 * sizeof(float) memory requirement per quantization group.

Hope this answers your question.