Whisper.cpp: полный бенчмарк производительности на русском языке для устаревшего оборудования (Intel Core i5-460M)

[di-halt]

Whisper.cpp: полный бенчмарк производительности на русском языке для устаревшего оборудования (Intel Core i5-460M)

1. Введение

В этом отчёте представлены результаты тестирования whisper.cpp на русскоязычных аудиофайлах с использованием процессора Intel Core i5-460M (Arrandale) 2010 года выпуска. Цель — определить оптимальную конфигурацию модели и квантования для транскрибации русского языка на старом оборудовании.

2. Окружение для тестирования

• Система: Ноутбук ASUS K52F
• Процессор: Intel Core i5-460M (2 ядра / 4 потока, 2.53-2.8 ГГц, SSE4.2)
• ОЗУ: 8 ГБ DDR3-1066
• ПО: whisper.cpp (сборка с -march=native -O3)

3. Тестовые аудиофайлы и эталонные тексты

Файл	Длит.	Описание	Эталонный текст
tz_easy.wav	21.7 с	Чистая дикторская речь	«Вернулся как-то Виталик из рейса, с подарками для жены и тёщи. Жена была любимой, а тёща — начитанной. Все книжные идеи она считала полезными, и немедленно воплощала их в жизнь. — Как же я вчера самолёт-то посадил?»
tz_medi.wav	8.1 с	Речь на фоне тихой музыки	«Жена, скажи своей мамаше, чтобы без фокусов!»
tz_hard.wav	15.4 с	Куплет из песни С. Шнурова	«Руки-ноги дэнс, голова бом-бом бам. Мои мозги похожи на кусок бабл-гам. Можно жить так, но лучше ускориться. Я лично бухаю, а кто-то колется.»

4. Результаты тестирования (от лучшего качества к худшему)

4.1. Файл tz_easy.wav (чистая речь)

Модель	Квант	Общее время	RTF	Вердикт по качеству
large-v3-ru	q4_0	403.7 с	0.054x	🏆 ЭТАЛОН. Идеально, включая букву «ё» и пунктуацию.
large-v3-turbo	q4_0	161.6 с	0.134x	✅ Отлично. Единственная ошибка: «тёщи» вместо «тёща».
large-v3-ru	q8_0	390.6 с	0.056x	✅ Отлично. Нет буквы «ё», в остальном идеально.
large-v3-turbo	q8_0	192.9 с	0.112x	✅ Отлично. Аналогично q4_0.
medium-ml	q4_0	196.2 с	0.111x	✅ Хорошо. «Виталий», «ты же вчера».
small-ml	q4_0	68.4 с	0.317x	✅ Хорошо. Нет знаков препинания, мелкие ошибки.
small-ml	q8_0	87.0 с	0.249x	✅ Хорошо. Аналогично q4_0.
base-ml	q8_0	28.8 с	0.75x	⚠️ Удовл. «Виталека», «изрейся», «воплощала их жить».
base-ml	q4_0	25.5 с	0.85x	⚠️ Удовл. «Ввернулся», «окнижние», «оночитала».
tiny-ml	q8_0	14.5 с	1.49x	❌ Плохо. «о начатах», «воплощал», «омолёт ты посадил».
tiny-ml	q4_1	14.3 с	1.51x	❌ Плохо. «в жить», «ты же еще раз самолет в посадил».
tiny-ml	q4_0	14.4 с	1.50x	❌ Плохо. «Виталяка», «спадарками», «Кряще раз омолодто по-садим».
medium-ru (Fake)	все	—	—	💀 ГАЛЛЮЦИНАЦИЯ. «муся как то виталик...»
small-ru-pruned-ft	все	—	—	💀 ОШИБКА. GGML_ASSERT, несовместим.

4.2. Файл tz_medi.wav (речь + тихая музыка)

Модель	Квант	Общее время	RTF	Вердикт по качеству
large-v3-ru	q4_0	184.4 с	0.044x	🏆 ЛУЧШИЙ. «Жена, скажи своей мамаши, чтобы без фокусов» (опечатка в окончании).
large-v3-turbo	q8_0	173.5 с	0.047x	🏆 ЛУЧШИЙ. «Жена, скажи своей мамашке, чтобы без фокусов» (идеально!).
large-v3-turbo	q4_0	136.8 с	0.059x	✅ Отлично. «мамашу» вместо «мамашке».
large-v3-ru	q8_0	228.8 с	0.035x	✅ Отлично. Идеальный текст.
medium-ml	q8_0	123.0 с	0.066x	✅ Хорошо. «мамаши».
small-ml	q4_0	35.3 с	0.230x	✅ Хорошо. «мамаши», «что бы без фокуса».
small-ml	q8_0	46.3 с	0.175x	⚠️ Удовл. Добавил «СПОКОЙНАЯ МУЗЫКА» перед речью.
base-ml	q4_0	12.4 с	0.65x	❌ Плохо. «своему моему аше, чтобы без фулкуса».
base-ml	q8_0	15.4 с	0.53x	❌ Плохо. «ЛИРИЧЕСКАЯ МУЗЫКА», «свои мова, что бы без фулкусов».
tiny-ml	q4_0	7.0 с	1.16x	❌ Плохо. «ТРЕВОЖНАЯ МУЗЫКА», «свой мой мальше, что бы бесплогаться».
tiny-ml	q4_1	7.7 с	1.05x	❌ Плохо. «ДИНАМИЧНАЯ МУЗЫКА», «своему вашу, чтобы убесколку».
tiny-ml	q8_0	8.5 с	0.95x	❌ Плохо. «ИНТРИГУЮЩАЯ МУЗЫКА», «своем омажешь, что бы беспокойся».
medium-ml	q4_0	115.7 с	0.070x	💀 ГАЛЛЮЦИНАЦИЯ. Выдал титры: «Редактор субтитров А.Синецкая. Корректор А.Кулакова».

4.3. Файл tz_hard.wav (песня)

Модель	Квант	Общее время	RTF	Вердикт по качеству
large-v3-turbo	q8_0	183.8 с	0.084x	🏆 ЛУЧШИЙ. «танц», «Моя рука» (почти идеал).
large-v3-turbo	q4_0	153.9 с	0.100x	✅ Отлично. «тэнс», «Мелоскоп».
large-v3-ru	q4_0	322.5 с	0.048x	✅ Отлично. «тэнс», «бунт», «Мэйл Дэнс».
medium-ml	q4_0	177.9 с	0.087x	✅ Хорошо. «тенз», «Моя лодка», «пухаю».
medium-ml	q8_0	196.6 с	0.078x	✅ Хорошо. «дэнс», «Мерлотка», «пухаю».
small-ml	q8_0	77.5 с	0.199x	⚠️ Удовл. «Руки на детенз», «Мэллот», «баблогам».
small-ml	q4_0	182.5 с	0.084x	⚠️ Удовл. Слил в одну строку, «титенз», «бабы гам».
base-ml	q8_0	22.4 с	0.69x	❌ Плохо. «Кинокидент с голова», «отгольца».
base-ml	q4_0	19.9 с	0.77x	❌ Плохо. «генетинской лава», «Моу!», «оскольца».
tiny-ml	q8_0	29.7 с	0.52x	❌ Плохо. «Киннодит Энсколов обумбутаб».
tiny-ml	q4_1	95.9 с	0.16x	💀 БРЕД. «Кинули перс голова буба, дабы, дабы...»
tiny-ml	q4_0	148.5 с	0.10x	💀 БРЕД. Бесконечное «Бом-Бом-Бом...» (62 раза).
large-v3-ru	q8_0	363.0 с	0.042x	💀 ПРОВАЛ. Слил текст в кашу: «мелькотка, похожий...».

5. Иерархия квантования по скорости (от быстрого к медленному)

На основе всех тестов (включая jfk.wav, tz_easy, tz_medi, tz_hard) выстроена чёткая иерархия:

Ранг	Квант	Среднее замедление vs q4_0	Вердикт
🥇 1	q4_0	1.00x (эталон)	АБСОЛЮТНЫЙ КОРОЛЬ. Самый быстрый, идеальное качество.
🥈 2	q8_0	1.15x — 1.25x	Надёжный, но медленнее и больше. q4_0 лучше.
🥉 3	q4_1	1.20x — 1.60x	Медленнее q4_0, качество то же. Не нужен.
4	q3_k	1.50x — 2.00x	Только для экономии места на base.
5	q5_0 / q5_1	3.00x — 5.50x	КАТАСТРОФА. Избегать любой ценой.
6	f16	4.00x — 12.00x	Только для конвертации.
7	q2_k	5.00x — 15.00x	Галлюцинации на малых моделях.

6. Финальные рекомендации для русского языка на i5-460M

Задача	Модель	Квант	Размер	Ожидаемое время на 1 час аудио
Черновик, срочно	tiny-ml	q4_0	25 МБ	~40 мин
Основная работа	base-ml	q4_0	46 МБ	~1 ч 15 мин
Важное, высокое качество	large-v3-turbo	q4_0	474 МБ	~10-14 часов
Эталон чистой речи	large-v3-ru	q4_0	889 МБ	~24-36 часов

7. Выводы

1. q4_0 — единственный рекомендуемый формат квантования для старых CPU. Он быстрее и компактнее всех аналогов при том же качестве.
2. Для чистой русской речи large-v3-ru даёт эталонное качество, но очень медленный.
3. large-v3-turbo — оптимальный выбор для сложных/музыкальных файлов на русском языке.
4. q5_0, q5_1, q2_k — не использовать никогда на данном оборудовании.
5. Остерегаться фейковых «русских» моделей на Hugging Face. Проверять метаданные перед загрузкой.

[rungvang]

You should include large-v2, I think large-v2 is better then large-v3-turbo/large-v3