Чесний облік. Найважча частина роботи (розпізнавання мовлення, голосові ембедінги, текстові ембедінги, мовна модель, що пише підказки) зроблена іншими людьми, здебільшого відкрита. Цей проєкт є обв’язкою, процесом і продуктовими рішеннями навколо цих моделей. Якщо це і “власна розробка”, то розробка інструмента навколо готових рушіїв, а не самих рушіїв.
Сторонні компоненти
| Компонент | Що робить тут | Ліцензія | Джерело |
|---|---|---|---|
OpenAI Whisper, ваги large-v3-turbo | Розпізнавання мовлення в обох каналах | MIT (код і ваги) | github.com/openai/whisper |
| Apple MLX | Запускає Whisper на графіці Apple Silicon | MIT | github.com/ml-explore/mlx |
mlx-whisper і ваги mlx-community | Порт Whisper для MLX і сконвертовані ваги | MIT | pypi.org/project/mlx-whisper, github.com/ml-explore/mlx-examples |
| py-webrtcvad (WebRTC VAD) | Мовлення чи тиша для кожного кадру 30 мс | MIT (обгортка), BSD-3-Clause (код WebRTC) | github.com/wiseman/py-webrtcvad |
| NumPy | Звукові буфери, вектори, косинусна схожість | BSD-3-Clause | numpy.org |
| sherpa-onnx (k2-fsa) | Рахує голосові ембедінги зі звуку | Apache-2.0 | github.com/k2-fsa/sherpa-onnx |
| ONNX Runtime | Рушій інференсу під sherpa-onnx | MIT | github.com/microsoft/onnxruntime |
WeSpeaker ResNet34 (wespeaker_en_voxceleb_resnet34_LM) | Голосова модель, що розрізняє спікерів | Apache-2.0 (код WeSpeaker); модель навчена на VoxCeleb під CC BY 4.0: див. сторінку моделі | Моделі WeSpeaker, ліцензія VoxCeleb |
| Ollama | Локальний сервер для моделі текстових ембедінгів (необов’язково) | MIT | github.com/ollama/ollama |
BAAI bge-m3 | Мультимовні текстові ембедінги: факти за змістом, індекс проєкту (необов’язково) | MIT | huggingface.co/BAAI/bge-m3 |
| Системні фреймворки Apple: AVAudioEngine, Core Audio process taps, AppKit, WKWebView | Запис мікрофона і системного звуку, вікно-суфлер | Частина macOS, умови Apple SDK | developer.apple.com |
| Claude (Anthropic) у Claude Cowork | Читає транскрипт і пише підказки, бриф і підсумок | Комерційний сервіс за твоїм планом Claude, не відкритий код | anthropic.com |
| Notion API | Читає контекст проєкту, пише сторінку зустрічі | Комерційний сервіс, умови Notion | developers.notion.com |
Ліцензії змінюються; головне джерело - посилання вище, таблиця відображає стан на жовтень 2026.
Що зроблено тут
- Помічник запису звуку (
audiocap, Swift): мікрофон і системний звук двома окремими потоками, перемикання пристроїв і сторожі: завислий потік перезапускається, старт, що завис, вбивається і повторюється, після кількох невдач запис перемикається на мікрофон Мака. - Конвеєр навколо Whisper (
transcriber.py): сегментація поверх VAD, фільтр шуму, фільтри вигаданих Whisper рядків (титри субтитрів, луна промпту, описи звуків), закріплені мови на дзвінок і на канал, формат транскрипту, лічильник часу мовлення. - Вікно-суфлер (
prompter.html+prompter.swift): розкладка, меню під шестернею, слот попереджень, закріплення, оцінки, 🆘 і пауза, картка спікера, приховування, дві мови інтерфейсу. - Протокол між записувачем і Claude:
read_delta.py(довге опитування, підказки у вікно, ввід із вікна, стан, нагадування) і помічникlt(старт, статус, стоп, перевірка підготовки, стан, цифри для підсумку, пошук). - Миттєві картки і книга фактів: формати, локальне зіставлення, рядок питання і локальна реакція на 🆘, без моделі.
- Розпізнавання спікерів поверх голосової моделі: кластеризація на ходу, процес “Хто говорить?”, виправлення і об’єднання, локальна бібліотека голосів, імена на весь дзвінок.
- Семантичний шар поверх текстової моделі: факти і картки за змістом, жива тема, індекс на кожен проєкт з виключеннями, логи користі.
- Скіл (
live-tips): підготовка (бриф, картки, факти), правила на дзвінку (факт або тиша, пріоритети, тригери, формат підказки), підсумок у Notion і уроки.
Статус: бета
- Перевірено однією людиною на одному Маку (Apple Silicon) на реальних робочих дзвінках з жовтня 2026 року, здебільшого в Google Meet, українською та англійською.
- Пороги (розпізнавання спікерів, збіг за змістом, частота підказок) ще налаштовуються на реальних дзвінках; між версіями вони можуть змінюватись.
- Відомі обмеження: Zoom і Teams перевірені не повністю; розпізнавання спікерів і семантичний шар нові й необов’язкові; приховування залежить від того, чи поважає застосунок для дзвінків прапорець вікна macOS, тож перевір його у своєму застосунку перед чутливим дзвінком.
- Щось не так чи бракує: відкрий issue в репозиторії з рядками логів (ніколи з транскриптами чи даними клієнтів).
Що далі
Підказки на дзвінку тепер окремий продукт, Pacenote: застосунок для Мака і скіл для Cowork. Його компоненти та їхні ліцензії перелічені в його репозиторії, github.com/bodco/live-tips.