Bỏ qua và đến nội dung
Nhat Nguyen (Nate)

2026

Type by Voice: dictation macOS tại con trỏ

Nhat Nguyen (Nate)

SwiftNest.jsTypeScriptWebSocket

Vấn đề

Lập trình viên và người làm tri thức cần chuyển lời nói thành chữ tức thì, để prompt AI, soạn tin nhắn, hoặc viết nhanh hơn mà không gõ từng chữ. Như nói với Jarvis: bấm phím tắt, nói, transcript hiện tại con trỏ. Chạy trên Mac mà không đốt CPU on-device nghĩa là client mỏng và backend chắc.

Phần tôi làm

Sản phẩm end-to-end: client Swift menu bar (phím tắt toàn cục, capture Opus, pill nổi, chèn qua clipboard) và gateway Nest.js stream audio rồi trả transcript cuối. HTTP + WebSocket dùng chung để sau này Windows / mobile tái sử dụng cùng API.

Cửa sổ transcript Type by Voice với ô tìm kiếm, ghi chú theo ngày, nút sao chép, và nút ghi âm nổi

Kiến trúc

App Mac chỉ LSUIElement, không icon Dock. Ghi âm là state machine (idle → connecting → recording → transcribing → inserting), mọi trạng thái khác idle đều có timeout. Pill ở Connecting đến khi có frame mic và ready từ server, rồi Listening; audio trước ready được buffer để không mất từ đầu.

Audio Ogg Opus (~24 kbps) stream qua wss://…/v1/dictate sau ready. Server ghép một payload mỗi lần nói và chạy inference Whisper-class theo batch (adapter Groq). Chèn chữ ưu tiên paste Accessibility (lưu clipboard → paste → khôi phục); không có Accessibility thì giữ transcript trên clipboard kèm thông báo.

Kết quả

DMG macOS (unsigned) tải được từ GitHub Releases, nối API production. Dictation tiếng Anh với hạn mức từ theo tuần trên server. App thật, không phải mock.

Mở trên macOS

Chuột phải → Open cũng chưa mở được bản này. Gatekeeper chặn app chưa ký, nên bạn bật một lần trong System Settings.

  1. Sau khi tải, thử mở TypeByVoice. Bạn sẽ thấy "TypeByVoice" Not Opened.

Hộp thoại macOS báo TypeByVoice không được mở vì Apple chưa xác minh

  1. Vào System Settings → Privacy & Security, tìm "TypeByVoice" was blocked to protect your Mac, rồi bấm Open Anyway.

Privacy and Security với TypeByVoice bị chặn và nút Open Anyway

  1. Xác nhận lần nữa nếu macOS hỏi. Sau đó TypeByVoice mở bình thường.