Нейросеть в коробке
Как компьютер угадывает следующее слово?
🔒
Эта машина — по подписке
Зарегистрируйтесь — и 7 дней всё откроется бесплатно, без карты.
Главная идея
нейросеть не «знает» ответ — она считает шансы каждого слова по тому, что видела при учёбе, и выбирает слово, обычно самое вероятное. Слово за словом получается текст.
Шаги
- 1Слова входят
- 2Слова — в числа
- 3Шестерёнки-веса
- 4Табло шансов
- 5Крутим колесо
- 6Слово готово
Настоящие числа
- Учебный пример машины
- из 14 фраз после «кот пьёт» 10 раз: молоко 5, воду 3, сок 1, чай 1 → шансы 50 %, 30 %, 10 %, 10 %
- Как оценки становятся шансами
- функция softmax с «температурой»: при T = 0,2 «молоко» — 93 %, при T = 3 — всего 33 %
- Умножений на одно слово
- модель на 7 млрд весов делает ≈ 7 млрд умножений-со-сложением на каждое слово
- Скорость
- ≈ 20 слов в секунду — одно слово за 0,05 с, ≈ 140 млрд умножений в секунду
Как пользоваться: нажимай кнопки шагов по порядку (или Пробел). Переключатель «Авто» запустит всё сам. Стрелки ← → на клавиатуре — соседние машины.