Издатель
Спикер: Татьяна Лихоманенко, Facebook AI Research, Менло-Парк, Калифорния, США.
О вебинаре:
В последнее время псевдо-разметка для обучения с частичным учителем продемонстрировала свою эффективность для распознавания речи. Было также показано, что итеративная псевдо-разметка (IPL), которая учит непрерывно одну модель с помощью псевдо-разметки, итеративно сгенерированной в течение обучения этой модели, далее улучшает качество распознавания речи. В текущей работе мы улучшили IPL алгоритм: во время обучения модели мы итеративно генерируем транскрипцию для аудио с помощью hard меток (наиболее вероятностный токен) без использования лингвистической модели.
Один из ключевых компонентов предложенного алгоритма slimIPL - это динамический кэш для псевдо-разметки, который уменьшает чувствительность к гиперпараметрам псевдо-разметки и стабилизирует обучение. slimIPL очень эффективен и требует 3.5-4x меньше вычислительных ресурсов для обучения чем другие state-of-the-art методы.
При использовании только 10 часов размеченных данных slimIPL показывает близкие результаты к state-of-the-art; без использования какой бы то ни было лингвистической модели во время тестирования и генерации псевдо-разметки slimIPL является state-of-the-art при использовании 100 часов размеченных данных.
Материалы: https://arxiv.org/abs/2010.11524
Чтобы не пропустить анонсы следующих научно-технических вебинаров, присоединяйтесь к нам в Telegram: https://t.me/joinchat/GramWh2bMaYUGyPLdUFZWQ
Сайт организатора: https://www.ntr.ai
О вебинаре:
В последнее время псевдо-разметка для обучения с частичным учителем продемонстрировала свою эффективность для распознавания речи. Было также показано, что итеративная псевдо-разметка (IPL), которая учит непрерывно одну модель с помощью псевдо-разметки, итеративно сгенерированной в течение обучения этой модели, далее улучшает качество распознавания речи. В текущей работе мы улучшили IPL алгоритм: во время обучения модели мы итеративно генерируем транскрипцию для аудио с помощью hard меток (наиболее вероятностный токен) без использования лингвистической модели.
Один из ключевых компонентов предложенного алгоритма slimIPL - это динамический кэш для псевдо-разметки, который уменьшает чувствительность к гиперпараметрам псевдо-разметки и стабилизирует обучение. slimIPL очень эффективен и требует 3.5-4x меньше вычислительных ресурсов для обучения чем другие state-of-the-art методы.
При использовании только 10 часов размеченных данных slimIPL показывает близкие результаты к state-of-the-art; без использования какой бы то ни было лингвистической модели во время тестирования и генерации псевдо-разметки slimIPL является state-of-the-art при использовании 100 часов размеченных данных.
Материалы: https://arxiv.org/abs/2010.11524
Чтобы не пропустить анонсы следующих научно-технических вебинаров, присоединяйтесь к нам в Telegram: https://t.me/joinchat/GramWh2bMaYUGyPLdUFZWQ
Сайт организатора: https://www.ntr.ai
- Категория
- Акустические системы
Комментариев нет.
