Инфраструктура ИИ, точность вычислений и системы поиска — Аш Варданян | Мыслить как ученый #56

Почему искусственному интеллекту нужны видеокарты? Что такое смешанная точность и почему индустрия переходит на 8- и 4-битные вычисления? Говорим о гонке вычислений, эффективности современных чипов и компромиссах, которые позволяют обучать всё более крупные модели.

Разбираем, как устроены современные системы поиска и почему поиск стал одной из фундаментальных операций искусственного интеллекта. Обсуждаем векторный поиск, работу с огромными массивами данных, а также то, какое отношение к этим технологиям имеют биоинформатика, ДНК и поиск новых лекарств. Говорим о роли открытого кода в развитии технологий и о том, почему вклад в open-source-проекты может быть не менее важен для науки, чем академические публикации.

Список литературы от Ильи Суцкевера: https://github.com/dzyim/ilya-sutskever-recommended-reading

▶︎Naukka Talents – платформа для поиска талантов и найма STEM-специалистов в deep-tech и biotech проекты. Подать заявку кандидата: https://postnauka.org/link/nt_scast
▶︎Следите за ПостНаукой на других площадках: https://postnauka.org/link/linktr_scast
▶Курсы от создателей ПостНауки: https://postnauka.org/link/academy_scast
▶Поддержать ПостНауку: https://postnauka.org/link/donate_scast
▶По вопросам партнерства — коммуникационное агентство ПостНаука.Specials: https://postnauka.org/link/letsdance_scast

Тайминги выпуска:

00:00 О чем этот выпуск?
02:49 ИИ работает на видеокартах?
08:23 Как индустрия жертвует точностью ради масштаба
13:42 Что такое 16-битные и 4-битные числа?
17:46 Naukka Talents ищет талантливых STEM-специалистов
19:03 Компромисс между точностью и производительностью
25:50 Гонка ИИ движется в неправильную сторону?
30:04 Мир держится на open source?
33:20 Почему Big Tech экономит каждый бит
38:23 Зачем нужны строки?
44:00 Почему AlphaFold построен на компромиссах
47:22 Инфраструктура как операционная система науки
51:47 Что не так с поиском?
01:00:21 Поиск молекул и разработка новых лекарств
01:04:06 Почему технологии находят применение спустя годы
01:09:26 Зачем переписывать инфраструктуру ИИ?
01:14:06 Unum — самая маленькая Big Tech-компания в мире
01:25:43 Работа в корпорации или свой стартап?
01:33:35 Советы разработчикам: от студентов до сеньоров
01:43:40 Заключение