Доклады
59
21 января 2025
Семинар: «Лучшие практики работы с большими научными данными: используем Parquet и DuckDB»
В Институте востоковедения РАН 21 января 2025 года в гибридном формате прошел семинар, посвящённый современным технологиям работы с большими научными данными.
На семинаре выступал Иван Бегтин, директор АНО «Информационная культура», ведущий отечественный эксперт в области открытых данных и открытого правительства. В течение многих лет он активно развивает проекты по работе с открытыми данными в России и за рубежом, среди которых стартап Dateno.io по поиску данных, проекты «Госзатраты», «Открытые НКО», «Понятный русский язык», «Цифровое сохранение» и другие.
Иван Бегтин поделился опытом использования форматов Parquet и аналитической СУБД DuckDB, которые позволяют эффективно работать с массивами данных без сложной инфраструктуры. Лектор продемонстрировал практические кейсы, включая обработку данных музейных фондов и данных о результатах НИОКТР. В итоге, участники познакомились с форматом Parquet, сжимающим данные в десятки раз, сохраняя высокую производительность, и СУБД DuckDB, которая дает возможность выполнять сложные запросы напрямую к файлам.
В рамках семинара также были затронуты вопросы, связанные с публикацией данных в России, с ограниченным доступом к репозиториям и с потребностям в качественной документации.
Тематика семинара вызвала большой интерес среди учёных и специалистов по работе с данными: на мероприятие зарегистрировалось около 70 участников, среди которых были как молодые исследователи, так и руководители организаций. Слушатели представляли ведущие академические учреждения со всей России (МГУ, НИЯУ МИФИ, СПбГУ, УрФУ, НИУ ВШЭ, Университет ИТМО, МГТУ им. Н.Э. Баумана, РАНХиГС, КГУ, СВФУ, ТГУ и др.). Также были участники и из индустрии (ПАО «Сбербанк», ЦБ РФ, «Нетология» и др.).
Институт востоковедения РАН благодарит всех участников за уделенное нам внимание и приглашает на будущие мероприятия, посвящённые современным технологиям работы с данными.
Тем, у кого не получилось присоединиться к семинару, предлагаем посмотреть его видеозапись: https://rutube.ru/video/e1e2846cfbe22a916c05d3bf0fcdb52a/
Подписывайтесь:
- https://t.me/begtin - Телеграм-канал Ивана Бегтина про данные
- https://begtin.substack.com - блог/рассылка Ивана Бегтина про данные и не только
По дополнительным вопросам, пожалуйста, обращайтесь к модератору мероприятия Алине Владимировой (a.vladimirova[собака]ivran.ru)
Новости лаборатории >>
ИВ РАН · КОНФЕРЕНЦИЯ
II Международная конференция «Цифровое востоковедение»
ИВ РАН выступил площадкой, где традиция фундаментальных исследований встретилась с прикладными задачами и инженерией.
Конференция в цифрах
Масштаб события
Презентации ИИ-разработок, доклады и статистика II Международной конференции «Цифровое востоковедение».
Участники
80 +
Международное участие
Россия и четыре зарубежные страны
Участники из Таиланда, Индии, Индонезии и Великобритании, а также многочисленные спикеры из научных центров России.
Искусственный интеллект
20
тематических докладов
ИИ посвятили отдельную сессию. Учёные ИВ РАН и Yandex Cloud показали ИИ-ассистент для китайских новостей, была представлена система TRAIT для перевода буддийских текстов и проанализировано регулирование ИИ в странах Востока.
Исследовательский инструментарий
Сквозные цифровые технологии
Подходы, которые использовались в докладах, исследованиях и представленных цифровых разработках.
Сетевой анализ
ГИС-технологии
3D-реконструкция
Цифровое моделирование
Корпусная лингвистика
Анализ больших данных
Особенности конференции
Наука, технологии и практические разработки
Широта охвата
От анализа торговых сетей ШОС и цифровой дипломатии до 3D-реконструкции археологических объектов, цифрового анализа средневековой поэзии и изучения взаимодействия религии с ИИ.
Молодёжная составляющая
Значительное число докладчиков — студенты и аспиранты ведущих вузов: НИУ ВШЭ, СПбГУ, МГУ, Финансового университета и других образовательных центров.
Междисциплинарность
Участвуют специалисты по истории, лингвистике, политологии, экономике, международным отношениям, археологии, религиоведению и компьютерным наукам.
Практические разработки
Представлены ИИ-ассистент для новостей, система перевода TRAIT, решения для 3D-фиксации и реконструкции, аналитические платформы и другие прикладные проекты.