Что нового в DataSpell 2023.3
DataSpell 2023.3: AI Assistant, поддержка dbt, ячейки SQL, интерактивные таблицы для повышения производительности и многое другое
AI Assistant Публичный доступ
Мы официально выпустили своего ИИ-помощника AI Assistant, добавив ряд новых возможностей и улучшив уже известные функции, чтобы сделать работу в IDE JetBrains еще эффективнее.
Анализ DataFrame с помощью JetBrains AI Assistant
Новая функция Explain code поможет быстро и легко проанализировать DataFrame. Ее удобно запускать через контекстное меню в Jupyter-ноутбуках и скриптах Python, а также просто нажав на иконку AI Assistant в правом верхнем углу интерактивных таблиц. После включения AI Assistant соберет основную информацию о наборе данных, например имена столбцов и описательную статистику. Это позволяет ИИ-помощнику вывести необходимую информацию о DataFrame и выполнить его анализ. Кроме того, в ходе диалога с помощником вы можете при необходимости получить углубленный анализ.
Чтобы использовать AI Assistant как дополнительную функцию DataSpell, вам потребуется подписка JetBrains AI Service.
dbt
Новая версия DataSpell поддерживает dbt Core — современный фреймворк преобразования данных, популярность которого в сообществе стремительно растет. dbt Core упрощает преобразование данных и предлагает использовать при анализе данных передовые инженерные практики: модуляризацию, тестирование и документирование. Это особенно удобно специалистам, которые уже знакомы с SQL.
Вот лишь некоторые преимущества использования dbt Core в DataSpell:
- упрощенное создание проекта: проект dbt легко создать с помощью предварительно сконфигурированного шаблона;
- упрощенные процессы запуска, сборки и отладки: с помощью функции Run Configurations можно выполнить код, собрать проект или начать его отладку всего за несколько кликов;
- умное автодополнение кода: DataSpell предлагает умное автодополнение для файлов SQL и YML.
SQL и Python
Ячейки SQL
В новой версии DataSpell значительно расширены связи между SQL и Python: в дополнение к уже существующей широкой поддержке SQL с использованием встроенных инструментов для работы с БД и плагина SQL, мы добавили ячейки SQL. Теперь их можно использовать в Jupyter-ноутбуках точно так же, как ячейки Python или Markdown. С помощью ячеек SQL удобно получать данные из базы данных. Они автоматически преобразуются в pandas DataFrame, и их можно сразу использовать в ноутбуке. Кроме того, все возможности умного автодополнения кода доступны как для кода, так и для объектов SQL, то есть таблиц и столбцов. Это упрощает создание кода SQL. Чтобы создать ячейку SQL, просто нажмите Add SQL Cell.
Full Line code completion
Автодополнение кода в новой версии DataSpell работает еще эффективнее и лучше учитывает контекст. Теперь благодаря локальной модели, встроенной прямо в IDE, варианты автодополнения опираются на содержимое текущего файла. Модель обучается на вашем коде и может предлагать целые строки, повышая эффективность анализа данных.
Другие улучшения в работе с базами данных и плагином SQL
Интерактивные таблицы
Внутренняя статистика таблицы
Удобный доступ к описательной статистике датафрейма помогает специалистам по анализу данных существенно повысить производительность. Мы постарались сделать этот процесс в DataSpell более понятным. Теперь перейти к основным статистическим данным, таким как отсутствующие значения, усредненные значения, стандартное отклонение и т. п., можно прямо в заголовке таблицы. Эта функция доступна и в Jupyter-ноутбуках, и в скриптах Python и поддерживает как pandas, так и Polars. Кроме того, тип данных в каждом столбце легко определить по иконкам в заголовке таблицы.
Статистика распределения категориальных данных
При работе с категориальными данными очень легко увидеть их распределение в интерактивных таблицах. Эта функция позволяет быстро посмотреть перечень наиболее часто встречающихся значений и процентную долю каждого из них. Если у параметра много уникальных значений, можно быстро увидеть общее число таких записей в столбце.
Гистограммы распределения данных в таблицах
Гистограмма распределения данных — важнейший инструмент анализа, который дает визуальное представление о распределении и помогает распознавать схемы, выявлять статистические выбросы и оценивать качество данных. В DataSpell гистограммы легко открыть прямо из заголовков таблиц. Они доступны как в компактном режиме, используемом по умолчанию, так и в режиме подробного просмотра.
Упрощение визуализации данных в таблицах
Для упрощения процесса анализа данных мы внесли важное улучшение, добавив удобный построитель графов. С помощью новой функции удобно визуализировать данные таблиц, быстро создавая из них графы. Просто нажмите на режим представления графиков в левом верхнем углу, затем нажмите на шестеренку, выберите нужный тип графа и быстро визуализируйте данные.
AI Assistant в таблицах
Чтобы получить важные результаты анализа DataFrame, нажмите на иконку AI Assistant в правом верхнем углу интерактивных таблиц. Помощник сразу предоставит основную информацию, а, завязав диалог с ним, вы сможете получить углубленный анализ.
Интерфейс и навигация
Скрытие главной панели инструментов
Мы добавили возможность скрыть основную панель инструментов при использовании IDE в режиме просмотра по умолчанию — точно так же, как это было в старом интерфейсе. Чтобы освободить место в рабочем пространстве и скрыть панель инструментов, откройте меню Appearance и снимите флажок Toolbar.
Улучшенная навигация
Чтобы разработчикам было проще ориентироваться, когда они работают в редакторе одновременно с разными типами файлов, мы добавили цветовые обозначения по умолчанию для вкладок редактора — они соответствуют обозначениям в окне Project.
Speed Search
Функцию Speed Search, которая позволяет быстро переходить к нужному месту в окнах и диалогах, теперь можно вызвать с помощью сочетания клавиш. Выбрав дерево или список, можно, как и раньше, легко вызвать поиск через меню «Options» текущего окна, нажав ⌘ F в macOS или Ctrl+F в Windows и Linux либо просто начав вводить запрос.