Tempo de execução do Databricks 8.2 (EoS)
Nota
O suporte para esta versão do Databricks Runtime terminou. Para obter a data de fim do suporte, consulte Histórico de fim do suporte. Para todas as versões suportadas do Databricks Runtime, consulte Versões e compatibilidade das notas de versão do Databricks Runtime.
A Databricks lançou esta versão em abril de 2021.
As notas de versão a seguir fornecem informações sobre o Databricks Runtime 8.2, alimentado pelo Apache Spark 3.1.1.
Novos recursos e melhorias
- Novas opções do Auto Loader permitem uma evolução mais fácil do esquema
- Ver
VACUUMmétricas (Pré-visualização Pública) - Compreenda facilmente a quantidade de dados do Delta Lake que foram clonados ou recuperados
- Ajuste o tamanho dos arquivos em tabelas Delta para atender às necessidades de suas cargas de trabalho
- Ingerir incrementalmente atualizações e exclusões em tabelas Delta usando um feed de dados de alteração (Visualização pública)
- Extrair dados de cadeias de caracteres JSON usando operadores SQL (GA)
Novas opções do Auto Loader permitem uma evolução mais fácil do esquema
O Auto Loader não requer mais que você especifique uma entrada de esquema para começar a ingerir dados JSON. Além disso, o Auto Loader pode detetar a introdução de novas colunas nos seus dados e reiniciar, para que nunca mais perca dados. O Auto Loader também "resgatará" dados inesperados (por exemplo, de diferentes tipos de dados) em uma coluna de blob JSON, que você pode optar por acessar posteriormente usando as APIs de acesso a dados semiestruturados. Consulte Configurar inferência e evolução de esquema no Auto Loader.
Ver VACUUM métricas (Pré-visualização Pública)
VACUUM commits para o log de transações Delta agora contêm informações sobre arquivos removidos e diretórios aspirados. Consulte Informações de auditoria e Revise os detalhes da tabela Delta Lake com detalhes de descrição.
Compreenda facilmente a quantidade de dados do Delta Lake que foram clonados ou recuperados
Os comandos Delta Lake CLONE e RESTORE agora retornam métricas quando são concluídos, para que você possa entender facilmente quantos dados foram clonados ou recuperados como resultado dessas operações. Consulte Métricas de clonagem e Métricas de restauração.
Ajuste o tamanho dos arquivos em tabelas Delta para atender às necessidades de suas cargas de trabalho
Agora você pode definir uma propriedade table para instruir o Delta Lake a selecionar tamanhos de arquivo adequados para tabelas com operações frequentes MERGE (por exemplo, atualização de dados de alteração em tabelas). O tempo de execução também pode detetar quando as tabelas são MERGE intensivas e autotunes tamanhos de arquivo.
Para um ajuste mais refinado, você pode definir o tamanho do destino como uma propriedade, e todas as operações de otimização de layout de dados (por exemplo, Otimizar, Gravações otimizadas e Compactação automática) farão uma tentativa de melhor esforço para gerar arquivos desse tamanho.
Consulte Configurar o Delta Lake para controlar o tamanho do arquivo de dados.
Ingerir incrementalmente atualizações e exclusões em tabelas Delta usando um feed de dados de alteração (Visualização pública)
O feed de dados de alteração de uma tabela Delta representa as alterações no nível da linha entre diferentes versões da tabela. Quando habilitado, o tempo de execução registra informações adicionais sobre alterações no nível da linha para cada operação de gravação na tabela. Você pode consultar essas alterações por meio de leitores SQL e DataFrame e DataStream. O feed permite:
- Consumo eficiente a jusante de mesclagem, atualizações e exclusões. Obter linhas que foram atualizadas, inseridas ou excluídas melhora muito o desempenho do trabalho downstream que consome a saída da mesclagem, pois arquivos inteiros não precisam ser processados e desduplicados agora.
- Manter a sincronização entre réplicas de duas tabelas diferentes que representam os mesmos dados. É uma prática comum manter duas versões da mesma tabela, uma tabela estreita como fonte da verdade e uma tabela mais ampla com dados adicionais. As alterações podem ser aplicadas de forma eficiente da tabela estreita para a tabela mais ampla.
Para obter detalhes, consulte Usar o feed de dados de alteração do Delta Lake no Azure Databricks.
Extrair dados de cadeias de caracteres JSON usando operadores SQL (GA)
Os operadores SQL —:: e :— que permitem extrair facilmente dados de cadeias de caracteres JSON agora estão geralmente disponíveis. Consulte Consultar cadeias de caracteres JSON.
Atualizações da biblioteca
- Biblioteca Python atualizada:
- Koalas atualizado de 1.6.0 para 1.7.0.
- Biblioteca Java atualizada:
- univocity-parsers de 2.9.0 a 2.9.1.
Faísca Apache
O Databricks Runtime 8.2 inclui o Apache Spark 3.1.1. Esta versão inclui todas as correções e melhorias do Spark incluídas no Databricks Runtime 8.1 (EoS), bem como as seguintes correções de bugs adicionais e melhorias feitas no Spark:
- [FAÍSCA-34614] [SQL] Modo ANSI: Casting String to Boolean deve lançar exceção no erro de análise
- [FAÍSCA-33794] [SQL] NextDay expression throw runtime IllegalArgumentException ao receber entrada inválida no modo ANSI
- [FAÍSCA-34833] [SQL] Manipule referências externas em todos os lugares
- [FAÍSCA-34742] [SQL] Modo ANSI: Abs lança exceção se a entrada estiver fora do intervalo
- [FAÍSCA-34833] [SQL] Aplicar preenchimento à direita corretamente para subconsultas correlacionadas
- [FAÍSCA-34719] [SQL] Resolver corretamente a consulta de exibição com nomes de coluna duplicados
- [FAÍSCA-34392] [SQL] Suporte ZoneOffset +h:mm em DateTimeUtils. getZoneId
- [FAÍSCA-34436] [SQL] Suporte DPP LIKE ANY/ALL expressão
- [FAÍSCA-34497] [SQL] Corrija provedores de conexão JDBC integrados para restaurar as alterações de contexto de segurança da JVM
- [FAÍSCA-34543] [SQL] Respeite a configuração ao resolver especificações de
spark.sql.caseSensitivepartição na v1SET LOCATION - [FAÍSCA-34550] [SQL] Ignorar valor nulo InSet durante o filtro push para o metastore do Hive
- [FAÍSCA-34531] [CORE] Remover tag API experimental no PrometheusServlet
- [FAÍSCA-34515] [SQL] Corrija o NPE se InSet contiver valor nulo durante getPartitionsByFilter
- [FAÍSCA-34490] tabela talvez resolvida como uma exibição se a tabela for descartada
- [FAÍSCA-34613] A visualização de correção não captura a configuração de dica de desativação
- [FAÍSCA-34504] Evite a resolução desnecessária da vista e remova o
performChecksinalizador - [FAÍSCA-34373] [SQL] HiveThriftServer2 startWithContext pode travar com um problema de corrida
- [FAÍSCA-34421] [SQL] Resolva funções e exibições temporárias em exibições com CTEs
- [FAÍSCA-34713] [SQL] Corrigir grupo por CreateStruct com ExtractValue
- [FAÍSCA-34770] [SQL] InMemoryCatalog.tableExists não deve falhar se o banco de dados não existir
- [SPARK-34681] [SQL] Corrigir o erro da associação externa completa de hash aleatório ao compilar o lado esquerdo com condição não igual
Atualizações de manutenção
Consulte Atualizações de manutenção do Databricks Runtime 8.2.
Ambiente do sistema
- Sistema Operacional: Ubuntu 18.04.5 LTS
- Java: Zulu 8.52.0.23-CA-linux64 (compilação 1.8.0_282-b08)
- Escala: 2.12.10
- Python: 3.8.8 (atualizado de 3.8.6 em 26 de maio de 2021 atualização de manutenção)
- R: R versão 4.0.4 (2021-02-15)
- Lago Delta 0.8.0
Bibliotecas Python instaladas
| Biblioteca | Versão | Biblioteca | Versão | Biblioteca | Versão |
|---|---|---|---|---|---|
| Appdirs | 1.4.4 | asn1crypto | 1.4.0 | Backcall | 0.2.0 |
| boto3 | 1.16.7 | botocore | 1.19.7 | Brotlipia | 0.7.0 |
| certifi | 2020.12.5 | cffi | 1.14.3 | chardet | 3.0.4 |
| criptografia | 3.1.1 | cycler | 0.10.0 | Quisto | 0.29.21 |
| decorador | 4.4.2 | Distlib | 0.3.1 | docutils | 0.15.2 |
| pontos de entrada | 0.3 | filelock | 3.0.12 | idna | 2.10 |
| Ipykernel | 5.3.4 | ipython | 7.19.0 | ipython-genutils | 0.2.0 |
| Jedi | 0.17.2 | jmespath | 0.10.0 | Joblib | 0.17.0 |
| jupyter-cliente | 6.1.7 | Jupyter-core | 4.6.3 | Kiwisolver | 1.3.0 |
| coalas | 1.7.0 | matplotlib | 3.2.2 | numpy | 1.19.2 |
| pandas | 1.1.3 | Parso | 0.7.0 | patsy | 0.5.1 |
| pexpect | 4.8.0 | pickleshare | 0.7.5 | pip | 20.2.4 |
| enredo | 4.14.3 | prompt-toolkit | 3.0.8 | psycopg2 | 2.8.5 |
| ptyprocess | 0.6.0 | pyarrow | 1.0.1 | pycparser | 2,20 |
| Pygments | 2.7.2 | pyOpenSSL | 19.1.0 | pyparsing | 2.4.7 |
| Meias PySocks | 1.7.1 | python-dateutil | 2.8.1 | pytz | 2020.5 |
| Pyzmq | 19.0.2 | pedidos | 2.24.0 | A tentar... | 1.3.3 |
| s3transferir | 0.3.4 | scikit-learn | 0.23.2 | scipy | 1.5.2 |
| seaborn | 0.10.0 | setuptools | 50.3.1 | seis | 1.15.0 |
| statsmodels | 0.12.0 | ThreadPoolCtl | 2.1.0 | tornado | 6.0.4 |
| traços | 5.0.5 | urllib3 | 1.25.11 | virtualenv | 20.2.1 |
| largura de wc | 0.2.5 | roda | 0.35.1 |
Bibliotecas R instaladas
As bibliotecas R são instaladas a partir do instantâneo da CRAN da Microsoft em 2020-11-02.
| Biblioteca | Versão | Biblioteca | Versão | Biblioteca | Versão |
|---|---|---|---|---|---|
| AskPass | 1.1 | asserçãoat | 0.2.1 | backports | 1.2.1 |
| base | 4.0.4 | base64enc | 0.1-3 | BH | 1.72.0-3 |
| bit | 4.0.4 | bit64 | 4.0.5 | blob | 1.2.1 |
| arranque | 1.3-27 | brew | 1.0-6 | Brio | 1.1.0 |
| vassoura | 0.7.2 | Chamador | 3.5.1 | acento circunflexo | 6.0-86 |
| Cellranger | 1.1.0 | crono | 2.3-56 | classe | 7.3-18 |
| cli | 2.2.0 | Clipr | 0.7.1 | cluster | 2.1.1 |
| codetools | 0.2-18 | espaço em cores | 2.0-0 | marca comum | 1.7 |
| compilador | 4.0.4 | configuração | 0.3 | CoVR | 3.5.1 |
| CPP11 | 0.2.4 | lápis de cor | 1.3.4 | credenciais | 1.3.0 |
| conversa cruzada | 1.1.0.1 | curl | 4.3 | data.table | 1.13.4 |
| conjuntos de dados | 4.0.4 | DBI | 1.1.0 | DBPlyr | 2.0.0 |
| desc | 1.2.0 | devtools | 2.3.2 | diffobj | 0.3.2 |
| resumo | 0.6.27 | dplyr | 1.0.2 | DT | 0,16 |
| reticências | 0.3.1 | evaluate | 0.14 | Fãsi | 0.4.1 |
| Farver | 2.0.3 | mapa rápido | 1.0.1 | FORCATS | 0.5.0 |
| foreach | 1.5.1 | externa | 0.8-81 | forjar | 0.2.0 |
| FS | 1.5.0 | Futuro | 1.21.0 | Genéricos | 0.1.0 |
| Gert | 1.0.2 | ggplot2 | 3.3.2 | GH | 1.2.0 |
| gitcreds | 0.1.1 | glmnet | 4.0-2 | Globais | 0.14.0 |
| colar | 1.4.2 | gower | 0.2.2 | gráficos | 4.0.4 |
| grDevices | 4.0.4 | grelha | 4.0.4 | gridExtra | 2.3 |
| gsubfn | 0.7 | gtable | 0.3.0 | Refúgio | 2.3.1 |
| mais alto | 0.8 | HMS | 0.5.3 | htmltools | 0.5.0 |
| htmlwidgets | 1.5.3 | httpuv | 1.5.4 | httr | 1.4.2 |
| hwriter | 1.3.2 | hwriterPlus | 1.0-3 | ini | 0.3.1 |
| ipred | 0.9-9 | Isoband | 0.2.3 | iteradores | 1.0.13 |
| jsonlite | 1.7.2 | KernSmooth | 2.23-18 | Knitr | 1.30 |
| etiquetagem | 0.4.2 | mais tarde | 1.1.0.1 | lattice | 0.20-41 |
| lava | 1.6.8.1 | lazyeval | 0.2.2 | ciclo de vida | 0.2.0 |
| ouvirv | 0.8.0 | lubridate | 1.7.9.2 | magrittr | 2.0.1 |
| Marcação | 1.1 | MASSA | 7.3-53.1 | Matriz | 1.3-2 |
| memoise | 1.1.0 | métodos | 4.0.4 | mgcv | 1.8-33 |
| mime | 0,9 | ModelMetrics | 1.2.2.2 | Modelador | 0.1.8 |
| munsell | 0.5.0 | nlme | 3.1-152 | nnet | 7.3-15 |
| numDeriv | 2016.8-1.1 | openssl | 1.4.3 | paralelo | 4.0.4 |
| Paralelamente | 1.22.0 | pilar | 1.4.7 | pkgbuild | 1.1.0 |
| pkgconfig | 2.0.3 | pkgload | 1.1.0 | plogr | 0.2.0 |
| plyr | 1.8.6 | elogiar | 1.0.0 | unidades bonitas | 1.1.1 |
| pROC | 1.16.2 | processx | 3.4.5 | prodlim | 2019.11.13 |
| Progresso | 1.2.2 | promessas | 1.1.1 | proto | 1.0.0 |
| PS | 1.5.0 | purrr | 0.3.4 | r2d3 | 0.2.3 |
| R6 | 2.5.0 | randomForest | 4.6-14 | rappdirs | 0.3.1 |
| rcmdcheck | 1.3.3 | RColorBrewer | 1.1-2 | Rcpp | 1.0.5 |
| Leitor | 1.4.0 | ReadXL | 1.3.1 | receitas | 0.1.15 |
| revanche | 1.0.1 | revanche2 | 2.1.2 | Controles remotos | 2.2.0 |
| Reprex | 0.3.0 | remodelar2 | 1.4.4 | Rex | 1.2.0 |
| rlang | 0.4.9 | rmarkdown | 2.6 | RODBC | 1.3-17 |
| roxygen2 | 7.1.1 | rpart | 4.1-15 | rprojroot | 2.0.2 |
| Rserve | 1.8-7 | RSQLite | 2.2.1 | rstudioapi | 0,13 |
| rversões | 2.0.2 | Rvest | 0.3.6 | escalas | 1.1.1 |
| seletor | 0.4-2 | sessioninfo | 1.1.1 | forma | 1.4.5 |
| brilhante | 1.5.0 | ferramentas de origem | 0.1.7 | sparklyr | 1.5.2 |
| SparkR | 3.1.2 | espacial | 7.3-11 | splines | 4.0.4 |
| sqldf | 0.4-11 | QUADRADO | 2020.5 | estatísticas | 4.0.4 |
| stats4 | 4.0.4 | stringi | 1.5.3 | stringr | 1.4.0 |
| sobrevivência | 3.2-7 | sys | 3.4 | tcltk | 4.0.4 |
| TeachingDemos | 2.10 | testeatat | 3.0.0 | tibble | 3.0.4 |
| tidyr | 1.1.2 | tidyselect | 1.1.0 | Tidyverse | 1.3.0 |
| timeDate | 3043.102 | Tinytex | 0.28 | ferramentas | 4.0.4 |
| usethis | 2.0.0 | UTF8 | 1.1.4 | utilitários | 4.0.4 |
| uuid | 0.1-4 | VCTRS | 0.3.5 | viridisLite | 0.3.0 |
| Waldo | 0.2.3 | whisker | 0.4 | withr | 2.3.0 |
| xfun | 0.19 | xml2 | 1.3.2 | xopen | 1.0.0 |
| xtable | 1.8-4 | yaml | 2.2.1 | zip | 2.1.1 |
Bibliotecas Java e Scala instaladas (versão de cluster Scala 2.12)
| ID do Grupo | ID do Artefacto | Versão |
|---|---|---|
| antlr | antlr | 2.7.7 |
| com.amazonaws | amazon-kinesis-client | 1.12.0 |
| com.amazonaws | aws-java-sdk-autoscaling | 1.11.655 |
| com.amazonaws | aws-java-sdk-cloudformation | 1.11.655 |
| com.amazonaws | aws-java-sdk-cloudfront | 1.11.655 |
| com.amazonaws | aws-java-sdk-cloudhsm | 1.11.655 |
| com.amazonaws | aws-java-sdk-cloudsearch | 1.11.655 |
| com.amazonaws | aws-java-sdk-cloudtrail | 1.11.655 |
| com.amazonaws | aws-java-sdk-cloudwatch | 1.11.655 |
| com.amazonaws | aws-java-sdk-cloudwatchmetrics | 1.11.655 |
| com.amazonaws | aws-java-sdk-codedeploy | 1.11.655 |
| com.amazonaws | aws-java-sdk-cognitoidentity | 1.11.655 |
| com.amazonaws | aws-java-sdk-cognitosync | 1.11.655 |
| com.amazonaws | aws-java-sdk-config | 1.11.655 |
| com.amazonaws | aws-java-sdk-core | 1.11.655 |
| com.amazonaws | aws-java-sdk-datapipeline | 1.11.655 |
| com.amazonaws | aws-java-sdk-directconnect | 1.11.655 |
| com.amazonaws | aws-java-sdk-directory | 1.11.655 |
| com.amazonaws | aws-java-sdk-dynamodb | 1.11.655 |
| com.amazonaws | aws-java-sdk-ec2 | 1.11.655 |
| com.amazonaws | aws-java-sdk-ecs | 1.11.655 |
| com.amazonaws | aws-java-sdk-efs | 1.11.655 |
| com.amazonaws | aws-java-sdk-elasticache | 1.11.655 |
| com.amazonaws | aws-java-sdk-elasticbeanstalk | 1.11.655 |
| com.amazonaws | aws-java-sdk-elasticloadbalancing | 1.11.655 |
| com.amazonaws | aws-java-sdk-elastictranscoder | 1.11.655 |
| com.amazonaws | aws-java-sdk-emr | 1.11.655 |
| com.amazonaws | aws-java-sdk-glacier | 1.11.655 |
| com.amazonaws | aws-java-sdk-iam | 1.11.655 |
| com.amazonaws | aws-java-sdk-importexport | 1.11.655 |
| com.amazonaws | aws-java-sdk-kinesis | 1.11.655 |
| com.amazonaws | aws-java-sdk-kms | 1.11.655 |
| com.amazonaws | aws-java-sdk-lambda | 1.11.655 |
| com.amazonaws | aws-java-sdk-logs | 1.11.655 |
| com.amazonaws | aws-java-sdk-machinelearning | 1.11.655 |
| com.amazonaws | aws-java-sdk-opsworks | 1.11.655 |
| com.amazonaws | aws-java-sdk-rds | 1.11.655 |
| com.amazonaws | aws-java-sdk-redshift | 1.11.655 |
| com.amazonaws | aws-java-sdk-route53 | 1.11.655 |
| com.amazonaws | aws-java-sdk-s3 | 1.11.655 |
| com.amazonaws | aws-java-sdk-ses | 1.11.655 |
| com.amazonaws | aws-java-sdk-simpledb | 1.11.655 |
| com.amazonaws | aws-java-sdk-simpleworkflow | 1.11.655 |
| com.amazonaws | aws-java-sdk-sns | 1.11.655 |
| com.amazonaws | aws-java-sdk-sqs | 1.11.655 |
| com.amazonaws | aws-java-sdk-ssm | 1.11.655 |
| com.amazonaws | aws-java-sdk-storagegateway | 1.11.655 |
| com.amazonaws | aws-java-sdk-sts | 1.11.655 |
| com.amazonaws | aws-java-sdk-support | 1.11.655 |
| com.amazonaws | aws-java-sdk-swf-libraries | 1.11.22 |
| com.amazonaws | aws-java-sdk-workspaces | 1.11.655 |
| com.amazonaws | jmespath-java | 1.11.655 |
| com.chuusai | shapeless_2.12 | 2.3.3 |
| com.clearspring.analytics | transmissão em fluxo | 2.9.6 |
| com.databricks | Rserve | 1.8-3 |
| com.databricks | jets3t | 0.7.1-0 |
| com.databricks.scalapb | compilerplugin_2.12 | 0.4.15-10 |
| com.databricks.scalapb | scalapb-runtime_2,12 | 0.4.15-10 |
| com.esotericsoftware | sombreado de kryo | 4.0.2 |
| com.esotericsoftware | minlog | 1.3.0 |
| com.fasterxml | colega de turma | 1.3.4 |
| com.fasterxml.jackson.core | jackson-anotações | 2.10.0 |
| com.fasterxml.jackson.core | jackson-core | 2.10.0 |
| com.fasterxml.jackson.core | jackson-databind | 2.10.0 |
| com.fasterxml.jackson.dataformat | jackson-dataformat-cbor | 2.10.0 |
| com.fasterxml.jackson.datatype | jackson-datatype-joda | 2.10.0 |
| com.fasterxml.jackson.module | jackson-module-paranamer | 2.10.0 |
| com.fasterxml.jackson.module | jackson-módulo-scala_2.12 | 2.10.0 |
| com.github.ben-manes.cafeína | cafeína | 2.3.4 |
| com.github.fommil | jniloader | 1.1 |
| com.github.fommil.netlib | núcleo | 1.1.2 |
| com.github.fommil.netlib | native_ref-java | 1.1 |
| com.github.fommil.netlib | native_ref-java-nativos | 1.1 |
| com.github.fommil.netlib | native_system-java | 1.1 |
| com.github.fommil.netlib | native_system-java-nativos | 1.1 |
| com.github.fommil.netlib | netlib-native_ref-linux-x86_64-natives | 1.1 |
| com.github.fommil.netlib | netlib-native_system-linux-x86_64-natives | 1.1 |
| com.github.joshelser | dropwizard-metrics-hadoop-metrics2-reporter | 0.1.2 |
| com.github.luben | ZSTD-JNI | 1.4.8-1 |
| com.github.wendykierp | JTransforms | 3.1 |
| com.google.code.findbugs | jsr305 | 3.0.0 |
| com.google.code.gson | gson | 2.2.4 |
| com.google.flatbuffers | flatbuffers-java | 1.9.0 |
| com.google.guava | guava | 15.0 |
| com.google.protobuf | protobuf-java | 2.6.1 |
| com.h2database | h2 | 1.4.195 |
| com.helger | criador de perfil | 1.1.1 |
| com.jcraft | jsch | 0.1.50 |
| com.jolbox | bonecp | 0.8.0.RELEASE |
| com.lihaoyi | sourcecode_2.12 | 0.1.9 |
| com.microsoft.sqlserver | mssql-jdbc | 9.2.1.jre8 |
| com.microsoft.azure | azure-data-lake-store-sdk | 2.3.9 |
| com.ning | compress-lzf | 1.0.3 |
| com.sun.mail | javax.mail | 1.5.2 |
| com.tdunning | json | 1.8 |
| com.thoughtworks.paranamer | paranamer | 2.8 |
| com.trueaccord.lenses | lenses_2.12 | 0.4.12 |
| com.twitter | chill-java | 0.9.5 |
| com.twitter | chill_2.12 | 0.9.5 |
| com.twitter | util-app_2.12 | 7.1.0 |
| com.twitter | util-core_2.12 | 7.1.0 |
| com.twitter | util-function_2.12 | 7.1.0 |
| com.twitter | util-jvm_2.12 | 7.1.0 |
| com.twitter | util-lint_2.12 | 7.1.0 |
| com.twitter | util-registry_2.12 | 7.1.0 |
| com.twitter | util-stats_2.12 | 7.1.0 |
| com.typesafe | configuração | 1.2.1 |
| com.typesafe.scala-logging | Escala-logging_2.12 | 3.7.2 |
| com.univocity | univocity-parsers | 2.9.1 |
| com.zaxxer | HikariCP | 3.1.0 |
| commons-beanutils | commons-beanutils | 1.9.4 |
| commons-cli | commons-cli | 1.2 |
| commons-codec | commons-codec | 1.10 |
| commons-collections | commons-collections | 3.2.2 |
| commons-configuration | commons-configuration | 1.6 |
| commons-dbcp | commons-dbcp | 1.4 |
| commons-digester | commons-digester | 1.8 |
| commons-fileupload | commons-fileupload | 1.3.3 |
| commons-httpclient | commons-httpclient | 3.1 |
| commons-io | commons-io | 2.4 |
| commons-lang | commons-lang | 2.6 |
| registo de comuns | registo de comuns | 1.1.3 |
| commons-net | commons-net | 3.1 |
| commons-pool | commons-pool | 1.5.4 |
| info.ganglia.gmetric4j | gmetric4j | 1.0.10 |
| io.ponte aérea | compressor de ar | 0.10 |
| io.dropwizard.metrics | metrics-core | 4.1.1 |
| io.dropwizard.metrics | metrics-graphite | 4.1.1 |
| io.dropwizard.metrics | metrics-healthchecks | 4.1.1 |
| io.dropwizard.metrics | metrics-jetty9 | 4.1.1 |
| io.dropwizard.metrics | métricas-jmx | 4.1.1 |
| io.dropwizard.metrics | metrics-json | 4.1.1 |
| io.dropwizard.metrics | metrics-jvm | 4.1.1 |
| io.dropwizard.metrics | metrics-servlets | 4.1.1 |
| io.netty | netty-all | 4.1.51.Final |
| io.prometheus | simpleclient | 0.7.0 |
| io.prometheus | simpleclient_common | 0.7.0 |
| io.prometheus | simpleclient_dropwizard | 0.7.0 |
| io.prometheus | simpleclient_pushgateway | 0.7.0 |
| io.prometheus | simpleclient_servlet | 0.7.0 |
| io.prometheus.jmx | recoletor | 0.12.0 |
| jacarta.anotação | Jacarta.Anotação-API | 1.3.5 |
| jacarta.validação | Jacarta.validation-api | 2.0.2 |
| jakarta.ws.rs | Jacarta.ws.rs-api | 2.1.6 |
| javax.activation | ativação | 1.1.1 |
| javax.el | javax.el-api | 2.2.4 |
| javax.jdo | jdo-api | 3.0.1 |
| javax.servlet | javax.servlet-api | 3.1.0 |
| javax.servlet.jsp | jsp-api | 2.1 |
| javax.transaction | jta | 1.1 |
| javax.transaction | API de transação | 1.1 |
| javax.xml.bind | jaxb-api | 2.2.2 |
| javax.xml.stream | stax-api | 1.0-2 |
| javolution | javolution | 5.5.1 |
| jline | jline | 2.14.6 |
| joda-time | joda-time | 2.10.5 |
| log4j | apache-log4j-extras | 1.2.17 |
| log4j | log4j | 1.2.17 |
| net.razorvine | pirolite | 4.30 |
| net.sf.jpam | jpam | 1.1 |
| net.sf.opencsv | opencsv | 2.3 |
| net.sf.supercsv | super-csv | 2.2.0 |
| net.floco de neve | flocos de neve-ingestão-sdk | 0.9.6 |
| net.floco de neve | Flocos de Neve-JDBC | 3.12.8 |
| net.floco de neve | faísca-snowflake_2.12 | 2.8.1-spark_3.0 |
| net.sourceforge.f2j | arpack_combined_all | 0.1 |
| org.acplt.remotetea | Remotetea-oncrpc | 1.1.2 |
| org.antlr | ST4 | 4.0.4 |
| org.antlr | antlr-runtime | 3.5.2 |
| org.antlr | antlr4-runtime | 4.8-1 |
| org.antlr | stringtemplate | 3.2.1 |
| org.apache.ant | formiga | 1.9.2 |
| org.apache.ant | ant-jsch | 1.9.2 |
| org.apache.ant | ant-launcher | 1.9.2 |
| org.apache.arrow | formato de seta | 2.0.0 |
| org.apache.arrow | seta-memória-núcleo | 2.0.0 |
| org.apache.arrow | seta-memória-netty | 2.0.0 |
| org.apache.arrow | vetor de seta | 2.0.0 |
| org.apache.avro | avro | 1.8.2 |
| org.apache.avro | avro-ipc | 1.8.2 |
| org.apache.avro | avro-mapred-hadoop2 | 1.8.2 |
| org.apache.commons | commons-compress | 1,20 |
| org.apache.commons | commons-crypto | 1.1.0 |
| org.apache.commons | commons-lang3 | 3,10 |
| org.apache.commons | commons-math3 | 3.4.1 |
| org.apache.commons | commons-texto | 1.6 |
| org.apache.curator | curador-cliente | 2.7.1 |
| org.apache.curator | curador-framework | 2.7.1 |
| org.apache.curator | curador-receitas | 2.7.1 |
| org.apache.derby | derby | 10.12.1.1 |
| org.apache.directory.api | api-asn1-api | 1.0.0-M20 |
| org.apache.directory.api | api-util | 1.0.0-M20 |
| org.apache.directory.server | apacheds-i18n | 2.0.0-M15 |
| org.apache.directory.server | apacheds-kerberos-codec | 2.0.0-M15 |
| org.apache.hadoop | hadoop-annotations | 2.7.4 |
| org.apache.hadoop | hadoop-auth | 2.7.4 |
| org.apache.hadoop | hadoop-client | 2.7.4 |
| org.apache.hadoop | hadoop-common | 2.7.4 |
| org.apache.hadoop | hadoop-hdfs | 2.7.4 |
| org.apache.hadoop | hadoop-mapreduce-client-app | 2.7.4 |
| org.apache.hadoop | hadoop-mapreduce-client-common | 2.7.4 |
| org.apache.hadoop | hadoop-mapreduce-client-core | 2.7.4 |
| org.apache.hadoop | hadoop-mapreduce-client-jobclient | 2.7.4 |
| org.apache.hadoop | hadoop-mapreduce-client-shuffle | 2.7.4 |
| org.apache.hadoop | hadoop-yarn-api | 2.7.4 |
| org.apache.hadoop | hadoop-yarn-client | 2.7.4 |
| org.apache.hadoop | hadoop-yarn-common | 2.7.4 |
| org.apache.hadoop | hadoop-yarn-server-common | 2.7.4 |
| org.apache.hive | hive-beeline | 2.3.7 |
| org.apache.hive | hive-cli | 2.3.7 |
| org.apache.hive | colmeia-comum | 2.3.7 |
| org.apache.hive | colmeia-exec-core | 2.3.7 |
| org.apache.hive | hive-jdbc | 2.3.7 |
| org.apache.hive | hive-llap-cliente | 2.3.7 |
| org.apache.hive | colmeia-lamp-comum | 2.3.7 |
| org.apache.hive | hive-metastore | 2.3.7 |
| org.apache.hive | Colmeia-Serde | 2.3.7 |
| org.apache.hive | colmeias-calços | 2.3.7 |
| org.apache.hive | hive-storage-api | 2.7.2 |
| org.apache.hive | hive-vector-code-gen | 2.3.7 |
| org.apache.hive.shims | colmeia-calços-0,23 | 2.3.7 |
| org.apache.hive.shims | colmeia-calços-comum | 2.3.7 |
| org.apache.hive.shims | colmeia-shims-scheduler | 2.3.7 |
| org.apache.htrace | htrace-core | 3.1.0 incubação |
| org.apache.httpcomponents | httpclient | 4.5.6 |
| org.apache.httpcomponents | httpcore | 4.4.12 |
| org.apache.ivy | hera | 2.4.0 |
| org.apache.mesos | mesos-sombreado-protobuf | 1.4.0 |
| org.apache.orc | orc-núcleo | 1.5.12 |
| org.apache.orc | orc-mapreduce | 1.5.12 |
| org.apache.orc | Orc-calços | 1.5.12 |
| org.apache.parquet | parquet-column | 1.10.1-DATABRICKS6 |
| org.apache.parquet | parquet-common | 1.10.1-DATABRICKS6 |
| org.apache.parquet | parquet-encoding | 1.10.1-DATABRICKS6 |
| org.apache.parquet | parquet-format | 2.4.0 |
| org.apache.parquet | parquet-hadoop | 1.10.1-DATABRICKS6 |
| org.apache.parquet | parquet-jackson | 1.10.1-DATABRICKS6 |
| org.apache.thrift | libfb303 | 0.9.3 |
| org.apache.thrift | libthrift | 0.12.0 |
| org.apache.velocity | velocidade | 1.5 |
| org.apache.xbean | xbean-asm7-sombreado | 4.15 |
| org.apache.yetus | anotações de audiência | 0.5.0 |
| org.apache.zookeeper | zookeeper | 3.4.14 |
| org.codehaus.jackson | jackson-core-asl | 1.9.13 |
| org.codehaus.jackson | jackson-jaxrs | 1.9.13 |
| org.codehaus.jackson | jackson-mapper-asl | 1.9.13 |
| org.codehaus.jackson | jackson-xc | 1.9.13 |
| org.codehaus.janino | commons-compiler | 3.0.16 |
| org.codehaus.janino | janino | 3.0.16 |
| org.datanucleus | datanucleus-api-jdo | 4.2.4 |
| org.datanucleus | datanucleus-core | 4.1.17 |
| org.datanucleus | datanucleus-rdbms | 4.1.19 |
| org.datanucleus | javax.jdo | 3.2.0-m3 |
| org.eclipse.jetty | jetty-client | 9.4.36.v20210114 |
| org.eclipse.jetty | jetty-continuation | 9.4.36.v20210114 |
| org.eclipse.jetty | jetty-http | 9.4.36.v20210114 |
| org.eclipse.jetty | jetty-io | 9.4.36.v20210114 |
| org.eclipse.jetty | jetty-jndi | 9.4.36.v20210114 |
| org.eclipse.jetty | jetty-plus | 9.4.36.v20210114 |
| org.eclipse.jetty | jetty-proxy | 9.4.36.v20210114 |
| org.eclipse.jetty | jetty-security | 9.4.36.v20210114 |
| org.eclipse.jetty | jetty-server | 9.4.36.v20210114 |
| org.eclipse.jetty | jetty-servlet | 9.4.36.v20210114 |
| org.eclipse.jetty | jetty-servlets | 9.4.36.v20210114 |
| org.eclipse.jetty | jetty-util | 9.4.36.v20210114 |
| org.eclipse.jetty | cais-util-ajax | 9.4.36.v20210114 |
| org.eclipse.jetty | jetty-webapp | 9.4.36.v20210114 |
| org.eclipse.jetty | jetty-xml | 9.4.36.v20210114 |
| org.fusesource.leveldbjni | leveldbjni-all | 1.8 |
| org.glassfish.hk2 | hk2-api | 2.6.1 |
| org.glassfish.hk2 | localizador hk2 | 2.6.1 |
| org.glassfish.hk2 | hk2-utils | 2.6.1 |
| org.glassfish.hk2 | osgi-resource-locator | 1.0.3 |
| org.glassfish.hk2.external | aopalliance-repackaged | 2.6.1 |
| org.glassfish.hk2.external | jacarta.inject | 2.6.1 |
| org.glassfish.jersey.containers | jersey-container-servlet | 2.30 |
| org.glassfish.jersey.containers | jersey-container-servlet-core | 2.30 |
| org.glassfish.jersey.core | jersey-client | 2.30 |
| org.glassfish.jersey.core | jersey-common | 2.30 |
| org.glassfish.jersey.core | servidor de jersey | 2.30 |
| org.glassfish.jersey.inject | Jersey-HK2 | 2.30 |
| org.glassfish.jersey.media | jersey-media-jaxb | 2.30 |
| org.hibernate.validator | hibernate-validator | 6.1.0.Final |
| org.javassist | javassist | 3.25.0-GA |
| org.jboss.logging | jboss-logging | 3.3.2.Final |
| org.jdbi | jdbi | 2.63.1 |
| org.joda | joda-convert | 1.7 |
| org.jodd | jodd-core | 3.5.2 |
| org.json4s | JSON4S-ast_2.12 | 3.7.0-M5 |
| org.json4s | JSON4S-core_2.12 | 3.7.0-M5 |
| org.json4s | JSON4S-jackson_2,12 | 3.7.0-M5 |
| org.json4s | JSON4S-scalap_2.12 | 3.7.0-M5 |
| org.lz4 | LZ4-Java | 1.7.1 |
| org.mariadb.jdbc | mariadb-java-client | 2.1.2 |
| org.objenesis | objenesis | 2.5.1 |
| org.postgresql | postgresql | 42.1.4 |
| org.roaringbitmap | RoaringBitmap | 0.9.0 |
| org.roaringbitmap | calços | 0.9.0 |
| org.rocksdb | rocksdbjni | 6.2.2 |
| org.rosuda.REngine | REngine | 2.1.0 |
| org.scala-lang | Escala-compiler_2.12 | 2.12.10 |
| org.scala-lang | Escala-library_2.12 | 2.12.10 |
| org.scala-lang | Escala-reflect_2,12 | 2.12.10 |
| org.scala-lang.modules | scala-coleção-compat_2.12 | 2.1.1 |
| org.scala-lang.modules | scala-parser-combinators_2.12 | 1.1.2 |
| org.scala-lang.modules | Escala-xml_2.12 | 1.2.0 |
| org.scala-sbt | interface de teste | 1.0 |
| org.scalacheck | scalacheck_2.12 | 1.14.2 |
| org.scalactic | scalactic_2.12 | 3.0.8 |
| org.scalanlp | Brisa-macros_2.12 | 1.0 |
| org.scalanlp | breeze_2.12 | 1.0 |
| org.scalatest | scalatest_2.12 | 3.0.8 |
| org.slf4j | jcl-over-slf4j | 1.7.30 |
| org.slf4j | jul-to-slf4j | 1.7.30 |
| org.slf4j | slf4j-api | 1.7.30 |
| org.slf4j | slf4j-log4j12 | 1.7.30 |
| org.spark-project.spark | não utilizado | 1.0.0 |
| org.springframework | spring-core | 4.1.4.RELEASE |
| org.springframework | teste de primavera | 4.1.4.RELEASE |
| org.threeten | trêsdez-extra | 1.5.0 |
| org.tukaani | xz | 1.5 |
| org.typelevel | algebra_2.12 | 2.0.0-M2 |
| org.typelevel | gatos-kernel_2.12 | 2.0.0-M4 |
| org.typelevel | machinist_2.12 | 0.6.8 |
| org.typelevel | macro-compat_2.12 | 1.1.1 |
| org.typelevel | torre-macros_2.12 | 0,17,0-m1 |
| org.typelevel | torre-platform_2.12 | 0,17,0-m1 |
| org.typelevel | torre-util_2.12 | 0,17,0-m1 |
| org.typelevel | spire_2.12 | 0,17,0-m1 |
| org.wildfly.openssl | mosca-selvagem-openssl | 1.0.7.Final |
| org.xerial | sqlite-jdbc | 3.8.11.2 |
| org.xerial.snappy | snappy-java | 1.1.8.2 |
| org.yaml | snakeyaml | 1,24 |
| oro | oro | 2.0.8 |
| pl.edu.icm | JLargeArrays | 1.5 |
| software.amazon.ion | ion-java | 1.0.2 |
| stax | stax-api | 1.0.1 |
| xmlenc | xmlenc | 0.52 |