Spark SQL 是 Spark 生态系统中处理结构化格式数据的模块。它在内部使用 Spark Core API 进行处理，但对用户的使用进行了抽象。这篇文章深入浅出地告诉你 Spark SQL 3.x 的新内容。有了 Spark SQL，用户可以编写 SQL 风格的查询。这对于精通结构化查询语言
2024-07-16
介绍数据用途广泛，有多种形式，并且可以通过多种方式进行组织。一种常见的分类是结构化或非结构化数据，具有不同的存储、处理和分析方法。了解这些差异有助于从任何数据集中提取有价值的见解。结构化数据与非结构化数据：主要区别结构化和非结构化数据在许多方面都有所不同。两者都使用不同的工具和方法来处理和分析信息。
2024-05-27
oracle 是一款企业级数据库管理系统，用于处理海量数据，提供高性能、可扩展性和可靠性。其用途包括：数据管理事务处理分析和报表云计算大数据 Oracle：强大且通用的数据库软件 Oracle 是一款由 Oracle Corporation 开发的旗舰数据库管理系统 (DBMS)。它是一种企业级软
2024-05-10
数据库的作用是在计算机系统中存储和管理大量结构化数据。它是现代信息技术的核心组件之一，广泛应用于各个领域和行业，为数据的组织、检索、处理和分析提供支持。在当今信息时代，数据被广泛应用于各个行业和领域，如企业管理、医疗保健、教育、金融、科学研究等。而这些数据的规模和复杂性不断增加，导致了对数据处理和管
2024-05-07
对象关系映射（ORM）是一种用于将对象模型与关系数据库进行映射的技术，而 NoSQL（非关系型）数据库是专为非结构化或半结构化数据的存储和检索而设计的。 目标受众 python ORM 主要面向使用关系数据库的 Python 开发人员，而 Nosql 数据库则面向处理非结构化或半结构化数据的开发人员
2024-03-18
一、DingoDB 的设计理念2015 年前，数据架构以数据仓库（Data Warehouse）为主，专注于结构化数据的统一存储。到 2016-2022 年期间，流行数据湖（Data Lake）的概念，扩展了数据维度并管理了更多类型的数据。最近一年，AIGC 飞速发展，数据生态随之演进到了新的数据栈
2024-03-12
在当今复杂的软件生态系统中，应用程序日志非常宝贵。它们允许开发者窥视应用程序的内部，了解系统内部的真实情况。但是，传统的非结构化日志数据有很多不足之处。这些混乱的文本块无法提供完整的画面。要真正发挥日志的力量，我们需要采取更加深思熟虑的方法 - 一种为了消费而设计的日志生成方式。掌握结构化日志记录：
2024-03-01
Elasticsearch 是一个使用 Java 语言编写、遵守 Apache 协议、支持 RESTful 风格的分布式全文搜索和分析引擎，它基于 Lucene 库构建，并提供多种语言的 API。Elasticsearch 可以对任何类型的数据进行索引、查询和聚合分析，无论是文本、数字、地理空间、结
2024-02-29
在C++编程中，结构化绑定（Structured Binding）是一项强大的功能，它允许程序员一次性地将聚合类型（如数组、结构体、元组等）中的多个值解包到不同的变量中。这一特性自C++17起被引入，极大地简化了代码，提高了可读性和编程效率。一、结构化绑定的基本概念结构化绑定允许我们在一行代码中声明
2024-02-19
在Go Lang中处理嵌套非结构化JSON是一项关键任务。JSON（JavaScript Object Notation）是一种常用的数据交换格式，但当JSON数据嵌套复杂时，处理起来可能会变得困难。php小编鱼仔将为您介绍一些在Go Lang中处理嵌套非结构化JSON的方法和技巧，帮助您更高效地解
2024-02-11
我们在进行讲课、写PPT、汇报工作时，如果思路不清晰、混乱，建议学习一门叫做结构化思维的课程，背后其实就是金字塔原理，麦肯锡的这两本书就是讲的这个，碰巧看到杨老师的这篇文章《结构化思维模型》，介绍了来自B站up主关于结构化思维的资料，给出了下图分享，各位可以了解其中的重要内容，还可以通过点击阅读原文
2024-01-31
之前看到CCF数据库专委会发布的《“十四五”数据库发展趋势与挑战》，文中提到未来数据库发展的几个主要方向点。 1、多模形态数据库 实现一库多用 什么叫多模？我的简单理解，就是同一个数据库能够同时处理多种形态的数据类型，比如Json，文档、视频、Kv甚至时序类型；同时满足应用
2024-01-10
作为公司数据资产的重要组成部分，日志在系统的可观察性、网络安全和数据分析方面扮演着关键角色。日志记录是故障排除的首选工具，也是提升系统安全性的重要参考。日志还是一个宝贵的数据源，通过对其进行分析，可以获取指导业务增长的有价值信息。日志是计算机系统中事件的顺序记录。一个理想的日志分析系统应该是：具备无
2023-11-28
随着数据技术的不断发展和应用场景的拓展，MongoDB数据库在医疗健康领域中的应用逐渐受到关注。本文将介绍MongoDB在医疗健康领域的应用实践，并探讨如何保护医疗数据的隐私。一、MongoDB在医疗健康领域的应用实践电子病历系统电子病历系统是医疗机构的基础信息系统之一，它的实现需要对患者的基本信息
2023-11-03
一、向量数据库产生的背景1、非结构化数据检索问题结构化数据是指可以表示成二维表格的数据，它有明确固定的字段和类型。而非结构化数据是指不能表示成二维表格的数据，例如：文本、图片、视频。抖音集团的产品矩阵每天都会产生海量的数据，其中结构化数据只占一小部分，大部分数据都是非结构化数据，业界通常认为非结构化
2023-10-31
前言 生成式人工智能（Generative AI）的热潮引发了广泛的兴趣，也将向量数据库（Vector Database）市场推向了风口浪尖，众多向量数据库产品开始崭露头角，走入了公众的视野。 根据 IDC 的预测，到 2025 年，超过 80% 的业务数据将呈现非结构化形式，以文本、图像、音频、视
2023-10-13
VMware Greenplum 7 现已正式发布。Greenplum 是一个统一分析和人工智能 (AI) 平台，旨在帮助企业充分利用其数据资源。VMware Greenplum 核心是以开源 PostgreSQL 项目为基础，其独特之处在于将商业智能（BI）和人工智能（AI）功能无缝集成在同一平台
2023-10-13
1 Protocol Buffers 简介 protobuf 即 Protocol Buffers，是一种轻便高效的结构化数据存储格式，与语言、平台无关，可扩展可序列化。protobuf 性能和效率大幅度优于 JSON、XML 等其他的结构化数据格式。protobuf 是以二进制方式存储的，占用空间
2023-10-13
本文中涉及到的相关代码，都已上传至：github.com/chenmingyon… 前言 go 1.21.0 版本引入了一个新的包 log/slog，该包提供了结构化日志的功能。相比于普通的日志，结构化日志更受欢迎，因为它具有更高的可读性，并且在处理、分析和搜索等方面具有显著的优势。 接下来让我们
2023-10-09
相比 GOTO 语句，基于块的控制流有一个显著的特征：控制流从程序入口进入，中途可能会经历条件、循环、函数调用等控制流转换，但是最终控制流都会从程序出口退出。这种编程范式使得代码结构变得更加结构化，思维模型变得更加简单，也为编译器在低层级提供了优化的可能。 因此，完全禁用 GOTO 语句已经成为
2023-10-07