大家好,我是涛哥。 在信息时代,数据是无价之宝。许多开发者和数据分析师需要从互联网上采集大量的数据,用于各种用途,如分析、建模、可视化等。Python作为一门强大的编程语言,提供了多种高效的爬虫框架,使数据采集变得更加容易和高效。本文将介绍一些Python中高效的爬虫框架,帮助你选择适合你项目需求的
1 引言 在现代的应用开发中,数据库是存储和管理数据的关键组件。PostgreSQL 是一种强大的开源关系型数据库,而 WebFlux 是 Spring 框架提供的响应式编程模型。本文将介绍如何使用 Reactor 和 WebFlux 集成 PostgreSQL,实现响应式的数据库访问。 1. 环境
在 Windows 操作系统中,我们经常需要将某些程序设置为开机自启动,以便在系统启动后自动运行。这对于一些常用的应用程序来说非常方便,可以减少用户手动启动程序的时间和操作步骤。本文将详细介绍如何通过 cmd 或者 bat 文件将一个程序写入注册表,让它开机自启动。 一、了解 Windows 自启动
随着数据量的增长和业务需求的不断变化,数据库设计变得越来越复杂。其中,多态关联是一种常见的数据关系,它可以使一个关系中的一个属性引用多个其他关系中的不同类型的对象。在本文中,我们将介绍多态关联在数据库设计中的应用和解决方案,帮助读者更好地理解和应用多态关联。 一、多态关联的定义和应用 多态关联是指一
一、前言 个人原因设备上没有brew,所以官方极力推荐的brew安装方式用不了,只能通过tar包的形式安装。 Mac上第一次安装MongoDB,先是在网上找了几个教程,按指引操作之后发现遇到很多困惑,最后查阅了官网文档并按操作一次搞定。为了给自己留点印象,同时给有一样困惑的同学提供一些启发,故写下这
〇、小故事 小明学生在学校上完课回家,写完作业后,想要通过微信的方式,把作业提交给老师,但是呢,老师的微信没在线,估计是忙别的去了。 那么,小明就每隔一段时间,看看微信上老师在不在。当天是情人节,老师和男朋友去看电影吃宵夜,凌晨2点才到家。小明怕作业交不上去,一直等到凌晨2点,才终于等到老师上线,把
本文将使用C#从0到1带你新建一个简单的框架 注:本文不是最好的框架,只是用于给新手学习的简单框架,当然,小型项目用起来也没有问题。 首先,我们需要以下软件: Visual Studio 2022(本文将使用.Net 6,需要至少为Visual Studio 2022) SQLserver 2
LibreTranslate 是一个免费且开源的机器翻译API,完全自托管,易于设置。与其他API不同,它不依赖于像Google或Azure这样的专有提供商来执行翻译。相反,它的翻译引擎由开源Argos Translate库提供支持。 本文将引导读者通过在腾讯云Lighthouse服务器部署Libr
一、什么是gRPC gRPC是google发起的一个*远程过程调用(rpc)*开源框架,可以在任何语言中,用任何编程语言编写。gRPC基于HTTP/2协议,使用Protocol Buffers作为序列化工具。 gRPC官网:grpc.io/ RPC Remote Procedure Call,远程
〇、小故事 回忆一下我们去饭店点餐,我们坐好,服务员给我们递过来菜单,我们点菜,点完菜我们就可以刷抖音或者玩王者荣耀了。那么过一会儿菜就上来了。谁做的菜? 怎么做的菜?厨师的名字叫啥?他是什么星座的?是不是程序员转行了? 我们一概不关心。 再思考一个场景,我们作为公司的技术部的leader,有需求
系列文章导航 《优化接口设计的思路》系列:第一篇—接口参数的一些弯弯绕绕 《优化接口设计的思路》系列:第二篇—接口用户上下文的设计与实现 前言 大家好!我是sum墨,一个一线的底层码农,平时喜欢研究和思考一些技术相关的问题并整理成文,限于本人水平,如果文章和代码有表述不当之处,还请不吝赐教。 作为一
看『左耳朵耗子』这篇UNIX 50 年:KEN THOMPSON 的密码,意外获知KEN,DMR,RMS之外,能够拥有三位字母简称,且在极客圈中得到广泛认可的另一位大神——BWK。同样是贝尔实验室出来的研究员,当初跟着K&R开发unix。另外,awk中的“k”,那本C语言经典作者K&
12张图一次性搞懂高性能并发容器ConcurrentLinkedQueue 前言 上篇文章聊到并发集合CopyOnWeiteArrayList的实现与特点,其不足之处是不适合写多的场景也不适合并发量大的场景 本篇文章来聊聊并发场景下高性能的ConcurrentLinkedQueue 阅读本文大概需要
一、背景 在洞窝智能营销平台中存在很多定时调度场景,我们选择了Quartz调度框架。 我们最初选择Quartz有以下原因: 1、Quartz是一套轻量级的任务调度框架,可以方便的集成到我们的应用中,不用额外部署服务; 2、Quartz基于数据库实现了分布式调度能力; 3、Quartz提供了丰富的调度
1、下载nginx安装包: 官网地址:nginx.org/ 下载nginx压缩包 2、 运行 解压缩后,运行cmd,使用命令进行操作,不要直接双击nginx.exe,一定要在dos窗口启动,不要直接双击nginx.exe,这样会导致修改配置后重启、停止nginx无效,需要手动关闭任务管理器内的所有n
1. 介绍 本来呢前段时间大约是三四月份吧,摸鱼的时候找到了这个插件 xechat-idea, 可以在idea里边摸鱼,斗地主,聊天等,项目地址为 https://github.com/anlingyi/xechat-idea , QQ群号754126966 然后我尝试着开发了两个游戏 一个是大富
前言 做接口自动化,断言是比不可少的。如何快速巧妙的提取断言数据就成了关键,当然也可以提高用例的编写效率。笔者在工作中接触到了JMESPath,那到底该如何使用呢?带着疑惑一起往下看。 JMESPath是啥? JMESPath 是一种用于查询和转换 JSON 数据的简洁、强大的查询语言。它提供了一种
前言 什么是架构? 通常情况下,人们对架构的认知仅限于在软件工程中的定义:架构主要指软件系统的结构设计,比如常见的SOLID准则、DDD架构。一个良好的软件架构可以帮助团队更有效地进行软件开发,降低维护成本,提高系统的可扩展性和可维护性。这里的架构定义有更多元化的理解:架构不仅是对软件开发设计和流程
一、安装docker-compose v2版本并赋予权限 0、比对docker版本对应的Compose file format(我的docker用的版本比较新这里可以用3.8或者直接写3也行) docker --version 1、下载(使用get.daocloud.io国内链接下载,这里是co
对于需要自建Git服务实现CI/CD及DevOps的,gitea无疑是个非常好的选择。而对于小型运维团队来说,使用K3s能减少大量的维护成本。 gitea和K3s都是非常轻量和易于安装的。 gitea文档:docs.gitea.com/zh-cn/ K3s文档:docs.k3s.io/zh/ 安装