悩姜 - 糊涂

数据仓库架构(离线+实时数仓)

数据仓库架构(离线+实时数仓)

发表于2026-04-10 | 更新于 2026-04-14 | 运维 | 大数据

经典的离线批处理（Hadoop/Hive）+ 实时OLAP（Doris）混合架构方案。Hive负责海量数据的ETL和分层建模，Doris负责对外提供毫秒级的查询服务。以下从架构分层、数据流转、技术使用三个维度，为你拆解这套架构的设计思路和落地要点。一、整体架构设计核心设计理念是：**用Hive做”数据加工厂”，用Doris做”数据服务窗口”**。 Hive → Doris 数据流转架构图 12345678910111213141516171819202122232425262728293031323334353637383940414243444546474849graph TD subgraph 数据源层 A1[业务数据库<br>MySQL/PostgreSQL] A2[日志文件<br>埋点日志/服务器日志] A3[外部数据<br>第三方API/文件] end subgraph 数据采集层 B1[离线采集<br>Sqoop/DataX] ...

Nexus3.X_私服迁移

Nexus3.X_私服迁移

发表于2026-01-28 | 更新于 2026-01-30 | 运维Linux | Linux • 操作系统

需求1234567891011# 原私服地址：http://17.31.142.75:8081/http://17.31.142.75:8081/repository/maven-releases/http://17.31.142.75:8081/repository/maven-snapshots/admin04251qaz# 迁移企业网地址：http://192.168.1.17:8082/http://192.168.1.17:8082/repository/maven-releases/http://192.168.1.17:8082/repository/maven-snapshots/adminhbriz2023 迁移方案(使用脚本从阿里云私服下载到本地再上传到企业私服)123456789101112131415161718192021222324252627# maven-snapshots 为例## 使用脚本从阿里云私服下载到本地cd /home/aliyun-maven# python3 down_nexus_3.X.py# 实时监控文件数量：watch -n 5 ...

西安4日游

发表于2026-01-27 | 更新于 2026-01-27 | 娱乐生活 | Travel

西安4日3晚出游攻略 by jw 202601 一、核心提示（行前必读）门票预订：行程中多个景点需实名预约/购票，请务必按我标明的时间提前操作。天气与穿着：西安2月平均气温-1~8℃，寒冷干燥。务必为全家准备保暖衣物（羽绒服、帽子、手套）、舒适的防滑鞋。室内外温差大，注意及时增减衣物。家庭关怀：行程已考虑小学生和幼小生的体力，安排了充足的午休和灵活的交通方式。建议为孩子们准备一些历史故事背景（如秦朝、唐朝），能极大提升游览兴趣。二、西安4日3晚家庭文化深度游攻略出发地：北京出行人员：两大4小（初小生）、一幼小生出行时间： 2026年2月9日-2026年2月12日主题：穿越周秦汉唐，品味古都风韵行程购票详情123456789101112131415第一天：2月9日1. 购买2026年2月9日G365次列车北京西站(09:55)到西安北站(14:05)----已购买2. 预订西安麗枫酒店(西安钟楼地铁站回民街店)(2月9日/10日/11日)2张1.2米双床房657元/3晚----已购买3. 需要购买钟楼、鼓楼、西安城墙门票。----现买第二天：2月10日1. ...

websocket接口测试页面

websocket接口测试页面

发表于2025-12-29 | 更新于 2025-12-29 | 运维Linux | Linux • 操作系统

WebSocket 测试工具123456789101112131415161718192021222324252627282930313233343536373839404142434445464748495051525354555657585960616263646566676869707172737475767778798081828384858687888990919293949596979899100101102103104105106107108109110111112113114115116117118119120121122123124125126127128129130131132133134135136137138139140141142143144145146147148149150151152153154155156157158159160161162163164165166<!DOCTYPE html><html lang="en"> <head> <meta charset="utf-8 ...

AI-大模型应用开发平台+Dify

AI-大模型应用开发平台+Dify

发表于2025-07-23 | 更新于 2025-12-29 | AI | Dify

d5b5e94e8ccafdcc787d294b74a096cbfae18ea562d6652edb0dd4d3d7eac38a6eb2137d7a3e0c52e91b77c1f4a0dcb95ae97ad319108ee75a6f5676629859b89f8874378d2d1bb993a6be7d0df5270854f3948bb35cb5323d236699cf92e10f50adb58e0f0260995a2ee8a783978ab6c72b8f4e217da2f3ccd3fe050914b41c01696ee5a9329ee6728b917594121c0e7d45cfc221aee618885ee94787a201224c5d4dcf656c97bc31db7d8705813416d2bbeb017ac99ca5449f9222ba802374c2d7e4bf18ee7151674b8dafa8b3bb02a89e0ae29682c0a4b8812a37380a101fccba78342e18993d4f14c485c94f6133d489e34d6286a7d2a ...

赤峰-乌兰布统-达达线3日游

赤峰-乌兰布统-达达线3日游

发表于2025-07-23 | 更新于 2025-07-23 | 娱乐生活 | Travel

行程安排Day 1：赤峰市区 → 乌兰布统草原（约4小时车程）上午：赤峰出发，导航「乌兰布统草原」，途经「桦木沟国家森林公园」（可短暂停留拍照）。下午：乌兰布统核心区：游览「将军泡子」（湖泊+草原风光）、「影视基地」（《还珠格格》取景地）。骑马/越野车体验（当地牧民家可谈价，约100-200元/小时）。夜宿：乌兰布统小镇（推荐蒙古包民宿，夜晚可看星空）。 Day 2：乌兰布统 → 克什克腾旗（热阿线+达达线）上午：驱车前往「公主湖」（湖水倒映白桦林，适合拍照）。转入「达达线」——中国最美草原公路，一路牛羊成群，随手拍即大片下午：终点「阿斯哈图石林」（奇特地貌，门票120元，可选游览）沿「热阿线」自驾，途经「黄岗梁国家森林公园」（高山草甸风光）。夜宿：克什克腾旗经棚镇（酒店条件较好）。 Day 3：克什克腾旗 → 赤峰（返程）上午：游览「玉龙沙湖」（沙漠与湖泊交融，可骑骆驼、滑沙、骑摩托）。下午：返回赤峰市区，途中可逛「赤峰博物馆」（免费，了解红山文化）。 🍖 美食推荐手把羊肉（乌兰布统牧民家 ...

AI-DeepSeek私有化部署与最佳实践

AI-DeepSeek私有化部署与最佳实践

发表于2025-07-18 | 更新于 2025-07-23 | AI | DeepSeek

d5b5e94e8ccafdcc787d294b74a096cbfae18ea562d6652edb0dd4d3d7eac38a6eb2137d7a3e0c52e91b77c1f4a0dcb95ae97ad319108ee75a6f5676629859b89f8874378d2d1bb993a6be7d0df5270854f3948bb35cb5323d236699cf92e10f50adb58e0f0260995a2ee8a783978ab6c72b8f4e217da2f3ccd3fe050914b41c01696ee5a9329ee6728b917594121c0e7d45cfc221aee618885ee94787a201224c5d4dcf656c97bc31db7d8705813416d2bbeb017ac99ca5449f9222ba802374c2d7e4bf18ee7151674b8dafa8b3bb02a89e0ae29682c0a4b8812a37380a101fccba78342e18993d4f14c485c94f6133d489e34d6286a7d2a ...

etcd_cluster_health.sh

etcd_cluster_health.sh

发表于2025-06-20 | 更新于 2025-06-20 | 脚本 | shell • etcd

etcd_cluster_health.sh1234567891011121314151617181920212223#!/bin/bashdocker run --rm -it --net host -v /etc/kubernetes:/etc/kubernetes \registry.cn-hangzhou.aliyuncs.com/google_containers/etcd:3.5.7-0 etcdctl --cert \/etc/kubernetes/pki/etcd/peer.crt --key /etc/kubernetes/pki/etcd/peer.key --cacert \/etc/kubernetes/pki/etcd/ca.crt member listdocker run --rm -it --net host -v /etc/kubernetes:/etc/kubernetes \registry.cn-hangzhou.aliyuncs.com/google_containers/etcd:3.5.7-0 etcdctl --cert \/etc/k ...

AI-使用DeepSeek开发小红书爆款文案生成助手

AI-使用DeepSeek开发小红书爆款文案生成助手

发表于2025-06-11 | 更新于 2025-06-11 | AI | DeepSeek

d5b5e94e8ccafdcc787d294b74a096cbfae18ea562d6652edb0dd4d3d7eac38a6eb2137d7a3e0c52e91b77c1f4a0dcb95ae97ad319108ee75a6f5676629859b89f8874378d2d1bb993a6be7d0df5270854f3948bb35cb5323d236699cf92e10f50adb58e0f0260995a2ee8a783978ab6c72b8f4e217da2f3ccd3fe050914b41c01696ee5a9329ee6728b917594121c0e7d45cfc221aee618885ee94787a201224c5d4dcf656c97bc31db7d8705813416d2bbeb017ac99ca5449f9222ba802374c2d7e4bf18ee7151674b8dafa8b3bb027159223d8bf9f1973ea57877f175a7f6eff850b9ba3aef76b74977bb52bdce68a5c415115b46f033b ...

AI-使用 DeepSeek 开发你的第一个 RAG

AI-使用 DeepSeek 开发你的第一个 RAG

发表于2025-06-10 | 更新于 2025-06-11 | AI | DeepSeek • RAG

d5b5e94e8ccafdcc787d294b74a096cbfae18ea562d6652edb0dd4d3d7eac38a6eb2137d7a3e0c52e91b77c1f4a0dcb95ae97ad319108ee75a6f5676629859b89f8874378d2d1bb993a6be7d0df5270854f3948bb35cb5323d236699cf92e10f50adb58e0f0260995a2ee8a783978ab6c72b8f4e217da2f3ccd3fe050914b41c01696ee5a9329ee6728b917594121c0e7d45cfc221aee618885ee94787a201224c5d4dcf656c97bc31db7d8705813416d2bbeb017ac99ca5449f9222ba802374c2d7e4bf18ee7151674b8dafa8b3bb027159223d8bf9f1973ea57877f175a7f6eff850b9ba3aef76b74977bb52bdce68a5c415115b46f033b ...

数据库加载中