Skip to content

singgel/iaas-network

Folders and files

NameName
Last commit message
Last commit date

Latest commit

 

History

33 Commits
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 

Repository files navigation

IaaS 云网络完整学习指南

系统化的云计算网络架构、高性能网络、P4可编程网络综合学习资源库


📚 学习导航

快速入门


🏗️ 基础理论模块

网络基础全科普

📖 基础网络全科普

核心内容:波分复用系统(DWDM/CWDM)、BGP路由协议、网络虚拟化技术(VXLAN/GRE)、VLAN技术、DHCP/DNS服务、UDP/TCP协议、三层交换与路由、ICMP/ARP协议等。

适用场景:为后续高级网络功能提供理论基础和概念理解,适合初学者快速补齐网络知识短板。


🚀 高性能数据面处理

OVS虚拟交换机全科普

📖 OVS全科普

核心内容:Open vSwitch(OVS)架构、vswitchd/ovsdb/datapath内核模块、流表规则配置、VLAN处理、OVS-DPDK加速方案等。

适用场景:理解虚拟网络交换的实现原理,掌握虚拟交换机的配置优化和性能调优。适合云网络工程师和运维人员。

DPDK数据平面加速全科普

📖 DPDK全科普
📝 深入浅出DPDK笔记

核心内容:Intel DPDK架构、EAL/Buffer Manager/PMD等核心组件、NUMA优化、内存管理(大页、缓存)、网卡多队列技术、硬件卸载(VLAN/Checksum/TSO)、性能优化策略、SPDK存储方案等。

适用场景:掌握用户态高性能数据包处理的核心技术和优化方法,用于网关、负载均衡器、NFV等高性能网络应用场景。


🌐 下一代网络协议

IPv6网络完全指南

📖 IPv6网络

核心内容:IPv6专业术语(RA/RS/NS/NA等)、特殊地址类型(DHCP地址、组播地址)、DHCPv6协议、邻居发现协议(ND)、RFC标准规范、管理工具等。

适用场景:快速理解和排查IPv6网络配置问题,支持云平台的IPv4/IPv6双栈部署。适合网络运维和故障排查人员。

BGP路由协议及应用

📖 BGP网络协议

核心内容:BGP扩展性、策略控制、网络可靠性、安全机制(RPKI/BGPSEC)、流量工程、拓扑可见性、灵活路由决策等。

适用场景:理解自治系统间的路由交换,支持大规模网络中的跨域通信和流量灾备转移。广泛应用于CDN、全球加速等场景。


📦 云网络核心产品

VPC虚拟私有网络

📄 VPC产品简介

核心特性

  • 租户隔离的虚拟网络环境
  • 可自定义的IP地址范围和子网划分
  • 灵活的安全策略和访问控制
  • 与其他云服务的无缝集成

NAT网关

📄 NAT产品简介

核心特性

  • 源地址转换(SNAT)和目的地址转换(DNAT)
  • 出公网流量管理
  • 高可用和弹性扩展能力
  • 与VPC深度集成

负载均衡(LB)

📄 LB技术架构

核心特性

  • 四层/七层流量分发
  • 多种负载均衡算法
  • 会话保持和健康检查
  • 支持多种后端资源

弹性公网IP

📄 弹性公网IP

核心特性

  • 灵活的公网地址管理
  • 按需分配和回收
  • 与实例快速绑定
  • 支持流量限速

🎯 集群架构方案

VIP虚拟IP集群架构

📖 VIP集群详细设计

核心内容

  • IGW(内网网关) - 统一公网网关集群,支持精准限速、多集群容灾
  • BGW(边界网关) - 混合边界网关集群,支持自动故障转移、异构容灾

架构特点

  • 基于P4可编程芯片(Barefoot/Tofino)
  • 集群内节点等价化设计
  • BGP自动故障转移
  • 多集群间相互宣告VIP实现秒级容灾

应用场景:公网网关、专线接入、VPN连接、跨域流量等。


💡 高性能网络特性

高可用虚拟IP

📄 VIP产品简介
📄 VIP设计指南

核心能力

  • 虚拟IP的高可用部署
  • 快速故障检测和转移
  • 支持主备和多活模式
  • 毫秒级故障恢复

全球加速

🌍 全球加速/

核心功能

  • 跨地域流量加速
  • BGP Anycast全球应用
  • 智能路由和流量优化
  • CDN/专线等多路协议

高速通道

🔗 高速通道/

核心功能

  • 专线接入管理
  • 托管专线支持
  • 多线路冗余
  • 低延迟、高带宽保证

共享带宽

📄 共享带宽用户指南

核心功能

  • 多个公网IP共享带宽额度
  • 灵活的带宽管理
  • 成本优化
  • 按需扩容

🔬 智算网络与RDMA

智算中心网络架构

📖 智算中心整体网络架构

核心内容:GPU虚拟化、RDMA网络、高性能计算网络、AI集群网络等。

应用场景:支持大规模AI/ML训练、高性能计算、数据分析等对网络延迟和带宽要求极高的应用。

GPU虚拟化与池化

📖 从GPU虚拟化到池化

核心内容:GPU虚拟化技术、资源池化、RDMA高性能通信等。

应用场景:构建灵活、高效的GPU计算资源管理平台,提高资源利用率。


🔗 硬件加速网络

P4可编程网络

BGW边界网关

🔗 BGW项目地址

产品定位:基于P4可编程芯片(Barefoot)的混合边界网关,承载VPC南北向流量。

核心优势

  • 专线/VPN/托管连接集中管理
  • 自动BGP故障转移
  • 支持硬件与软件异构容灾
  • T级带宽、大规格IP支持

IGW公网网关

🔗 IGW项目地址

产品定位:基于P4可编程芯片(Barefoot)的统一公网网关,承载公网流量转发和限速。

核心优势

  • 精准的流量限速(无黑洞、无切换丢失)
  • 集群化部署支持水平扩容
  • 异构多集群间自动容灾
  • 支持IPv4/IPv6双栈

� PaaS 平台服务

数据复制与同步(DRC)

📖 DRC完整解决方案

核心功能

  • 数据复制引擎 - Producer/Consumer架构,支持全量+增量同步
  • 并发执行策略 - 表维度和事务维度并发,保证数据一致性
  • 高可用机制 - 故障自动转移,从记录的位点恢复
  • 双向同步 - JED方案支持多单元间的双向复制

应用场景:数据库跨单元同步、容灾备份、多活部署、单元切量等。

子模块

云日志收集(Digger)

📖 Digger日志系统

核心能力

  • 超高吞吐采集 - 1600W条/秒峰值
  • 海量存储 - 8000亿条/天
  • 多机房部署 - 三个机房九个单元
  • 智能告警 - 关键词自动收敛告警

应用场景:应用日志采集、问题诊断、审计追踪、数据分析等。

GPU集群与大模型训练

📖 JD-GPU集群运营数据

核心内容

  • 万卡级集群建设 - 大规模GPU集群架构和建设经验
  • 模型训推平台 - 支持大模型训练和推理的完整平台
  • 存储方案 - TB级带宽、PB级容量的高性能存储系统
  • 成本优化 - 算力切割和精细化运营方案

应用场景:大模型训练、推理服务、AI数据处理、科学计算等。


�📖 参考资料与白皮书

权威参考书籍

云网络设计

学术资料


🎓 学习路线建议

初学者路线

  1. 基础网络 - 打牢网络基础理论
  2. IPv6网络 - 了解下一代互联网协议
  3. 参考书籍 - 深度阅读TCP/IP和HTTP

中级工程师路线

  1. BGP网络 - 学习自治系统间的路由交换
  2. OVS全科普 - 理解虚拟网络交换原理
  3. VPC虚拟私有网络 - 掌握云网络隔离机制

高级架构师路线

  1. DPDK全科普 - 掌握高性能数据面处理
  2. VIP集群架构 - 应用高可用部署方案
  3. 智算网络架构 - 设计面向未来的网络
  4. 云网络卓越架构设计 - 阅读最佳实践白皮书

📌 核心文档导引

模块 类型 难度 适用角色
基础网络 理论 所有人
IPv6网络 理论 ⭐⭐ 网络工程师
BGP网络 理论 ⭐⭐⭐ 网络架构师
OVS全科普 实战 ⭐⭐ 虚拟化工程师
DPDK全科普 实战 ⭐⭐⭐ 网络开发者
VIP集群 架构 ⭐⭐⭐ 系统架构师
智算网络 架构 ⭐⭐⭐⭐ AI基础设施架构师
DRC数据复制 实战 ⭐⭐⭐ 数据库架构师
云日志采集 实战 ⭐⭐ 运维工程师
GPU集群运营 架构 ⭐⭐⭐⭐ 大模型基础设施架构师

🤝 项目关联

About

【京东云IaaS】- 云计算领域的SDN相关技术和产品文档,一直从事这个方向的感觉只见树木不见森林

Topics

Resources

Stars

Watchers

Forks

Releases

No releases published

Packages

 
 
 

Contributors