易迟的博客 | Bryan Blog

深入探索联邦学习框架 Flower

A deep dive into the federated learning framework Flower

联邦学习框架本文主要期望介绍一个设计良好的联邦学习框架 Flower，在开始介绍 Flower 框架的细节前，先了解下联邦学习框架的基础知识。作为一个联邦学习框架，必然会包含对横向联邦学习的支持。横向联邦是指拥有类似数据的多方可以在不泄露数据的情况下联合训练出一个模型，这个模型可以充分利用各方的数据，接近将全部数据集中在一起进行训练的效果。横向联邦学习的一般流程如下：横向联邦学...

Posted by Bryan on November 16, 2023

联邦学习 Non-IID 算法实现

Federated Learning Non-IID Algorithm implementation

独立同分布独立同分布概念众所周知，在机器学习进行模型训练时，基本上都假设训练样本符合独立同分布(IID)。独立，表示多个抽样样本之间没有相关关系，彼此不会互相影响。比如掷骰子中前后两次互不影响，同分布，表示多个样本遵循同样的分布规律。比如掷骰子中多次都符合同样的规律，即每个数出现的概率都为 1/6 因为机器学习都是通过学习历史数据总结出规律从而预测未来数据的，如果历...

Posted by Bryan on November 3, 2023

GPT Engineer 实践与源码解析

GPT engineer practice and source code analysis

背景介绍 GPT Engineer 是一个基于需求描述自动生成项目源码的开源项目，主打轻量，灵活生成项目源码，可以在 AI 生成与人工生成之间进行切换，底层是基于 GPT-4 对应的编程能力，目前 Github 上 star 数量已经达到了 45k，算是一个十分火热的 AI 项目。与大热的 AutoGPT 相比，GPT Engineer 更加轻量，没有使用递归的请求调用，避免陷入反复请求...

Posted by Bryan on October 23, 2023

medical-labelme 升级方案概述

Overview of the medical-labelme upgrade plan

背景信息在前面的文章中介绍了基于 Labelme 改造的 medical-labelme，通过第一阶段的改造，最终保持对 Labelme 的向前兼容的情况下有限支持了 DICOM 文件的标注，最终发布了 v0.1.0。为了解决 v0.1.0 版本对 DICOM 多帧图像支持不足的问题，本次从底层开始进行深层次的改造，但是也被迫放弃了与 Labelme 的完全兼容。Labelme 标注输...

Posted by Bryan on October 4, 2023

自研医疗图像标注工具 medical-labelme

Self-developed medical image annotation tool medical-labelme

背景信息为了将医疗影像用于机器学习算法训练，需要对医疗影像数据进行标注。但是医疗影像中涉及大量的隐私信息，因此医疗影像的打标需要具备私有化部署或离线运行的能力。图像标注存在不少开源方案，使用最多的是下面这些： labelme 11.1k star, 基于 QT 实现可视化 label-studio 14.3k star, 基于 web 服务可视化，后端使用 Python ...

Posted by Bryan on September 23, 2023

DICOM 图像探索

DICOM image exploration

背景介绍最近开始推进医疗影像数据机器学习模型，医疗领域最常规的图像格式当属 DICOM 了，之前对医疗图像了解甚少，此次对 DICOM 图像进行了一些探索，整理相关内容在这边。 DICOM 图像探索 DICOM 格式介绍 DICOM 是一组通用标准协议，包括医疗图像的处理，存储，传输等各个方面的内容。协议具体内容可以查看 dicomstandard.org 而之前搜索调研医疗图像最常...

Posted by Bryan on September 16, 2023

FATE Eggroll 源码解析

FATE Eggroll source code analysis

背景介绍在之前的文章中对 FATE 的调度系统 FATE-Flow 从源码角度进行了介绍，FATE 的可视化 FATE-Board 之前也介绍过了，对于 FATE 底层使用的数据传输机制 Eggroll 一直没有过多介绍。而这一块的技术细节一直没有太多的资料可以参考，官方文档上只有 Eggroll 部署相关的内容，网络上基本搜不到 FATE 底层数据传输 Eggroll 原理分析的...

Posted by Bryan on September 4, 2023

联邦学习下线性回归算法实现概述

Overview of the implementation of linear regression algorithm under federated learning

背景介绍最近在学习和实践机器学习相关内容，日常的工作主要是涉及联邦学习相关工程领域的开发，这次就从算法的角度来介绍一个联邦学习下的机器学习算法是怎样的。虽然是以线性回归算法为例，事实上其他的机器学习算法，比如逻辑回归，MLP 等也完全适用，进行少量的改造即可。本文的开发主要基于 Pytorch 实现，主要以实践为主，不包含具体的公式推导。线性回归算法实现线性回归是机器学习领域最...

Posted by Bryan on September 1, 2023

FATE Board 执行流程探索

FATE Board Execution Process Exploration

背景介绍 FATE Board 是 FATE 提供的一个工程，用于给 FATE 提供可视化能力，方便在联邦学习训练中实时查看执行状态，更好地定位执行中遇到的问题。查看 FATE 架构可以看到 FATE Board 是建立在 MySQL 和 FATE Flow Server 的基础上的，看起来数据来源是来自于这两者。FATE Flow Server 在之前的文章中已经介绍过，FATE 中...

Posted by Bryan on August 23, 2023

基于 Pre-commit 的代码风格统一实践

Unified Code Style Practice Based on Pre-commit

背景信息统一代码风格首先需要定义参照的规范，每个团队可能会有自己的规范，我们选择的规范是 yapf + mypy + isort，如果保证所有的研发人员都遵循相关规范呢？鼓励 IDE 中对应的插件的安装，通过直接对应的插件，在编写代码阶段就能实时发现不符合规范的情况，修改成本最低；通过 Pre-commit 在创建 commit 时执行检查，并进行必要的自动格式化，提供统一...

Posted by Bryan on August 21, 2023

Bryan Blog