| 课程号 |
01834349 |
学分 |
2 |
| 英文名称 |
Artificial Intelligence Generated Content |
| 先修课程 |
无 |
| 中文简介 |
使学生通过本课的学习，能够知晓AIGC的类型、特点和优势，了解AIGC产业的技术特征和发展趋势；能够掌握基于Stable Diffusion的ComfyUI环境的部署、配置和调试，学会ComfyUI模型、节点和插件的安装与设置，并通过其创作基本的工作流；能够熟练掌握文生文、文生图以及图生图等标准工作流的制作和使用；熟悉通过LoRA微调模型、ControlNet过程控制、IPAdapter风格引用以及InstantID角色学习等节点继承、引用和控制图像的生成和输出；知晓AnimateDiff动画生成工作流和SVD视频生成工作流的使用，并掌握大语言模型和文本生成语音在工作流中的调用。让学生具备综合运用不同类型和作用的节点创作工作流的能力，解决实际问题，为未来从事影视传媒等相关行业，进行内容生产和创作，积累相关知识、技巧和实践经验。 |
| 英文简介 |
Through the study of this lesson, students will be able to understand the types, characteristics, and advantages of AIGC, as well as the technical features and development trends of the AIGC industry;Be able to master the deployment, configuration, and debugging of the ComfyUI environment based on Stable Diffusion, learn the installation and setup of ComfyUI models, nodes, and plugins, and create basic workflows through them;Be able to master the production and use of standard workflows such as text-to-text, text-to-image, and image-to-image;Be familiar with the generation and output of images through node inheritance, reference, and control using LoRA fine-tuning models, ControlNet process control, IPAdapter style references, and InstantID role learning;Knowledge of the use of AnimateDiff animation generation workflow and SVD video generation workflow, and master the use of large language models and text generation speech in workflows.To equip students with the ability to comprehensively use different types and functions of nodes to create workflows, solve practical problems, and accumulate relevant knowledge, skills, and practical experience for future content production and creation in related industries such as film and television media. |
| 开课院系 |
新闻与传播学院 |
| 成绩记载方式 |
|
| 通识课所属系列 |
|
| 授课语言 |
中文 |
| 教材 |
|
| 参考书 |
|
| 教学大纲 |
使学生通过本课的学习，能够知晓AIGC的类型、特点和优势，了解AIGC产业的技术特征和发展趋势；能够掌握基于Stable Diffusion的ComfyUI环境的部署、配置和调试，学会ComfyUI模型、节点和插件的安装与设置，并通过其创作基本的工作流；能够熟练掌握文生文、文生图以及图生图等标准工作流的制作和使用；熟悉通过LoRA微调模型、ControlNet过程控制、IPAdapter风格引用以及InstantID角色学习等节点继承、引用和控制图像的生成和输出；知晓AnimateDiff动画生成工作流和SVD视频生成工作流的使用，并掌握大语言模型和文本生成语音在工作流中的调用。让学生具备综合运用不同类型和作用的节点创作工作流的能力，解决实际问题，为未来从事影视传媒等相关行业，进行内容生产和创作，积累相关知识、技巧和实践经验。
第一单元 ComfyUI的工作环境搭建与使用
第1周 AIGC 基础知识概述（课程内容介绍，选课须知）
1. 什么是AIGC
2. AIGC的特点及优势
3. AIGC生成内容的基本类型
4. 可视化AIGC的技术方案（Midjourney和Stable Diffusion）
5. SD WebUI 与 SD ComfyUI工作方式的异同
6. Stable Diffusion ComfyUI技术特点及优势
7. SD ComfyUI工作流文生图示范
第2周 部署ComfyUI的工作环境
1. 本地安装Miniconda，部署Conda和Python环境
2. 虚拟环境管理（env环境的创建、复制、激活、退出和删除）
3. 安装ComfyUI工作环境
4. 介绍ComfyUI不同文件夹的角色功能
5. 安装ComfyUI工具节点ComfyUI Manager和ComfyUI Easy Use
6. 如何通过网络或在本地安装节点的方式
7. 如何安装Checkpoint大模型和Upscale、LoRA等节点模型
第3周 ComfyUI界面及工作流使用
1. 在ComfyUI中如何添加和删除工作流节点
2. 在ComfyUI中管理工作流节点（查找、连接和跳过节点）
3. 在ComfyUI中工作流节点的编组与移动
4. 在ComfyUI中工作流节点启用与禁用
5. 如何载入工作流
6. 如何保存工作流
7. 安装提示词（Prompt）补全节点
8. 安装与配置中文提示词节点
第4周 提示词的语法与规范
1. 什么是Prompt （提示词）
2. 提示词的书写规范
3. SD1.5与SDXL提示词书写方式的差别
4. 提示词的语法规范
5. 提示词的权重标识（符号与数值）
6. 提示词的混合、迁移和迭代
7. 内容提示词的分类（正向提示与反向提示词）
8. 内容提示词标准化模版
第二单元 在ComfyUI中创建常用工作流
第5周 创建文生图与图生图标准工作流
1. 创建文生图标准工作流
2. 文生图工作流中各节点的作用
3. 图生图工作流与文生图工作流的关系
4. 根据图片反推提示词工作流
5. 中文提示词工作流的安装与配置
6. 中文提示词工作流的翻译器使用
第6周 KSampler采样器的使用
1. Seed随机种子的控制
2. steps（步数）与CFG参数的影响
3. 采样器的不同类型及特征
4. 生成图像的收敛与不收敛
5. 调度器的区别
6. Denoise（降噪）的取值范围及效果
第7周 在ComfyUI中放大图片
1. 为什么要放大图片而不是生成大图
2. Upscale图片放大工作流
3. Latent（浅空间）图片放大工作流
4. Ultimate_SD_Upscale（终极放大）图片放大工作流
5. SUPIR_Upscale（超级放大）图片放大工作流
第三单元 在ComfyUI中图生图高级应用
第8周 图生图工作流及Mask的使用
1. 图生图基本步骤详解
2. 图像的载入
3. 绘图、局部重绘、手涂蒙版、上传蒙版、批量操作功能实操详解
4. Mask 图生图工作流
5. 图生图标准工作流
6. 图像对比工作流节点
第9周 LoRA 微调加载器在ComfyUI中的使用
1. LoRA微调模型概念讲解
2. 安装LoRA节点和模型
3. LoRA模型使用详解
4. 多个LoRA模型混合使用
第10周 ControlNet 过程可控工作流
1. Controlnet概念介绍及节点安装
2. Controlnet使用的模型及作用
3. 线稿类预处理器使用详解（硬边缘、软边缘、线稿、涂鸦）
4. MLSD直线检测预处理器使用详解
5. 利用MLSD实现制作室内设计效果图
6. 深度图、法线贴图、语义分割预处理器使用详解
7. ControlNet图生图工作流
8. 利用ControlNet实现更换图片背景、模特换衣
第11周 IPAdapter 风格引用工作流
1. IPAdapter基本概念介绍及节点安装
2. IPAdapter使用的模型及作用
3. IPAdapter参考图的载入
4. IPAdapter图生图基本工作流
5. IPAdapter + ControlNet图生图综合工作流
第12周 InstantID 角色学习工作流
1. 准备InstantID工作流节点
2. 准备ControlNet工作流节点
3. 准备IPAdapter工作流节点
4. 准备FaceID工作流节点
5. 创建InstantID图生图工作流
6. 利用InstantID工作流实现人物更换面孔
第四单元 在ComfyUI中创建动画及视频工作流
第13周 AnimateDiff图片生成动画
1. AnimateDiff创建动画实现方式及节点安装
2. AnimateDiff使用的大模型及安装
3. AnimateDiff 动画生成工作流
4. 图像动作方式（摇动、滚动、旋转和缩放）
5. 动画生成的格式
6. AnimateDiff图片生成动画工作流
第14周 SVD图片生成视频
1. SVD的工作原理及节点安装
2. SVD使用的模型及安装
3. 视频的格式标准（帧尺寸与帧数率）
4. SVD图片生成视频工作流
5. 目前SVD技术发展与局限
第15周 在ComfyUI中使用大语言模型及TTS文本生成语音工具
1. 安装Ollama工作环境
2. 安装大语言模型llama3、qwen2（通义千问）和llava
3. 在命令行中使用大语言模型（问答与读图）
4. 在ComfyUI中调用Ollama大模型
5. TTS文本转语音的常用工具
6. Microsoft TTS工具的特点和优势
7. 科大讯飞TTS工具的特点和优势
8. 如何训练生成自己语音风格的TTS模型
第16周 ComfyUI文生图及图生图综合应用（根据假期安排适当调整案例内容或进行总复习）
本课宜采用计算机机房上课，教师将教师端的电脑屏幕共享给学生端，以便学生能够看清ComfyUI的界面、节点和具体的参数设置。如果有条件可以用投影幕或LED大屏辅助教师机投影，教学效果更佳。如果计算机机房的机位数不足以满足开课规模，可以考虑在普通教室上课，让学生自带笔记本电脑，通过线上会议的方式，将教师端电脑屏幕分享给进入线上会议的同学，前提是教室应具备无线网络覆盖且能连通外网的条件。
由于AIGC更新比较快，特别是ComfyUI这种可视化工作流发布更晚，正式教材还没有出版，教师宜将课程内容以线上的Blog、wiki或者在线视频课程的形式分享给选课学生，使之课后可以参照练习和复习。课程教学以线下为主，线上为辅的形式展开。
本课属于面向实践应用的实验教学，上课方式有三种：第一种是教师课件演示，采用计算机屏幕共享并结合大屏幕同步回放的方式教学；第二种是教师讲解和演示软件操作，并以屏幕共享的方式同步到学生端，然后同学们观摩教师演示后在计算机上同步练习；第三种是学生课后自主上机时练习和完成作业，教师给与指导和答疑。
学期成绩=平时成绩50%+期末成绩50%
平时成绩=考勤10%+课后作业40%
期末成绩=线上选择题答题25%+工作流操作题25%
|
| 教学评估 |
|
|