fix: 定时任务修复+管理后台Task7支持 (Task4外键修复, Task7管理员邮箱动态查询, Task5限流防护, Task7加入SCRIPT_MAP)

2026-05-30 18:03:48 +08:00
parent 4d5e7266b5
commit 10d1acb305
56 changed files with 2779 additions and 135 deletions
@@ -24,7 +24,7 @@
 zhuiguang-ai/
 ├── prisma/                 # 数据库Schema + 迁移 + 种子
 ├── public/                 # 静态资源 (logo.png, logos/)
-├── scripts/                # 独立脚本 (6个定时任务 + 多个工具脚本)
+├── scripts/                # 独立脚本 (7个定时任务 + 多个工具脚本)
 ├── src/
 │   ├── app/
 │   │   ├── (admin)/admin/  # 后台页面 (18个页面 + 任务调度3个子页)
@@ -88,13 +88,13 @@ DEEPSEEK_API_KEY=<required-for-review>
 - **GitHub Star同步**: 通过GitHub API定期更新技能Star数，维护90天历史
 - **五维评测系统**: GitHub数据采集 + DeepSeek AI评测 + 雷达图展示，5维度(capability/devExp/costLicense/community/performance)评分
 - **评测榜单**: 前台/reviews页面展示评测分榜TOP10 + Stars涨幅榜TOP10侧边栏
- **任务调度系统**: 6个定时任务(Task1-6)+AI日报，统一TaskConfig配置+TaskLog执行历史+后台可视化管理+手动触发
+- **任务调度系统**: 7个定时任务(Task1-6+Task7新闻推社区)+AI日报，统一TaskConfig配置+TaskLog执行历史+后台可视化管理+手动触发，通过cron-wrapper.sh统一入口执行
 - **权限体系**: 53个精细化权限点，角色管理，细粒度权限控制
 - **社区互动**: 评论/回复、收藏、浏览历史、收藏夹、通知系统、论坛板块
 - **分页**: 所有列表页面支持分页（每页20条）
 - **浅色主题**: 科技感浅色设计系统，毛玻璃效果+渐变文字+精致阴影
 - **层级分类**: 一级分类+二级分类，左侧导航+标签切换
 - **用户系统**: 邮箱注册/登录、GitHub OAuth、收藏功能、浏览历史
- **安全加固**: 后台API全部添加requireAdmin中间件验证，路由层+中间件双重防御
+- **安全加固**: 后台25个写操作API全部添加requireAdmin中间件验证；批量操作ids数组需校验非空且有数量上限(100~500)；FK字段回退值禁止硬编码
 - **端口锁定**: 8301-8310区间，禁止使用其他端口
 - **频率限制**: 登录尝试限制、IP请求限制
@@ -111,7 +111,7 @@ NextAuth认证端点（登录/回调/CSRF等）。
 | 路由 | 方法 | 功能 |
 |------|------|------|
 | /api/admin/tools | GET | 获取所有工具（分页） |
-| /api/admin/tools | POST | 创建工具 |
+| /api/admin/tools | POST | 创建工具（requireAdmin + 输入校验 + categoryId有效性校验 + slug自动去重） |
 | /api/admin/tools/[id] | PUT | 更新工具 |
 | /api/admin/tools/[id] | DELETE | 删除工具 |

@@ -133,7 +133,7 @@ NextAuth认证端点（登录/回调/CSRF等）。
 | /api/admin/pending/[id] | DELETE | 删除单个待审核工具 |
 | /api/admin/pending/[id]/publish | POST | 发布为正式工具 |
 | /api/admin/pending/batch | POST | 批量导入（去重+自动抓Logo） |
-| /api/admin/pending/batch-publish | POST | 批量发布（ids数组） |
+| /api/admin/pending/batch-publish | POST | 批量发布（ids数组，最多500条，categoryId动态回退） |
 | /api/admin/pending/batch-reject | POST | 批量拒绝（ids数组） |
 | /api/admin/pending/fetch-logos | POST | 批量抓取Logo（body: {scope, refetch?}） |

@@ -147,9 +147,9 @@ NextAuth认证端点（登录/回调/CSRF等）。
 | /api/admin/pending-skills/[id] | DELETE | 删除单个待审核技能 |
 | /api/admin/pending-skills/[id]/publish | POST | 发布为正式技能 |
 | /api/admin/pending-skills/batch | POST | 批量导入（去重） |
-| /api/admin/pending-skills/batch-publish | POST | 批量发布（ids数组） |
+| /api/admin/pending-skills/batch-publish | POST | 批量发布（ids数组，最多500条，categoryId动态回退） |
 | /api/admin/pending-skills/batch-reject | POST | 批量拒绝（ids数组） |
-| /api/admin/pending-skills/publish-all | POST | 一键发布所有待审核技能 |
+| /api/admin/pending-skills/publish-all | POST | 一键发布所有待审核技能（categoryId动态回退） |

 ### AI发现与检测（提示词+JSON粘贴模式，不调用外部AI API）

@@ -27,14 +27,17 @@

 ### /reviews (评测中心)
 - 文件: `src/app/reviews/page.tsx`
- 组件: ReviewsList, SidebarRankings
- 功能: 评测列表展示（主栏）+ 侧边栏榜单（评测分榜TOP10 + Stars涨幅榜TOP10）
+- 组件: ReviewsList, CommunitySidebar(侧栏)
+- 布局: 三栏 `grid-cols-[208px_1fr_280px]` — HeroBanner横幅 + 左侧排行 + 内容区 + 右侧说明
+- 左侧栏: 外部热度排行(GitHub Stars周涨幅) + 评测分值排行
+- 右侧栏: 五维模型说明 + 评测评分规则
 - 数据源: `/api/skill-reviews`, `/api/skill-reviews/rankings`

 ### /skills (技能库)
 - 文件: `src/app/skills/page.tsx`
 - 组件: SkillsPageClient
 - 功能: 技能分类筛选（一级+二级分类，左侧导航+标签切换）、搜索、分页
+- 背景配色: HeroBanner `orange` 橙色方案（`#c2410c → #ea580c → #f97316`）
 - 数据源: `/api/skill-categories`, `/api/skills`

 ### /skills/[slug] (技能详情)
@@ -69,9 +72,15 @@

 ### /user/collections/[id] (收藏夹详情)
 - 文件: `src/app/user/collections/[id]/page.tsx`
- 功能: 单个收藏夹内的工具/技能展示
+- 功能: 收藏夹内工具列表，拖拽排序，分享
 - 数据源: `/api/user/collections/[id]`

+### /user/[id] (会员个人空间)
+- 文件: `src/app/user/[id]/page.tsx`
+- 组件: ShareButton
+- 功能: 用户资料展示（头像/昵称/简介/等级/积分）+ 统计面板 + 发布主题列表 + 评论历史 + 分享按钮
+- 数据源: `/api/user/[id]`
+
 ---

 ## 后台页面
@@ -158,7 +167,7 @@

 ### /admin/tasks (任务中心)
 - 文件: `src/app/(admin)/admin/tasks/page.tsx`
- 功能: 6个定时任务总览卡片、各任务启用/禁用开关、手动运行按钮、最近执行状态、Cron表达式展示
+- 功能: 7个定时任务总览卡片、各任务启用/禁用开关、手动运行按钮、最近执行状态、Cron表达式展示
 - 数据源: `/api/admin/tasks/configs`, `/api/admin/tasks/run`

 ### /admin/tasks/logs (任务执行日志)
@@ -24,9 +24,13 @@

 ### 公共组件

-#### HeroBanner (`src/components/common/HeroBanner.tsx`)
- 首页横幅组件
- 渐变背景 + 渐变文字标题 + CTA按钮
+#### HeroBanner (`src/components/common/HeroBanner.tsx`) 🔄
+- 文件: `src/components/common/HeroBanner.tsx`
+- 用途: 页面顶部横屏海报（Canvas粒子动画+SVG装饰+渐变背景）
+- 6种配色方案: `SCHEMES` 配置表 (`cosmos`/`aurora`/`dawn`/`forest`/`crimson`/`orange`)
+- Props: `{ title: string, highlight: string, colorScheme: ColorScheme, stats: {label, value, unit}[], slogan: string, subSlogan?: string }`
+- 动画: Canvas星星闪烁+流星效果，每种配色有独立的星星颜色、流星颜色、背景渐变、SVG装饰图案
+- 使用页面: `/`(cosmos蓝) `/skills`(orange橙) `/daily`(dawn金) `/reviews`(aurora紫) `/community`(forest绿)

 #### LoginModal (`src/components/common/LoginModal.tsx`)
 - 登录/注册弹窗，支持模式切换
@@ -78,6 +78,8 @@ AI发现模块是追光AI的核心功能，采用"提示词+JSON粘贴导入"模
 ### Logo本地存储 (`src/lib/logo-storage.ts`)
 - `downloadLogo(url, filename): Promise<string>` — 下载Logo到 `/public/logos/` 目录
 - 返回本地路径如 `/logos/filename.png`
+- **安全限制**: 最大文件大小 5MB，SVG 内容自动消毒 script/iframe/on-event 标签
+- **文件名**: 使用 SHA256 哈希生成（不再使用 MD5）

 ## 自动化评测流程

@@ -117,6 +119,17 @@ Crontab(6个定时) → 脚本执行(Node.js .mjs) → 外部API调用(GitHub/De
  后台管理 /admin/tasks → 查看配置/状态/历史/手动触发
 ```

+### 环境要求
+- 所有脚本启动时验证 `DEEPSEEK_API_KEY` + `DATABASE_URL` 存在性
+- DeepSeek 调用统一使用 `AbortSignal.timeout(120000)` + `withRetry` 重试（指数退避 1s → 2s，最多3次）
+- DeepSeek 模型名通过环境变量 `DEEPSEEK_MODEL` 配置（默认 `deepseek-v4-pro`）
+- GitHub Octokit 配置 `request.timeout: 30000`，配合 withRetry 重试
+- GitHub API 调用需设置 `GITHUB_TOKEN` 环境变量认证（限流从 60→5000次/小时）
+
+### skill-discoverer.ts N+1 优化
+- **修复前**: 每个 repo 执行 3 次 DB 查询 + 每次 guessCategoryId 查一次分类 → ~360次/次发现
+- **修复后**: 循环前批量预加载 sourceUrl/slug/分类到内存 Set → ~22次/次发现（↓94%）
+
 ### 7个任务总览

 | # | 任务 | 脚本 | Cron | 依赖外部API | 产量 |
@@ -14,6 +14,7 @@
 - 用户数据存储在User表
 - 密码bcrypt加密
 - GitHub OAuth登录（自动创建/关联用户）
+- **OAuth 竞态处理**: GitHub OAuth 并发创建用户时 P2002 唯一约束冲突自动回退 findFirst
 - 登录频率限制: 7次/分钟

 ### 登录流程
@@ -7,6 +7,7 @@
 - 使用PrismaMariaDb adapter
 - 连接池配置（connection_limit=20, pool_timeout=30）
 - 日志: 开发环境warn/error，生产环境error
+- **环境变量校验**: DATABASE_URL 未设置时抛出明确错误（移除硬编码默认连接串）

 ### auth.ts - 认证配置
 - NextAuth配置导出
@@ -31,22 +32,26 @@

 ### validation.ts - 数据验证
 - Zod验证schemas
- 包含: registerSchema, loginSchema, paginationSchema, toolImportSchema, skillImportSchema, newsImportSchema, checkTypeSchema, profileUpdateSchema, favoriteSchema, historySchema, taskRunSchema, roleCreateSchema, categoryCreateSchema, skillCategoryCreateSchema, systemConfigUpdateSchema
+- 包含: registerSchema, loginSchema, paginationSchema, toolImportSchema(**max(100)**), skillImportSchema(**max(100)**), newsImportSchema(**max(50)**), checkTypeSchema(**max(50)**), profileUpdateSchema, favoriteSchema, historySchema, taskRunSchema, roleCreateSchema, categoryCreateSchema, skillCategoryCreateSchema, systemConfigUpdateSchema
+- 批量导入数组均有数量上限，防止一次请求导入过多数据

 ### deepseek.ts - DeepSeek评测生成
 - 依赖: openai (兼容OpenAI接口)
 - 认证: process.env.DEEPSEEK_API_KEY
 - baseURL: https://api.deepseek.com/v1
- 模型: deepseek-v4-pro
+- 模型: 环境变量 `DEEPSEEK_MODEL`（默认 `deepseek-v4-pro`）
+- 客户端配置: `timeout: 120000`, `maxRetries: 2`
 - `generateReview(repoName, description, stars, license, readme)`: 调用DeepSeek生成五维评测
 - 综合分校验: 自动计算五维均分，偏差>0.3时修正
 - JSON提取: 兼容markdown代码块包裹的响应

 ### github.ts - GitHub数据采集
 - 依赖: octokit
- 认证: process.env.GITHUB_TOKEN (可选，提升限流60→5000次/小时)
- `searchHotRepos(query, minStars, maxResults)`: 搜索热门仓库，按Star降序
- `getRepoReadme(owner, repo)`: 获取仓库README内容(base64解码)
+- 认证: process.env.GITHUB_TOKEN (推荐设置，提升限流60→5000次/小时)
+- Octokit配置: `request.timeout: 30000`
+- **withRetry**: 指数退避重试（最多3次），403/404/422 不重试直接抛
+- `searchHotRepos(query, minStars, maxResults)`: 搜索热门仓库，按Star降序（带重试）
+- `getRepoReadme(owner, repo)`: 获取仓库README内容(base64解码)（带重试+错误日志）
 - `GitHubRepo` 接口: id, full_name, html_url, description, stargazers_count, forks_count, language, license, topics, updated_at, readme

 ### logo-fetcher.ts - Logo抓取引擎
@@ -55,16 +60,21 @@
 - 10种抓取策略按优先级执行
 - 支持从SystemConfig读取配置
 - 每种成功方法返回中文名称
+- 所有 catch 块均添加 `console.warn` 日志（9处）

 ### logo-storage.ts - Logo本地存储
 - 导出 `downloadLogo(url, filename): Promise<string>`
 - 下载远程Logo到 `/public/logos/` 目录
 - 返回本地路径如 `/logos/filename.png`
+- **安全**: 最大文件大小 5MB
+- **安全**: SVG 内容自动消毒 script/iframe/on-event 标签
+- **哈希算法**: 使用 SHA256 生成文件名（不再使用 MD5）

 ### rate-limit.ts - 频率限制
 - `rateLimit(ip, maxRequests, windowMs)` — IP频率限制
 - 内存存储（Map）
 - 默认: 10次/分钟
+- **自动清理**: 每5分钟自动清理过期IP记录，防止内存无限增长

 ### use-permission.ts - 前端权限Hook
 - 客户端Hook
@@ -75,7 +85,7 @@

 ## 脚本 (`scripts/`)

-### 定时任务脚本（6个 + 1个日报，均含TaskLog记录）
+### 定时任务脚本（6个 + 1个日报 + 1个新闻推社区，均含TaskLog记录）

 #### task1-discover-tools.mjs — Task1 发现AI工具
 - 每天06:00由Crontab触发
@@ -87,6 +97,7 @@
 - 每天03:00由Crontab触发
 - 检查所有已发布Tool网站可访问性+Logo有效性，更新websiteOk/logoOk字段
 - 对PendingTool逐一检查，四项检查全部通过则自动发布为正式Tool
+- **FK回退**: categoryId为NULL时动态取数据库第一个有效分类（不再硬编码 `|| 1`）
 - 结果写入TaskLog(taskKey: task3-check-tools)，含websiteFails/logoFails/autoPublished统计

 #### task4 daily-discover.mjs — Task4 发现AI技能
@@ -120,9 +131,16 @@
 - 入库DailyReport表
 - 结果写入TaskLog(taskKey: daily-news)，含reportId/itemCount/title统计

+#### task7-news-to-community.mjs — Task7 新闻推社区
+- 每天08:00由Crontab触发
+- 查询今日(或昨天)已发布日报 → 按新闻category映射到社区板块
+- 映射规则: product→ai-tools / business→ai-news / model→tech / opensource→tech / policy→ai-news / insight→discuss
+- 以admin用户身份创建ForumTopic，去重(按标题)，更新板块topicCount
+- 结果写入TaskLog(taskKey: task7-news-to-community)，含created/skipped统计
+
 #### seed-task-configs.mjs — 任务配置种子数据
 - 一次性运行（幂等，创建或更新）
- 初始化6个TaskConfig记录（task1/3/4/5/6 + daily-news）
+- 初始化7个TaskConfig记录（task1/3/4/5/6/7 + daily-news）
 - 含默认cronExpr、enabled=true、description

 ### 其他脚本
@@ -191,9 +209,14 @@
 - 清空pending_tools表

 ### cron脚本 (shell)
- `cron-daily-discover.sh` — 每日技能发现
- `cron-daily-news.sh` — 每日新闻发现
- `cron-task1.sh` — Task1定时任务
+- `cron-wrapper.sh` — 定时任务统一执行入口，自动 `source .env` + `set -a`/`set +a` 加载环境变量，创建日志目录，记录执行结果
+- `install-cron.sh` — 一键安装/更新 crontab（7个任务+日报+新闻推社区，全部通过wrapper执行）
+- `fix-db-url.sh` — 旧版数据库URL修复脚本（已被 fix-db-url.cjs 取代）

 ### lib/retry.mjs
 - 重试工具函数
+
+### 修复/诊断脚本
+- `fix-db-url.cjs` — 批量修复所有 `.mjs` 脚本的 `mysql://` → `mariadb://` 协议兼容（PrismaMariaDb adapter 要求）
+- `fix-ts-types.cjs` — 批量移除 `.mjs` 文件中的 TypeScript 类型注解（`.mjs` 不支持 TS 语法）
+- `check-categories.cjs` — 检查数据库社区板块分类，输出所有 ForumCategory 的 id/name/slug
@@ -205,7 +205,7 @@
 ### /community/topic/[id] (话题详情)
 - 话题完整内容展示
 - 回复列表（作者标记）
- 回复表单（已登录可用）
+- 回复表单（已登录可用，提取为 `ReplyForm.tsx` Client Component，支持防重复提交）
 - 锁定话题显示提示

 ### /user (🆕 更新的用户中心)
@@ -10,7 +10,7 @@
 - **开发机**: E:\ZG_Dev\ZhuiGuangAI\zhuiguang-ai
 - **部署目录**: /home/ubuntu/zhuiguang-ai
 - **访问地址**: https://www.zhuig.com (HTTP自动跳转HTTPS)
- **本地Git同步目录**: K:\git-repos
+- **本地Git同步目录**: C:\gitbf (完整Git仓库)

 ### 端口规范
 - **应用端口范围**: 8301-8310（预留扩展）
@@ -101,26 +101,48 @@ pm2 restart zhuiguang-ai

 ### .env配置
 ```bash
-# 数据库
+# 数据库（必填，启动时校验）
 DATABASE_URL="mysql://mohe001:***@rm-0jlbgr2rv6dj3t6jngo.mysql.rds.aliyuncs.com:3306/zhuiguang_ai?charset=utf8mb4"

-# NextAuth
+# NextAuth（必填）
 NEXTAUTH_URL="http://localhost:8301"
-NEXTAUTH_SECRET="zhuiguang-ai-dev-secret"
+NEXTAUTH_SECRET="请生成一个随机高强度密钥（至少32位）"

-# GitHub API（可选，提升限流）
-GITHUB_TOKEN=""
+# GitHub API（必填，提升限流60→5000次/小时）
+GITHUB_TOKEN="ghp_xxxxxxxxxxxxxxxxxxxx"

-# DeepSeek API（用于技能评测生成脚本、AI日报整理）
+# DeepSeek API（必填，用于技能评测/新闻整理/工具提取，启动时校验）
 DEEPSEEK_API_KEY="sk-..."
+
+# DeepSeek 模型名（可选，默认 deepseek-v4-pro）
+DEEPSEEK_MODEL="deepseek-v4-pro"
 ```

+> **注意**: `.env` 文件已被加入 `.gitignore`，不得提交到 Git 仓库。请使用 `.env.example` 作为模板。
+
 ## PM2配置
 - 进程名: zhuiguang-ai
 - 启动命令: `npm run start`
 - 端口: 8301
 - 重启: `pm2 restart zhuiguang-ai`

+## 安全配置
+
+### HTTP 响应头
+next.config.mjs 配置以下安全响应头：
+- **CSP (Content-Security-Policy)**: `default-src 'self'` + 安全白名单
+- **HSTS (Strict-Transport-Security)**: `max-age=31536000; includeSubDomains`
+- **Permissions-Policy**: `camera=(), microphone=(), geolocation=()`
+- **X-Content-Type-Options**: `nosniff`
+- **X-Frame-Options**: `DENY`
+- **X-XSS-Protection**: `1; mode=block`
+- **Referrer-Policy**: `strict-origin-when-cross-origin`
+
+### 权限控制
+- middleware.ts 中 `/admin/*` 和 `/api/admin/*` **仅 admin 角色可访问**（VIP 用户无权限）
+
+---
+
 ## 踩坑记录
 - Next.js 14不支持useActionState，登录页用原生表单POST
 - Prisma MariaDB adapter需要连接字符串方式初始化