zhuiguangaikf/zhuiguang-ai
1
0
Fork 0
Code Issues Pull Requests Actions Packages Projects Releases Wiki Activity
Files
9bf3e7574a33a7eb92293a5fc2e6946a2991ef06
zhuiguang-ai/.trae/specs/modules/07-lib-and-scripts.md
T

7.8 KiB
Raw Blame History

工具库与脚本模块

工具库 (src/lib/)

prisma.ts - 数据库客户端

  • Prisma单例模式，防止开发环境热重载创建多实例
  • 使用PrismaMariaDb adapter
  • 连接池配置（connection_limit=20, pool_timeout=30）
  • 日志: 开发环境warn/error，生产环境error

auth.ts - 认证配置

  • NextAuth配置导出
  • Credentials Provider（用户邮箱密码）
  • GitHub OAuth Provider
  • JWT策略
  • 登录频率限制（7次/分钟）
  • 导出GET/POST handler

admin-auth.ts - 管理员API认证

  • 导出 getAdminSession() — 获取当前会话（带缓存）
  • 导出 requireAdmin() — 管理员权限验证中间件
  • 导出 requirePermission(key) — 细粒度权限点校验
  • 导出 getAllUserPermissions() — 获取当前用户全部权限
  • 导出 getUserPermissionKeys(userId) — 获取用户权限键集合
  • 验证session中角色和权限
  • 返回401/403错误响应

utils.ts - 工具函数

  • cn(...inputs) — 合并clsx + tailwind-merge的className工具
  • extractJSON(str) — JSON提取工具，支持markdown代码块包裹、花括号/方括号容错

validation.ts - 数据验证

  • Zod验证schemas
  • 包含: registerSchema, loginSchema, paginationSchema, toolImportSchema, skillImportSchema, newsImportSchema, checkTypeSchema, profileUpdateSchema, favoriteSchema, historySchema, taskRunSchema, roleCreateSchema, categoryCreateSchema, skillCategoryCreateSchema, systemConfigUpdateSchema

deepseek.ts - DeepSeek评测生成

  • 依赖: openai (兼容OpenAI接口)
  • 认证: process.env.DEEPSEEK_API_KEY
  • baseURL: https://api.deepseek.com/v1
  • 模型: deepseek-v4-pro
  • generateReview(repoName, description, stars, license, readme): 调用DeepSeek生成五维评测
  • 综合分校验: 自动计算五维均分，偏差>0.3时修正
  • JSON提取: 兼容markdown代码块包裹的响应

github.ts - GitHub数据采集

  • 依赖: octokit
  • 认证: process.env.GITHUB_TOKEN (可选，提升限流60→5000次/小时)
  • searchHotRepos(query, minStars, maxResults): 搜索热门仓库，按Star降序
  • getRepoReadme(owner, repo): 获取仓库README内容(base64解码)
  • GitHubRepo 接口: id, full_name, html_url, description, stargazers_count, forks_count, language, license, topics, updated_at, readme

logo-fetcher.ts - Logo抓取引擎

  • 导出 fetchLogo(websiteUrl, html?): Promise<string> — 返回Logo URL
  • 导出 fetchLogoWithMethod(websiteUrl, html?): Promise<LogoFetchResult> — 返回 {url, method}
  • 10种抓取策略按优先级执行
  • 支持从SystemConfig读取配置
  • 每种成功方法返回中文名称

logo-storage.ts - Logo本地存储

  • 导出 downloadLogo(url, filename): Promise<string>
  • 下载远程Logo到 /public/logos/ 目录
  • 返回本地路径如 /logos/filename.png

rate-limit.ts - 频率限制

  • rateLimit(ip, maxRequests, windowMs) — IP频率限制
  • 内存存储（Map）
  • 默认: 10次/分钟

use-permission.ts - 前端权限Hook

  • 客户端Hook
  • 获取当前用户权限
  • 提供 can(key), canAny(keys), canAll(keys) 方法

脚本 (scripts/)

定时任务脚本（6个 + 1个日报，均含TaskLog记录）

task1-discover-tools.mjs — Task1 发现AI工具

  • 每天06:00由Crontab触发
  • 从36kr/IT之家/开源中国RSS抓取新闻，调用DeepSeek提取AI工具信息
  • 去重后入库PendingTool，含checkWebsiteOk/checkLogoOk等巡检结果
  • 结果写入TaskLog(taskKey: task1-discover-tools)

task3-check-tools.mjs — Task3 工具巡检

  • 每天03:00由Crontab触发
  • 检查所有已发布Tool网站可访问性+Logo有效性，更新websiteOk/logoOk字段
  • 对PendingTool逐一检查，四项检查全部通过则自动发布为正式Tool
  • 结果写入TaskLog(taskKey: task3-check-tools)，含websiteFails/logoFails/autoPublished统计

task4 daily-discover.mjs — Task4 发现AI技能

  • 每天05:00由Crontab触发
  • GitHub搜索AI相关项目(stars≥1000，日上限30)
  • DeepSeek预评测后入库PendingSkill（不是直接创建Skill）
  • 去重检查: skill表 + pendingSkill表
  • 仓库内容质量过滤(isValidAIProject): 排除文档/教程/面试题/书单类Repo
  • 结果写入TaskLog(taskKey: task4-discover-skills)，含discovered/skipped/reviewed/failed统计

task5-update-stars.mjs — Task5 更新技能星值

  • 每天01:00由Crontab触发
  • 查询所有sourceUrl含github.com的Skill
  • 通过Octokit API获取最新stargazers_count
  • 更新githubStars/starsChangeDay/starsChangeWeek/starsChangeMonth
  • 维护githubStarsHistory数组（保留最近90天）
  • 结果写入TaskLog(taskKey: task5-update-stars)，含updated/failed/skipped统计

task6-review-hot.mjs — Task6 评测热门技能

  • 每天04:00由Crontab触发
  • 查找2个已发布但无SkillReview的最热门GitHub技能（按githubStars/viewCount排序）
  • 获取GitHub README，调用DeepSeek API生成五维评测
  • 创建SkillReview(status: PUBLISHED)，更新Skill.lastReviewedAt
  • 结果写入TaskLog(taskKey: task6-review-hot)，含reviewed/failed统计

daily-news.mjs — AI日报生成

  • 每天07:30由Crontab触发
  • 多源搜索: 36kr RSS + IT之家 RSS + 开源中国 RSS + HackerNews API + Google News RSS
  • 新闻过滤: 发布日期近2天内 + AI关键词匹配
  • DeepSeek整理格式生成中文日报(标题+摘要+条目)
  • 入库DailyReport表
  • 结果写入TaskLog(taskKey: daily-news)，含reportId/itemCount/title统计

seed-task-configs.mjs — 任务配置种子数据

  • 一次性运行（幂等，创建或更新）
  • 初始化6个TaskConfig记录（task1/3/4/5/6 + daily-news）
  • 含默认cronExpr、enabled=true、description

其他脚本

auto-review.mjs (自动化评测脚本 — 已被Task4/Task6替代)

  • 依赖: @prisma/client, @prisma/adapter-mariadb, octokit, openai
  • 流程: GitHub搜索→README获取→DeepSeek评测→Skill入库→SkillReview入库→日志记录
  • 配置: SEARCH_QUERIES(4个关键词), MIN_STARS(500→已被Task4提升为1000), DAILY_LIMIT(8→已有Task4用的30)
  • 运行: $env:NODE_TLS_REJECT_UNAUTHORIZED="0"; node scripts/auto-review.mjs

publish-reviews.mjs (发布评测脚本)

  • 将DRAFT状态SkillReview改为PUBLISHED
  • 将对应draft状态Skill改为published
  • 注: Task6-review-hot.mjs 创建的SkillReview直接为PUBLISHED，无需此脚本

generate-review-content.mjs (生成评测内容)

  • 调用DeepSeek生成评测长文、视频脚本、社交卡片
  • 用于已评测技能的内容生成

organize-content.mjs (内容整理脚本)

  • 整理和归类内容

test-github.mjs (GitHub API测试)

  • 测试searchHotRepos和getRepoReadme功能
  • 运行: $env:NODE_TLS_REJECT_UNAUTHORIZED="0"; node -r dotenv/config scripts/test-github.mjs

test-deepseek.mjs (DeepSeek API测试)

  • 测试generateReview功能，使用langflow作为测试用例
  • 运行: $env:NODE_TLS_REJECT_UNAUTHORIZED="0"; node scripts/test-deepseek.mjs

test-content-generation.mjs (内容生成测试)

  • 测试评测内容生成管线

debug-json.mjs (JSON解析调试)

  • 调试JSON解析逻辑

delete-drafts.mjs (删除草稿)

  • 批量删除草稿数据

cleanup-non-ai.mjs (清理非AI项目)

  • 清理误入库的非AI技能数据
  • 使用isValidAIProject过滤

db-status.mjs (数据库状态)

  • 检查数据库连接和数据状态

seed-permissions.mjs (权限种子数据)

  • 初始化全部权限点+角色
  • 幂等运行

migrate-logos.mjs (Logo迁移)

  • 迁移Logo到本地存储

运维脚本

restart.ps1 - 服务重启

  • PowerShell脚本
  • 扫描8301-8310端口
  • 杀死占用进程
  • 执行 npm run dev 启动服务（端口8301）
  • 运行: pwsh -ExecutionPolicy Bypass -File restart.ps1

temp_clear.mjs - 临时清理

  • 清空pending_tools表

cron脚本 (shell)

  • cron-daily-discover.sh — 每日技能发现
  • cron-daily-news.sh — 每日新闻发现
  • cron-task1.sh — Task1定时任务

lib/retry.mjs

  • 重试工具函数
Reference in New Issue View Git Blame Copy Permalink