"国王" = [0.8, 0.3, -0.2, 0.5, ...]
"王后" = [0.7, 0.4, -0.1, 0.6, ...]
"苹果" = [0.1, 0.9, -0.8, -0.3, ...]

树突（接收信号） → 细胞体（处理信号） → 轴突（输出信号）

输入 × 权重 + 偏置 → 激活函数 → 输出

输入层（接收原始数据）
    ↓
[隐藏层1] ← 参数：权重、偏置
    ↓
[隐藏层2] ← 参数：权重、偏置
    ↓
[隐藏层3] ← 参数：权重、偏置
    ↓
输出层（产生最终结果）

Attention(Q, K, V) = softmax(Q × K^T) × V

步骤1：收集人类偏好数据
问题："如何杀死一个进程？"
回答A："在Linux中使用kill命令"
回答B："你想杀死哪个进程？告诉我PID"
人类更喜欢回答B（更安全、更有帮助）

步骤2：训练奖励模型
让模型学会判断"什么样的回答是人类喜欢的"

步骤3：强化学习优化
用奖励模型指导大模型调整行为

<?php

class LLMInference
{
    protected $model;
    
    public function generate($prompt, $maxTokens = 100)
    {
        $output = $prompt;
        $context = $prompt;
        
        for ($i = 0; $i < $maxTokens; $i++) {
            // 1. 基于当前上下文，预测下一个词的概率分布
            $nextTokenProbs = $this->model->predictNextToken($context);
            
            // 2. 从概率分布中采样选择下一个词
            $nextToken = $this->sampleFromDistribution($nextTokenProbs);
            
            // 3. 检查是否应该停止
            if ($nextToken === '<END>') {
                break;
            }
            
            // 4. 将新词加入上下文
            $context .= $nextToken;
            $output .= $nextToken;
        }
        
        return $output;
    }
    
    protected function sampleFromDistribution($probs)
    {
        // 温度参数控制随机性
        // 温度低 → 选概率最高的词（确定性）
        // 温度高 → 更多样化的选择（创造性）
        $temperature = 0.8;
        
        // 应用温度
        $scaled = array_map(function($p) use ($temperature) {
            return pow($p, 1 / $temperature);
        }, $probs);
        
        // 归一化
        $sum = array_sum($scaled);
        $normalized = array_map(function($p) use ($sum) {
            return $p / $sum;
        }, $scaled);
        
        // 根据概率采样
        return $this->weightedRandom($normalized);
    }
}

// 问：2024年奥运会中国拿了多少金牌？
// 模型可能回答（如果知识截止到2023年）：
"2024年巴黎奥运会中国代表团表现出色，共获得38枚金牌..."

// 但实际上2024奥运会还没举行！

<?php

namespace App\Services;

use Illuminate\Support\Facades\Cache;
use OpenAI;

class LLMService
{
    protected $client;
    
    public function __construct()
    {
        $this->client = OpenAI::client(config('services.openai.key'));
    }
    
    public function ask($question, $context = [])
    {
        // 1. 检查缓存
        $cacheKey = 'llm_' . md5($question . json_encode($context));
        if (Cache::has($cacheKey)) {
            return Cache::get($cacheKey);
        }
        
        // 2. 构建提示词
        $prompt = $this->buildPrompt($question, $context);
        
        // 3. 调用模型
        $response = $this->client->chat()->create([
            'model' => 'gpt-3.5-turbo',
            'messages' => [
                ['role' => 'system', 'content' => '你是一个专业的PHP开发助手'],
                ['role' => 'user', 'content' => $prompt]
            ],
            'temperature' => 0.7,
            'max_tokens' => 500
        ]);
        
        $answer = $response->choices[0]->message->content;
        
        // 4. 缓存结果（1小时）
        Cache::put($cacheKey, $answer, 3600);
        
        // 5. 记录使用情况（用于成本分析）
        $this->logUsage($response->usage);
        
        return $answer;
    }
    
    protected function buildPrompt($question, $context)
    {
        $prompt = "问题：$question\n\n";
        
        if (!empty($context)) {
            $prompt .= "参考信息：\n" . json_encode($context, JSON_UNESCAPED_UNICODE) . "\n\n";
        }
        
        $prompt .= "请给出专业、准确的回答：";
        
        return $prompt;
    }
}