下午，他開始搭建模型核心。Transforr塊、層歸一化、殘差連線……他像搭積木一樣，把之前實現的元件組合起來。
最考驗他的是訓練迴圈的設計。學習率排程、梯度裁剪、損失計算，每一個細節都可能影響最終效果。他參考了Hugging Face的原始碼，但做了大量簡化——畢竟這只是個教學性質的ni模型。
週一凌晨一點，程式碼終於跑起來了。
林晨盯著螢幕上滾動的訓練日誌，看著損失值從8.5逐漸下降到4.2。雖然離真正可用的語言模型還差很遠，但那些數字的下降曲線，在他眼中比任何風景都美。
訓練了五個epoch後，他寫了一個簡單的生成函式。
def generate_text(del, start_text, x_len=50, teerature=0.8):
del.eval
tokens = tokenizer(start_text)
token_ids = 【vocab【＜bos＞】】 + 【vocab【token】 for token in tokens】
for _ in range(x_len):
input_tensor = torch.tensor(token_ids).unsqueeze(0) # 【1, seq_len】
with torch.no_grad:
output = del(input_tensor)
# 取最後一個時間步的logits
next_token_logits = output【0, -1, :】 / teerature
next_token_probs = torch.softx(next_token_logits, di-1)
# 基於機率取樣
next_token_id = torch.ltinoal(next_token_probs, nusales=1).itebr>
if next_token_id == vocab【＜eos＞】:
break
token_ids.append(next_token_id)
# 將token IDs轉換回文字
generated_tokens = 【】
for token_id in token_ids【1:】: # 跳過＜bos＞
if token_id == vocab【＜eos＞】:
break
generated_tokens.append(vocab.get_itos【token_id】)
return .join(generated_tokens)
。”ecnegilletni laicifitra fo erutuf ehT“：字文始起輸他
：出輸始開後然——算運陣矩行進在UPG是上際實——鐘秒幾了考思型模
”.etsys hcus fo ngised eht ni desserdda eb ts taht snoitaredisnoc lacihte eht dna sessecorp evitingoc nuh htiw noitargetni eht tuoba osla tub htirogla wen fo tnpoleved eht tuoba ylno ton si ecnegilletni laicifitra fo erutuf ehT“
。了住愣，字文行這著盯晨林
。題議心核的論討IA前當是好恰這——量考理倫、合融機人、展發技：次層個三了含包裡話句一短短這，是的要重更！的貫連是輯邏但，礎基詞用，單簡法語然雖
。道喃喃晨林。”了解理……它“
。力威的型模言語了到切真次一第他讓，力魔的想思序有出現湧中料資序無從種那，覺錯的”解理“種那但。式模的到習學中料資練訓從型模是，產的率機計統是過不這道知他
。型模的倍萬、倍千大龐TPG-in的他比練訓在師程工的萬上千有正，裡樓公辦的明通火燈些那。燈星零起亮始開園學科興科的岸對灣城鵬，亮漸天外窗
。”hcope個5練訓上2-txeTikiW在，萬005約量數引，型模言語rrofsnarT的現實零從 - 1.0v TPG-in“：下寫裡DAER案專在，記筆和碼式程有所了存儲晨林
：段一了加添尾末在，件文》考思的率效化佳最與本理型模IA於關《的頁幾十了寫經已份那啟開他
。”礎基的本理化佳最是，化量可種這。量問訪憶記和）數次算運點浮（sPOLF為化量地確被以可都，路網饋前層一每、頭力意注個一每。’化規正算計‘的晰清種一了供提它於在更，越優構架其於在僅不功的rrofsnarT，到識意我讓程過的TPG-in現實“
：字文始起的新輸，式函生啟開新重，麼什到想然忽他，話段這完寫
”?ynap hcet pot a ta weivretni reenigne IA na rof eraperp I dluohs tahW“
”.edoc htiw elborp lacitcarp evlos ot ytiliba eht dna ,wolFrosneT ro hcroTyP ekil skrowarf htiw ecneirepxe ,nohtyP ni slliks gniargorp ,serutcetihcra gninrael peed ,slatnadnuf gninrael enihc fo gnidnatsrednu dilos a evah dluohs uoY“：出輸型模
。的對是向方但，化板模很答回然雖。了笑晨林
。白肚魚起泛線平地的遠，來而面撲味鹹的水海著帶風晨。臺到走，腦電掉關他
。的在在實實是長種這——rrofsnarT建搭手親能到俠包調從，現實法算演到輯邏務業從，端後到端前從。變質生發在力能碼式程的己自到覺能經已他但，始開剛才劃計月個三
。萬九了破突悄悄經已產資總戶賬。益收的%2.3了得獲又中作線短的塊板A和金黃在統系，週一去過。告報益收日每的”號一投智明啟“是，下一了震機手
。晰清越來越向方，升提在力能技，解緩在力濟經
。”hcroTyP“、”習學度深“、”城鵬“擇選件條選篩，”師程工IA“輸框尋搜在，站網聘招啟開他。房書到回，氣空的晨清口一吸深晨林
。門部IA心核的廠大等廠H、廠A、廠T乏不中其，來出跳位職個十幾
”……驗經的型模現實零從有，構架rrofsnarT解理深求要，化佳最與發研的型模言語練訓預模規大責負“：著寫裡述描位職，面頁聘招的baL IA廠T開點他
。上字個幾這”驗經的型模現實零從“在落目的晨林
。件文》率效化佳最與本理《的善完在還份那看了看又，案專TPG-in的完剛剛己自看了看他
。了試面備準始開候時是：來起晰清頭念個一
。仗的握把有場一打去，備準的實紮最用，位崗的心核最準瞄要他。歷簡投海算打不他但
。擊出力全後然，會機率機高待等只，易頻高求追不——統系資投的他像就
。”用應到碼式程從，學數到覺直從——制機力意注釋解試面向何如“：題標了下寫他，件文個一第面裡。”備準試面“為名命，夾料資個一了建新晨林
。了始開日作工個一又的城鵬，外窗
。勢姿的跑奔了好備準經已，他而
