第390章您好，李東教授
“而且它們腦袋還有問題，我把這個問題叫做秩坍縮（rank collapse）。”
小黑那個圓球還化做一隻小手指了指自己的“腦袋”。
簡單的說這些大模型的腦子，就是拿注意力一層一層疊起來的。
在它腦子裡，每一個字都不再是字，而是一串數字。
業內把管這串數字叫做“表示”（representation），專門用來裝這個字的意思。
每過一層注意力，所有的字就拿著這串數字彼此摻和一回，你借我一點，我借你一點。
壞就壞在，要是隻有這些注意力層，光這麼一層一層摻下去，每個字的那串數字，就會越摻越像。
摻著摻著，所有的字就都都變成了同一個模樣，再也分不出誰是誰。
當然，這些大模型也有預防機制，一個叫“殘差”（residual connection）。
一個叫“前饋層”（FFN）。
可就算這樣，也沒有從根上解決問題。
李東聽得入了神。
這些東西，他先前壓根沒往這麼深的地方想過。
“還有個怪症，叫逆轉詛咒。”
小黑一說起來簡直就停不下來了……
它後面還說了組合性鴻溝和RLHF
一個是大模型碰上那種一環扣一環，得連推好幾步才解得開的題，它根本沒在“推”，只是把見過的套路硬往上套，稍微複雜點它就垮了。
另一個就是，本來是拿人的喜好把它調教得更聽話，可越調它反倒越自負，明明心裡沒底，張口卻是十分的篤定。
小黑說完這些一臉的嫌棄。
李東聽到這兒，連帶著也一起嫌棄起來了。
這些問題小黑好像都沒有，還是小黑可愛。
不像這些大模型，很會唬人，而且還唬的像模像樣。
說實話要是田鋼用這些模型來搭建AI for Math。
李東都不敢想那些數學家會不會被哄成胎盤。
畢竟一般的學者真不一定有這些大模型厲害，所以它偷換概念的時候，他們分不清的。
這些被小黑一路看穿的毛病，單拎出哪一條，都夠那些頂尖團隊頭疼上好一陣子。
可偏偏，這些放在小黑眼裡，竟沒有一樣能難得住它。
。道說黑小著朝是於，來起了亮慢慢，睛眼的東李
”。著兒玩先你黑小“
”。子屋的點一大間一換，你給去就這我“
……
。呆兒會一好了發，幕螢的黑漆片那著對，上背椅在靠，掉關腦電把東李
。題問個有是可，家新換黑小給是說
……話的說傳若劉起想他
。呀裡手人別在都架框和，力算的尖頂最上世這
。行才路門的邊一那有得還，來出不砸錢有，西東種這
”了人別煩麻要又……哎“
。碼號個一了出撥機手起拿東李
……
。技科軒華，都魔
。滅熄有沒還燈的面裡，裡房廠的溼恆溫恆間一
。聲出麼怎沒也誰，核複料資的一後最做在機臺一著圍正，師程工的服塵無白著穿名幾，的染不塵一裡房廠
