大模型和人一樣需要 提高對 程式語言認知

2023-09-03 06:00:56


今天在ChatGLM2-6B 的倉庫裡看到了這麼一個issue: https://github.com/THUDM/ChatGLM2-6B/issues/122

image

這位兄弟說的挺好,其中有點小錯誤:三星Tizen架構 其實不是架構,是屬於arm架構 ,Tizen是 三星的一個作業系統。由此我想到了ChatGLM2 是國人開源的LLM ,因此我去國內的幾個大模型應用上面去問問這個問題:

1、科大訊飛的星火大模型:

image

image

看到星火大模型對c# 的認知也是停留在10幾年前 ,這和國人對c# 的理解比較接近。 接下來我們去看下百度的文心一言:

image

文心一言也是一樣的,這個認知也是停留在10幾年前了, 這麼看來大模型的認知 受到他的訓練者的影響是很大的。 通過這幾個國內的大模型可以知道他們的訓練資料很差,帶滿了偏見,對C# 語言的認知還停留在10幾年前,下面我們把這個問題問下ChatGPT吧 :

首先問下 GPT-3.5的模型,回答明顯比國內這些大模型公正,認知上比較符合事實:

image

image

我們再來用 GPT-4 問一下,回答是正確的:


image

image

從國內外大模型對這麼一個簡單問題的回答答案來看,國內的這些大模型和 GPT 相比,智商還差得遠。 大模型和人一樣對這個世界的認知也是有偏差的,餵給她什麼知識,他就記住了什麼。 馬上就要釋出.NET 8 的第一個RC版本了, .NET 8帶來一個很大特性是NativeAOT, 以後用C# 寫的程式,用NativeAOT編譯,可以告訴別人說我這程式是C++ 寫的, 可以給用Java 通過JNI 來呼叫。

這個藍色星球上的C# 語言的採用還是在穩步上升的,Tiobe 的8月份排行榜裡,前五名裡面只有c# 是在穩步上升,其他的都在下降:

image

今年以ChatGPT為代表的AIGC,微軟抓住了, 微軟在採用GPT 改造傳統應用的過程中開源了一個LLM 開發SDK semantic kernel(簡稱sk),他的主要語言就是c# , 現在已經支援Java,Python。 SK 經過微軟的實踐總結,然後在今年的3月份開源,現在已經有star 12k,經過半年時間的社群開源共同作業,介面逐漸穩定。隨著大量企業的GPT 改造浪潮。c# /.NET 會繼續上升。

在國內,雖然沒有國外那樣的上升勢頭,在國內的很多領域還是非常堅挺的,也有變好的趨勢。現在.NET的開源生態已經成熟,剩下就是大家的工程思維和管理思維需要提升,特別是AI領域的演演算法門檻已經大大的降低,更多的是靠軟體工程來補齊,就拿當前在LLM 應用開發領域的兩大開發框架 SK 和 langchain來對比,langchain10 幾個漏洞,sk沒有漏洞。 langchain 是原來搞機器學習演演算法的人搞的,很多學校裡搞演演算法的博士生演演算法是厲害,程式碼基本上不堪入目,使用Python這種膠水程式碼基本上很難在大並行的工程實踐上有什麼比用C# 或者Java 好的。現在基於transformer的GPT 模型的落地已經是工程的事情而不僅僅是演演算法的事情了。