t_wの輪郭

言語モデル

2022/6/10 23:40:00

拡散言語モデル『Xichuan: "逆に言えば LLM は単に言語モデルの一実装形態に過ぎないので、論理的推論とかまったくしてない。言…" - Fedibird』『Xichuan: "そもそもまず言語モデルという抽象的な概念があって、それをどのように実装するか、という観点から、長く…" - Fedibird』n-gram言語モデル LLM 小規模言語モデル応向分離あれ T5 あれ

言語モデル DLM

拡散言語モデル

2024/10/30 12:33:00

『Xユーザーのgotoさん: 「拡散言語モデル(DLM)の論文。ここ最近のAI界隈で最大のニュースなのでは...！！今までの言語モデル(自己回帰型)が1トークンずつの生成に対して最低32トークン同時生成しながら生成品質も上がってるらしい。 https://t.co/MMV9HrDbBA」 / X』

LLM 言語モデル

『Xichuan: "逆に言えば LLM は単に言語モデルの一実装形態に過ぎないので、論理的推論とかまったくしてない。言…" - Fedibird』

2024/8/2 3:25:00

https://fedibird.com/@xichuan/112888189761077616

あれ

LLM 言語モデル

『Xichuan: "そもそもまず言語モデルという抽象的な概念があって、それをどのように実装するか、という観点から、長く…" - Fedibird』

2024/8/2 3:24:00

https://fedibird.com/@xichuan/112888181488450193

あれ

言語モデル N-gram

n-gram言語モデル

2024/7/7 0:07:00

ベイズ階層n-gram言語モデル

大規模言語モデル生成AIモデル

LLM

2024/3/24 11:21:00

Large Language Model
大規模言語モデル

LLMマルウェア GPT-4.5 LLMアンサンブル生成AIモデルは少ない事前学習で性能向上が可能になってきている自分が参加してない会議にLLMを送り込んで議事録をとらせる Titans OpenRouter 『AI は言語の基盤を獲得するか：推論の体系性の観点から』AMD-135M Nova クラウドサービス型LLM 『（日銀レビュー）大規模言語モデルを用いた新たなテキスト分析の取組み ― 最近の賃金・物価動向に関する分析への応用 ― : 日本銀行 Bank of Japan』Granite LLMによる工数見積もり Model Context Protocol LLM背後霊 llamafile 間違わないLLMはDBと同じ間違わないLLMは、検索エンジンと同じ SmolLM

言語モデル小規模

小規模言語モデル

2023/12/16 11:52:00

Phi-2

検索アイデアレコメンド embedding 言語モデル検索精度

応向分離

2023/11/20 14:15:00

おそらく一般的には応類と向類は同じ言語モデルで生成して検索に用いるのだが、応類と向類で異なる言語モデルを用いることで以下の利点が得られる。

利用者の動向から向類を学習させ、漸次的に検索精度を向上させる
利用者の動向から向類を学習させ、漸次的に個々の利用者に対して検索結果を変化させる
上記をしつつ、更新費用が高くなる応類を不変あるいは低頻度での更新と出来る

レコメンドにおいても同様のことができ、同じような利点が得られる。

Two-Towerモデルと同一。

Two-Towerモデルあれ 2023年11月9日日記応類向類

Cartesian Genetic Programmingで文章の類似度を学習 knownetにベクトル検索を実装 Transformer GPGPU 言語モデル Attention tzmtwtr/tw-posts-ja 再帰的な構造

あれ

2023/6/22 12:05:00

遺伝的プログラミングで文章の類似度を学習させるの、CPUで一から学習させるには計算量が全然足りない。GPGPUで学習させたいが、再起的な構造と処理によって文章を処理しているために、GPGPUとは相性が悪い。構造から手をつけるべきか。

Transformerを参考にすると良さそうだが、あれを理解するのに手間取っている。さらに言えばAttentionも理解できていない。あり物のモデルを使ったり学習させるだけなら理解は不要だが、遺伝的プログラミングに組み込もうとすると十分に理解する必要がある。

普通の言語モデルも一から学習させると相応に時間がかかるだろうし、一晩で学習が進まないのを嘆くのは気が早すぎるかもしれない。私の投稿を学習データ化した物でさえ、一晩でやっと一巡できる程度だ。Wikipediaも学習データに含み出すととんでもない時間がかかる。

あれ

Google 言語モデル

T5

2023/6/15 12:41:00

Flan-T5 あれ

LLM 深層学習 Meta 言語モデル

あれ

2022/6/10 23:39:00

あれ