t_wの輪郭

Sentence Embedding

2023/7/2 23:57:00

Sentence Embeddingsの類似度を用いた論文の新規性評価 instructor-embedding あれ E5でTwo-Towerモデルっぽいことができる JaColBERT GLuCoSE Sentence EmbeddingはBERTよりGloVeの方が良い 2023年11月14日日記

新規性 Sentence Embedding

Sentence Embeddingsの類似度を用いた論文の新規性評価

2025/9/19 1:11:00

『NovAScore: A New Automated Metric for Evaluating ...

Sentence Embedding

instructor-embedding

2024/2/25 6:52:00

あれ

Sentence Embedding

あれ

2024/2/25 5:14:00

この方針をさらに推し進めたのがinstructor-embedding[8]で、色々なプロンプトを入れてタスクごとに埋め込みを最適化できるらしい
── 『オープンな日本語埋め込みモデルの選択肢 / Exploring Publicly Available Japanese Embedding Models』

『オープンな日本語埋め込みモデルの選択肢 / Exploring Publicly Available Japanese Embedding Models』

Sentence Embedding Two-Towerモデル

E5でTwo-Towerモデルっぽいことができる

2024/2/25 5:12:00

Multilingual-E5でも実は入力文に"query:" "document:"というプロンプトを入れて、2つ（検索文と検索対象）を識別できる
── 『オープンな日本語埋め込みモデルの選択肢 / Exploring Publicly Available Japanese Embedding Models』

『オープンな日本語埋め込みモデルの選択肢 / Exploring Publicly Available Japanese Embedding Models』

Sentence Embedding

JaColBERT

2024/2/25 5:06:00

『オープンな日本語埋め込みモデルの選択肢 / Exploring Publicly Available Japanese Embedding Models』

Sentence Embedding

GLuCoSE

2024/2/25 5:03:00

『オープンな日本語埋め込みモデルの選択肢 / Exploring Publicly Available Japanese Embedding Models』

BERT Sentence Embedding GloVe 単語埋め込み

Sentence EmbeddingはBERTよりGloVeの方が良い

2024/2/25 5:00:00

実験的にも、BERTの[CLS]トークン埋め込みや平均プーリング埋め込みを使うぐらいだったら、GloVe等の（もっと古い時代の）単語埋め込みを使った方がましということが知られている
── 『オープンな日本語埋め込みモデルの選択肢 / Exploring Publicly Available Japanese Embedding Models』

『オープンな日本語埋め込みモデルの選択肢 / Exploring Publicly Available Japanese Embedding Models』

『t_wの輪郭』Amplify Next.js React knownet BERT Sentence Embedding DataStore

2023年11月14日日記

2023/11/14 15:26:00

朝

　特に記憶に無いです。

仕事

　「Next.jsを使えば忌々しいAmplifyのDataStoreを無くせるんじゃね？」とか思って、社内システムの移植を開始した。もともとReactで動いていたので、3時間ほどでシステムがNext.jsの上で動くようになった。Next.jsの恩恵が受けられるのはこれからだ。

夜

　「Next.jsを使えばBERTでSentence Embeddingを取るAPIをサーバーレスでつくれるんじゃね？」とかおもって実装した結果、比較的高性能な開発機であっても計算に3秒もかかることがわかり、検索には使えず無事死亡した。

デライトが落ちていた

　「あれ」ってどんなんだったっけと思って、デライトで検索しようとしたところ、デライトが落ちていた(障害のお知らせ)。普段当たり前のようにデライトが使えているが、knownetの開発を通じてデライトが安定稼働していたことの異常さに気付きつつある。knownetの方はちゃんと動いている期間のほうが短い。

　探そうとしていた情報については『t_wの輪郭』を参照して見つけられた。いざというときの保証として機能してくれた。

あれ