ONNX
2021/9/8 3:30:00
ONNX Runtime GenAIONNX Runtimesherpa-onnx-node『[Rust] ortでonnxモデルを使って推論したりWASMにしたりしてみる | DevelopersIO』あれあれonnxruntimeonnxruntime-nodeでgzipで圧縮したonnxファイルを読み込むonnxに変換して量子化するコマンドtransformers.onnxあれあれnetronmrsekut-p『ONNX』「ONNXはOpen Neural Network Exchangeの略称で、推論で広く使用されている機械学習モデルのフォーマットです。」Open Neural Network ExchangeONNX Runtime Web
ONNX Runtime GenAI
2025/1/3 15:32:00
『[Rust] ortでonnxモデルを使って推論したりWASMにしたりしてみる | DevelopersIO』
2024/6/6 22:51:00
あれ
2023/12/2 15:24:00
500MBあるBERTをONNXに変換した後に量子化したら110MBほどになってLambdaで動かせるようになった。
Githubに乗せるファイルは100MB以下でないとだめなので、ダメ押しでgzipで圧縮したら75MBになった。
onnxruntime
2023/12/2 15:17:00
onnxruntime-nodeでgzipで圧縮したonnxファイルを読み込む
2023/12/2 15:17:00
const onnx_zip = fs.readFileSync('./sonoisa_sentence-bert-base-ja-mean-tokens-v2_onnx/model_quantized.gz');
const onnx_buffer = zlib.unzipSync(onnx_zip)
const session = await ort.InferenceSession.create(onnx_buffer);