集約された無料のAIモデルとローカルAPI提供のためのモバイルゲートウェイ
FreeLLMAPI: Tash A によって開発されたすべての AI モデルは、テスト、チャット、軽量開発用に設計された単一の Android アプリに多くの AI プロバイダーからの無料アクセスを集めます。チャットインターフェースと、複数のベンダーアカウントを管理する必要をなくすモバイル API ゲートウェイを提供します。主な利便性には、即座にチャットできるキーレスアクセスと、デバイス上でのプライベートな操作が含まれます。このツールは、個人の Android デバイスで広範なモデルアクセスを必要とする開発者、学生、研究者を対象としています。
異常に大きな月間トークン容量をプールし、負荷の下での継続性を維持します
アプリは、開発者によると、29以上のプロバイダーから毎月約40億の無料トークンを集約し、ルーティングの決定にライブパフォーマンスメトリックを適用します。そのプールされた容量は、開発者や研究者に単一のベンダーに依存することなく利用可能な推論予算を提供します。自動フェイルオーバーシステムは、モデルがレート制限されているかビジーのときにプロバイダーを切り替え、ルーターはプロバイダー間での使用をバランスさせ、需要が高い時期にアクセスを延長します。
迅速なプロトタイピングのためのローカル開発エンドポイントとして機能できます
プレミアムLAN APIサーバーモードでは、アプリはAndroidデバイスをノートパソコンやIDE用のOpenAI互換エンドポイントに変え、ローカルテストと迅速なプロトタイピングを可能にします。このプロジェクトは、macOS、Windows、およびLinux用のDockerイメージを含むオープンソースリポジトリを通じてデスクトップサポートとセルフホスティングも提供しており、チームは標準の開発マシン上でモバイルエンドポイントを再現し、ローカルワークフローに統合できます。
デバイス上のプライバシーと機密ワークフローのための暗号化されたキーの保存を強調します
個人プロバイダーキーは、AES-256-GCM暗号化を使用してデバイスのキーチェーンに保存され、アプリは選択されたプロバイダーにのみキーを送信し、設計上のプライバシーの立場を反映しています。チャットは電話に残り、開発者は分析や追跡を行っていないと報告しています。このアプローチは、データの居住地と再現性が重要なテストをサポートし、複数のモデルプロバイダーで実験する際に外部テレメトリーを避けなければならないワークフローに適しています。
ハンズオン開発者に最適; 単一ベンダーの管理されたワークフローには理想的ではない
このアプリは、プライベートなデバイステストと比較出力を必要とする開発者や研究者を重視しており、相当な無料トークンアクセスを集約し、モバイルAPIエンドポイントを提供します。単一の管理ベンダーを期待するチームは、マルチプロバイダー設定とプレミアムゲーティングが追加の構成を要求することに気付くかもしれません。CIと再現可能なテストには、オープンソースのDockerパスとローカルエンドポイント統合を使用してチームのワークフローに合わせてください。
